На страже вашего кода 🛡

Наши учёные разработали новую модель для поиска слабых мест в коде. Их статью приняли к публикации в международном журнале IEEE Access.

В основе подхода — нейросеть WizardCoder для анализа Java-кода. Её дообучили на датасете с подтверждёнными уязвимостями для поиска ошибок, которые могут привести к утечке данных или взлому. За счёт использования батча переменного размера время на fine-tuning удалось сократить в 13 раз.

Результаты тестов:

🔘 + 4–5% к точности в простых примерах кода с уязвимостями
🔘 + 22% для сложных примеров уязвимостей

Метод обошёл по эффективности альтернативные AI-решения для поиска уязвимостей вроде ContraBERT на основе CodeBERT. Разработка поможет учёным ускорить обучение больших моделей и улучшить методы анализа кода. В будущем благодаря таким методам компании смогут быстрее, точнее и дешевле находить потенциальные угрозы в ПО.

🔥 — если согласны, что такие AI-анализаторы кода упростят жизнь разработчикам

Второе место в RecSys Challenge у команды Сбера 🏆

Исследователи Sber AI Lab заняли второе место в соревновании RecSys Challenge на международной конференции RecSys 2025! Это одно из крупнейших событий по ML в рекомендательных системах. А в зачете академических команд исследователи взяли первое место.

В команде от Сбера ai_lab_recsys выступили Антон Кленицкий, Артём Фаткулин, Антон Пембек, Дарья Денисова и Алексей Васильев. Всего в соревновании участвовали более 100 команд из разных стран.

По условиям конкурса участникам требовалось:

1️⃣ сгенерировать эмбеддинги на основе действий пользователей рекомендательных систем
2️⃣ затем передать их в проверяющую систему, которая самостоятельно обучала нейросеть для решения нескольких задач

Это очень похоже на кейсы банка, поэтому наработки, полученные на соревновании, команда проверит на реальных данных и применит для решения задач Сбера.

Для достижения цели учёные объединили несколько типов представлений: ALS, пользовательские фичи, автоэнкодеры и GRU. Такое сочетание обеспечило высокую обобщаемость и стабильные результаты на всех задачах, включая скрытые

➡️ По результатам работы уже готовится научная статья для специального воркшопа в рамках конференции RecSys’25 в Праге.

🎉 Поздравляем команду и желаем новых успехов!

Задачи «по зубам»: GigaChat сдал экзамен на стоматолога 5️⃣

GigaChat прошёл аккредитацию по специальности «Стоматология» в Воронежском государственном медицинском университете.

Модель дообучили на специальном датасете для направления «Врач-стоматолог». Теперь GigaChat способен давать понятные и достоверные ответы о гигиене и лечении зубов. В перспективе AI-ассистента смогут использовать врачи.

Это не первая аккредитация GigaChat по медицине. У него получилось:

🔘 сдать выпускной экзамен по специальности «Лечебное дело» в НМИЦ им. Алмазова
🔘 на базе аккредитационного центра Сеченовского Университета успешно решить ситуационные задачи, соответствующие теоретическим этапам первичной аккредитации по специальности «Лечебное дело»
🔘сдать экзамен по кардиологии в ВолгГМУ и по гастроэнтерологии в УГМУ
🔘сдать экзамены по педиатрии, неврологии в ПИМУ и по ревматологии в СамГМУ

❤️ — если ждёте новостей о новых успехах нейросетей

AlphaGenome — новый AI-инструмент для исследования ДНК 🔥

В конце июня DeepMind представила AlphaGenome — AI-инструмент, который предсказывает, как изменения в ДНК влияют на процессы в организме человека.

Что умеет AlphaGenome

AlphaGenome принимает на вход длинную последовательность «букв», из которых состоит ДНК — до 1 миллиона. А затем прогнозирует свойства молекулы. Модель также оценивает эффекты мутаций и вариаций генов. Для этого она сравнивает прогнозы для стандартных и изменённых последовательностей.

Как устроена модель

🔘 Свёрточные слои ищут «мотивы» — короткие повторяющиеся паттерны в последовательности «букв». Так выделяются участки, важные для активности гена.

🔘 Трансформеры анализируют связи между участками ДНК. Например, между геном и участками-энхансерами, которые регулируют его работу и находятся в тысячах «букв» от него.

🔘 Финальные слои (prediction heads) по найденным паттернам и связям предсказывают свойства молекулы.

Например:
🔘 начало и конец гена в последовательности
🔘 места присоединения белков, регулирующих работу генов

Обучение

Во время обучения модель сравнивает свои прогнозы с экспериментальными данными из научных исследований, считает, насколько сильно ошиблась, и учитывает эту ошибку в дальнейшем. Для обучения разработчики взяли крупные датасеты с элементами ДНК: ENCODE, GTEx, 4D Nucleome и FANTOM5.

Где полезна AlphaGenome

Модель может значительно ускорить изучение генома. В том числе — помочь определить роль отдельных генов в работе организма и выявить причины генетических болезней.

Подробнее об AlphaGenome читайте в статье по этой ссылке. Модель доступна через API.

❤️ — если удивлены прогрессом нейросетей в науке

Shazam в мире инструментальной музыки 🎶

Стартап Songscription представил нейросеть, которая расшифровывает аудиозаписи в партитуры. Для тех, кто не умеет читать ноты, предусмотрен перевод в piano roll — формат, который показывает нужные клавиши на виртуальном пианино.

Как это работает

🔘 Модель получает P-MIDI-файл с аудиозаписью
🔘 Затем преобразовывает его в токены для подачи в трансформер
🔘 Трансформер, обученный на сотнях пар «исполнение → партитура», переводит их в ноты в формате MusicXML

В основе системы — подход PM2S (Performance MIDI-to-Score Conversion), разработанный для восстановления нотной структуры на основе MIDI-записи живого исполнения.

Архитектура модели подробно описана в научной статье одного из соавторов проекта 🔥

Пока нейросеть лучше всего работает с фортепиано, но поддерживает и другие инструменты. В будущем команда планирует добавить гитарные табулатуры, оркестровые аранжировки и другие форматы для расшифровок.

Как считаете, способны ли модели уловить нюансы живого исполнения?

👍 — Да, при качественном обучении это возможно
🤔 — Нет, без корректировки от человека не обойтись

Продолжаем подборку датасетов от отечественных разработчиков. Сегодня делимся шестью наборами, посвящёнными литературе, компьютерному зрению и аудиоданным.

Russian poems

✉️ 19 000 русскоязычных стихотворений от 48 авторов. Подходит для обучения языковых моделей, а также задач по стилометрии, авторской атрибуции и литературных экспериментов.

Russian Classic Painting Dataset

🌷 Коллекция из свыше 1 600 картин, собранных в фондах Третьяковской галереи, Русского музея и других архивов. Каждое произведение дополнено описанием на русском и английском языках. Можно применять для обучения text-to-image моделей.

Handwritten Russian Letters

📸 Набор данных, созданный автором вручную на основе собственных фотографий. Содержит строчные и прописные буквы. Фон варьируется: линейка, клетка, чистый лист. Пригодится для обучения моделей распознавания рукописного текста и задач OCR.

SOVA

📆 Около 28  000 часов живой русскоязычной речи с ручной разметкой. Это ценный материал для задач автоматического распознавания речи (ASR) и акустического анализа. Датасет распространяется по лицензии CC BY 4.0. Данные можно использовать для коммерческих целей.

Russian Jokes

🎉 Более 120 000 отборных анекдотов на русском языке. Настоящий кладезь для задач по классификации, тематического анализа и исследования культурных особенностей. Может использоваться при обучении моделей для генерации креативного контента.

🔥 — если хотите больше тематических подборок AI-датасетов

Новость для всех, кому нет 25: организаторы международного конкурса AI Challenge 2025 опубликовали задания ⚡️

Если вы школьник или студент, у вас есть возможность отточить свои скиллы на реальных кейсах от топовых техногигантов и научных центров 😸 Вы сможете создать помощников для проверки сочинений, системы компьютерного зрения, алгоритмы для поиска предрасположенности к заболеваниям или для борьбы с дипфейками.

В конкурсе — три трека:

🔘«Начинающие» — учащиеся до 8 класса с базовыми знаниями Python и ML
🔘«Школьники» — учащиеся до 11 класса, уверенно владеющие Python, со знанием классических алгоритмов ML и основ нейросетей
🔘«Студенты» — до 25 лет, программирующие на продвинутом уровне, с глубоким пониманием ML и опытом работы с архитектурами Deep Learning. Им предстоит решать задачи на стыке биоинформатики, компьютерного зрения, мультимодальности и диалоговых систем

Если вам не хватает мотивации, держите материальную — призовой фонд составляет 15,6 млн рублей 💵

Победителей наградят в Москве на конференции AI Journey осенью. Они попадут на образовательную программу для подготовки к Международной олимпиаде по искусственному интеллекту (IOAI) в 2026 году.

Если вам ещё нет 25 — регистрируйтесь на сайте конкурса до 22 сентября. Приступать к задачам можно уже сегодня.

Ставьте ❤️, если хотели бы обучать нейросети в 8 классе, но вы выпускник-2010

Что такое AI-агенты и как они работают 🤖

AI-агенты — это автономные системы на базе LLM. Обычно они работают по следующей схеме:

1️⃣ Goal setting — постановка цели
2️⃣ Planning / task decomposition — планирование и декомпозиция
3️⃣ Tool selection — выбор инструментов
4️⃣ Execution — выполнение
5️⃣ Feedback check — проверка результата
6️⃣ Adaptation / replanning — корректировка плана
7️⃣ Memory commit — сохранение опыта в памяти

Они умеют подключаться к внешним сервисам через API и использовать различные инструменты (CRM-системы, поисковики, календари, редакторы кода). Примеры таких решений — Operator от OpenAI и Manus от китайской компании ManusAI.

Из чего состоит AI-агент?

🔘 Интерфейсы и инструменты — протоколы и API для подключения к внешним системам (CRM, поисковики, аналитика и т. д.)
🔘 Планировщик — LLM (например, GigaChat, ChatGPT, Claude) или специальный алгоритм для общего планирования действий
🔘 Стек фреймворков — с их помощью агент формирует цепочки из небольших шагов для выполнения задач
🔘 Модуль памяти — хранит промежуточные данные, контекст, задачи, выводы, опыт, взаимодействия и знания (knowledge graph)
🔘 Менеджер задач — отвечает за постановку целей и декомпозицию задач
🔘 Оркестратор — система, координирующая работу всех модулей

⚡️ Агенты могут работать локально — с офлайн-API, корпоративными базами данных и в защищённых средах. Некоторым системам для полноценного функционирования необходимо подключение к интернету. Доступ к сети позволяет проверять факты, получать актуальные данные и вызывать внешние API.

Существуют два основных вида моделей-агентов:

➡️ одноагентные системы — один автономный исполнитель задачи
➡️ мультиагентные — несколько агентов, взаимодействующих между собой и обменивающихся задачами

Многие компании уже используют агентные системы для автоматизации отчётности, банки выявляют с их помощью мошеннические звонки и проверяют транзакции, а интернет-магазины создают ленты с персонализированными рекомендациями.

Планируете пользоваться AI-агентами?

👍 — Да, они сильно экономят время
🤔 — Нет, пока их ещё сложно настроить

Нейроугадайка 🧭

Сверху упрощённая схема одной из самых популярных нейросетевых архитектур. Сможете её угадать? Чтобы усложнить задачу, мы скрыли названия двух блоков.

Голосуйте за правильный ответ в опросе 👇

Как нарезать LLM на любое устройство 🪆

Google представила MatFormer Lab — инструмент для уменьшения нейросети Gemma 3n под сложность конкретной задачи на устройстве пользователя. Размер модели адаптируется, позволяя найти баланс между производительностью и расходом ресурсов. Благодаря этому её можно запускать даже на смартфонах (раньше только через облако).

Gemma 3n — мультимодальная модель на базе архитектуры MatFormer (Matryoshka Transformer), созданная для смартфонов, ноутбуков и планшетов. Как матрёшка, она содержит полнофункциональные версии меньшего размера внутри большой основной модели. Они отличаются количеством параметров и размерами скрытого слоя FFN (Feed-Forward Network) — нейросети с прямой связью:

➡️ E4B — полноразмерная, 4 млрд параметров (35 слоёв, размер скрытого слоя FFN — 16 384)
➡️ E2B — вложенная внутри E4B, 2 млрд параметров (30 слоёв, FFN — 8 192)

Matformer Lab адаптирует использование вычислительных ресурсов устройства в зависимости от сложности задачи. С его помощью можно «вырезать» модель нужного размера в диапазоне между E2B и E4B. Достаточно задать, какие слои пропустить и какие размерности FFN использовать.

➡️ Готовую версию можно скачать с Hugging Face и использовать как полноценную модель без fine-tuning.

А как вы предпочитаете уменьшать модели?

👍 — постобработка
❤️ — сразу закладываю гибкую архитектуру
🤔 — беру комбо: сжатие + MatFormer

Это не обычная школа, а волшебная научная 🔥

Прямо сейчас в Китае проходит шестой поток ML-школы SMILES-2025 — масштабного проекта Сколтеха и Сбера в партнёрстве с Харбинским технологическим институтом.

Кстати, мы отправили туда несколько опытных менторов и лекторов:

➡️ Денис Димитров, управляющий директор по исследованию данных, начальник управления базовых моделей Kandinsky
➡️ Иван Киреев, исполнительный директор по исследованию данных Центра практического искусственного интеллекта
➡️ Вячеслав Васильев и Константин Егоров, руководители направления по исследованию данных
➡️ Мария Тихонова, руководитель исследовательского направления в AGI NLP
➡️ Андрей Кузнецов, исполнительный директор по исследованию данных в Sber AI
➡️ Анастасия Ященко, руководитель направления по исследованию данных в Sber AI

На учёбу в школу приехали как будущие лидеры AI, так и те, кто уже строит карьеру в индустрии: студенты, магистранты, аспиранты ведущих вузов, молодые учёные и ML-инженеры. 100 из них обучаются очно, 300 — онлайн. Участники слушают лекции от ведущих экспертов, решают реальные задачи на практических семинарах и соревнуются на хакатонах.

Главные темы:

🔘 большие языковые модели
🔘 мультимодальные подходы
🔘 мультиагентные системы
🔘 генеративные подходы
🔘 методы самообучения
🔘 безопасный AI

Хотите учиться вместе с участниками? Смотрите записи трансляций по ссылке 💻

❤️ — рады за молодые таланты
👍 — тоже хотели бы поехать

Подписывайтесь на наш канал 👈

С Днём эмодзи! 🎉

Мы спрятали в эмодзи наши лучшие посты о применении AI в разных сферах:

🔘биология
🔘распознавание речи
🔘математика
🔘генерация изображений
🔘программирование
🔘кибербезопасность

Выберите самую интересную тему, найдите подходящий эмодзи и кликните, чтобы прочитать текст 👇

🎧 🎨 🧬 💻 5️⃣ 🛡

Станьте участником Startup Summit Awards 🏆

Сбер и Правительство Москвы открыли приём заявок на венчурную премию Startup Summit Awards.

Если вы создаёте технологический стартап, не упустите возможность заявить о себе. А если пилите стартап с AI, то для вас даже есть отдельная номинация!
Лауреаты получат признание экспертов, медиаподдержку и призы, которые помогут развиваться.

5️⃣ Жюри оценит инновационность решений, качество и масштаб партнёрств, финансовые достижения, а также вклад в развитие венчурной экосистемы.

📍 Награждение состоится в октябре на Moscow Startup Summit — международном саммите по технологическому предпринимательству и инновациям. Это событие соберёт более 4 000 лидеров-инноваторов из 20 стран.

➡️ Подать заявку можно до 15 августа по ссылке, участие бесплатное.

Где работает AI? Подсказка: не только в IT 🤖

Отраслевой AI — это система на базе искусственного интеллекта, разработанная для решения прикладных задач в конкретной сфере. В её основе могут быть как методы машинного обучения, так и современные генеративные модели, включая трансформеры, LLM и диффузионные модели.

Тип отраслевой системы зависит от цели:

ML-модели:
🔘 детекция аномалий в транзакциях (финтех, борьба с мошенничеством)
🔘 предиктивное техобслуживание (промышленность, транспорт)
🔘 кредитный скоринг (банкинг)

NLP-модели:
🔘 парсинг обращений и тикетов (службы поддержки, госсектор)
🔘 извлечение данных из сканов договоров (юридический документооборот)
🔘 анализ медицинских записей (здравоохранение)

Модели компьютерного зрения:
🔘 контроль качества продукции по видео (промышленное производство)
🔘 распознавание номеров и лиц (безопасность, транспорт)
🔘 автономная навигация AGV/AMR (логистика, роботы)

Генеративные модели:
🔘 генерация описаний товаров, статей и презентаций (маркетинг, e-commerce)
🔘 помощь в написании кода или шаблонов unit-тестов (разработка ПО)
🔘 создание прототипов интерфейсов и баннеров (дизайн, UI/UX)

Большинство отраслевых AI-моделей не обучаются с нуля, а проходят этап transfer learning или fine-tuning на отраслевых датасетах, например:

➡️ в медицине — это рентгеновские и МРТ-снимки
➡️ в промышленности — данные с IoT-датчиков и отчёты об инцидентах

После дообучения модели встраиваются в IT-структуру компании через API-интеграции с ERP, MES, SCADA, CRM и другие цифровые платформы. Или их интегрируют непосредственно в производственные процессы (например, в управление станками с ЧПУ).

Такие технологии уже активно применяются на практике:

✅ AI-ассистент KIRA на базе GigaChat 2.0 помогает специалистам по кибербезопасности анализировать данные и оперативно реагировать на угрозы
✅ Почта России тестирует AI для оптимизации маршрутов доставки. Система прогнозирует объёмы поступлений и составляет кратчайшие маршруты до конечных получателей
✅ В Москве запущен крупнейший в стране эксперимент по внедрению компьютерного зрения в медицину. Нейросети помогают выявлять ранние признаки заболеваний на КТ, МРТ и рентгеновских снимках
✅ Компания «Роснефть» разработала алгоритм на базе нейросети, который в 10 раз ускоряет один из этапов обработки сейсмических данных

Как вам плоды Четвёртой промышленной революции?

👍 — Впечатляет!
🤔 — Она уже началась?

Про нового конкурента DeepSeek и агентный режим в ChatGPT — в нашем дайджесте 💻

Инструменты

🎨 Tencent выпустила ArtifactsBench — систему оценки креативности AI для программирования. Она анализирует архитектуру и удобство использования сгенерированных приложений. По результатам сравнительных тестов, оценка бенчмарка совпадает с человеческой в 94,4% случаев.

🤔 Исследователи MIT представили CodeSteer — «тренера» для LLM. Он подсказывает модели, когда лучше применять текстовое рассуждение, а когда — сгенерировать код. При решении задач на символическое мышление (математика, логика, оптимизация) инструмент повышает точность ответов на 30%.

🏫 Google добавила в Workspace for Education AI-помощника на базе Gemini 2.5 Pro. Он помогает создавать тесты и задания для студентов, а также планировать уроки. Пока инструмент доступен только для зарубежных пользователей.

💊 В американской клинике Mayo создали AI, способный распознавать послеоперационные инфекции по фото ран. Vision Transformer определяет наличие разреза с точностью 94%, а признаки инфекции — с 81%. Новая технология позволит чаще проводить удалённый мониторинг пациентов.

Модели

🧘‍♀️ OpenAI добавила в ChatGPT агентный режим. Теперь нейросеть умеет самостоятельно выполнять задачи: открывать сайты, писать код, создавать и редактировать презентации. Пользователю нужно лишь описать цель в запросе. Новый режим доступен подписчикам Pro, Plus и Team.

💪 Moonshot AI выпустила нейросеть Kimi-K2 с агентной логикой и архитектурой MoE (1 трлн/32 млрд параметров). Модель лидирует в бенчмарках по программированию, письму и EQ. В LiveCodeBench она набрала 53,7%, обойдя DeepSeek-V3 (46,9%) и GPT-4.1.

🧬 Tencent разработала Hunyuan3D-PolyGen — нейросеть, которая генерирует 3D-модели высокого качества. Она поддерживает более 10 тыс. полигонов (плоскостей, из которых собирается нужный облик модели), работает с текстом и изображениями, умеет экспортировать генерацию в GLB, OBJ, MP4 и другие форматы.

👍 — планируете потестить CodeSteer или Kimi-K2
🤔 — интересно, как работает 3D-генерация от Tencent

DeepMind научит роботов внутреннему монологу 💳

DeepMind подала патентную заявку на систему, которая позволит роботам только на основе визуальных данных выполнять действия с объектами без предварительного обучения этому. Её главное преимущество в том, что, по сути, робот будет постоянно проходить zero-shot обучение — учиться в реальном времени на основе поступающих визуальных данных. Такой метод снижает требования к памяти и вычислительным ресурсам, необходимым для обучения модели на примерах.

В основе — AI-агент на базе LLM, который генерирует описание увиденного на естественном языке. Благодаря этому роботы смогут как бы «мысленно проговаривать» то, что видят. А затем использовать эти формулировки для выполнения полученных команд.

Как это работает

🔘 Система получит изображения или видео, на которых кто-то что-то делает. Например, где человек берёт кружку со стола. Агент составит описание «на столе стоит кружка», «человек берёт кружку». Система его запомнит, свяжет это с увиденным действием и будет сопоставлять с текстовыми описаниями новых объектов в будущем.

🔘 Это позволит роботу взаимодействовать с новыми объектами без предварительного обучения действиям, связанным с ними. Например, робот получил команду «подними кувшин», хотя умеет поднимать кружки. Если перед ним в этот момент стол, на котором стоит кувшин, агент в системе скажет: «Передо мной на столе кувшин». Он «узнает» кувшин, потому что нейросеть внутри него обучена распознавать и подписывать образы.

🔘 На основе предыдущих сохранённых описаний и связей между объектами («на столе стоит кружка», «человек берёт кружку») система выбирает наиболее подходящий сценарий действий, соответствующий поставленной задаче:

— скинуть кувшин на пол ❌
— потрогать кувшин ❌
— взять кувшин и поднять ✔️

🔘 Агент выдаёт описание, которое напрямую относится к распознанным объектам перед роботом: «Поднимаю кувшин со стола». И система отдаёт команду уже непосредственно манипуляторам робота сделать это.

❤️ — если вы тоже мысленно проговариваете каждое действие

AI подтвердил способность к нейрогенезу у взрослых людей

В недавнем исследовании с помощью AI учёные обнаружили клетки-предшественницы нейронов в гиппокампе у взрослых людей. Ранее считалось, что они есть только у детей. Это открытие ещё раз подтвердило, что взрослый мозг всё же способен создавать новые нейроны и сохраняет способность к нейрогенезу на протяжении жизни.

Ещё в 2013 году учёные подтвердили, что в гиппокампе взрослых людей возможен нейрогенез — образование новых нейронов. Позже были обнаружены стволовые клетки и незрелые нейроны, но недоставало ключевого звена — нейральных клеток-предшественниц.

Что сделали учёные?

🔘 Обучили AI распознавать молекулярные отпечатки клеток-предшественниц на образцах мозга, пожертвованных для эксперимента
🔘 Протестировали модель на мышах с точностью до 83%
🔘 Применили её к образцам мозга взрослых людей

По итогам эксперимента нейросеть нашла нужные клетки в 9 из 14 случаев. А в тестах участков мозга, не связанных с нейрогенезом, она точно зафиксировала их отсутствие.

Открытие учёных может приблизить нас к созданию терапии, способной восстанавливать функции мозга при психических и нейродегенеративных заболеваниях.

👍 — мозг продолжает удивлять
🤔 — жду AI для оцифровки памяти

Можем ли мы прочитать «мысли» рассуждающих моделей? 💡
Рассказываем, как разработчики пытаются интерпретировать их «мышление».

Как понять нейросеть

При решении задачи «нейроны» LLM активируются непредсказуемо и могут отвечать за множество концепций одновременно. Чтобы понять логику нейросети, нужно выявить группу активных нейронов, важных для решения конкретной задачи. Это похоже на небольшой набор понятий, которыми пользуются люди, рассуждая о той или иной ситуации.

В 2024 году OpenAI предложила использовать для выявления искомых групп нейронов разрежённые автокодировщики. Они сжимают общее состояние большой модели со множеством связей в компактный код (вектор «признаков»), а потом восстанавливают его. В этом коде активно лишь малое количество нейронных связей, и они неизбежно отвечают за что-то конкретное и осмысленное — иначе автокодировщик просто не сможет восстановить исходное состояние. Таким образом исследователи нашли у GPT-4 около 16 миллионов относительно интерпретируемых признаков (паттернов), каждый из которых отвечает за какую-то осмысленную концепцию.

Распутать цепь рассуждений

Весной 2025 года Anthropic выложила в открытый доступ circuit-tracer. Этот инструмент позволяет выяснить, как связаны между собой токены и какие цепи рассуждений выводит модель от промпта к ответу. Для этого используется атрибутивный граф — это ассоциативный граф, всем вершинам которого дополнительно приписаны некоторые подмножества атрибутов. Они помогают найти зависимости между рассуждениями модели и активацией тех или иных нейронов и слоёв модели. Таким способом компания исследовала свою модель Claude 3.5 Haiku.

Выяснилось, что модель может планировать ответ на много слов вперёд. Например, заранее подбирать рифмы в стихах или приходить к ответу раньше, чем она напечатает его на естественном языке. Она проводит параллельные вычисления для математических задач и комбинирует эти подходы — при этом иначе объясняет свою логику пользователям.

Кроме того, в модели одновременно срабатывают конкурирующие механизмы — например, установка составлять грамматически целостное высказывание заставляет её продолжать рассуждения на «опасные темы» вопреки этическим ограничениям.

❤️— если хотите узнать, мечтают ли андроиды об электроовцах