Наши коллеги выступили на одной из ведущих конференций по компьютерной лингвистике — ACL 2025. Они представили статью о семействе моделей GigaChat и поделились опытом с зарубежными экспертами. Поддержим! 💚

SMILES-2025: как прошла летняя ML-школа в Харбине 🏆

Две недели в Харбинском политехническом университете — одном из сильнейших технических вузов Китая и мира — пролетели незаметно.

Участники прослушали более 30 лекций и посетили практические семинары. Они исследовали современные архитектуры, тестировали модели, решали задачи по генерации по изображениям и тексту, изучали свойства больших языковых моделей и их возможности в научных сценариях. А на постерной сессии представили свои научные работы и идеи.

В этом году эксперты Cбера не только подготовили учебные материалы и провели лекции, но и выступили менторами практических проектов учащихся.

В финале студенты представили на конкурс более 30 проектов по обработке естественного языка, компьютерному зрению, генеративным моделям, математическим основам AI и его применению в прикладных задачах.

Победители конкурса проектов

🔘 1 место — «LLM-агенты для прогнозирования общественного восприятия центробанков», Дарья Дубинина, Фернандо Леон, Тимур Закарин, Людмила Завадская. Проект получил специальный приз от Сбера
🔘 2 место — «Предиктивное обучение представлений через согласование будущих состояний», Александр Югай, Хан Цуй
🔘 3 место — «Моделирование вознаграждений для генерации текста по изображениям», Мария Ковалева, Лев Новицкий, Даниил Князев

Работы, которые были отмечены дополнительно специальной номинацией Сбера и получили призы:

🔘 Постер «Оптимизация графов в AutoML с помощью LLM», Илларион Иов
🔘 Командный проект «ИИ агенты для прогнозирования общественного восприятия», Дарья Дубинина, Фернандо Леон, Тимур Закарин, Людмила Завадская

Итоги постерной сессии

🔘 1 место — «Вся сила в уверенности: few-shot дообучение языковых моделей с подкреплением», Пэнъи Ли
🔘 2 место — «Предотвращение переобучения в задачах генерации изображений: регуляризация эмбеддингов и карт внимания», Арина Чумаченко
🔘 3 место — «Нейросетевые методы генерации структурированных сеток», Бари Хайруллин

SMILES — отличная площадка для нетворкинга, обмена опытом и демонстрации технологическому сообществу экспертизы и передовых решений 🚀

🐲 Факты, графы и никаких галлюцинаций ⛔️

LLM генерируют ответы на основе фактов, но их знания ограничены обучающей выборкой. Чтобы отвечать достоверно на актуальные или узкоспециализированные запросы, модели нужно регулярно дообучать на свежих данных. Здесь на помощь приходят RAG-системы. При генерации ответов они подтягивают релевантные данные из внешних источников или внутренних баз данных.

Но как оценить, насколько хорошо система справляется с этой задачей? Наша команда из SberAI вместе с коллегами из ITMO, МИСИС, ВШЭ и MWS AI разработала DRAGON — первый динамический бенчмарк для оценки RAG-систем на русском языке в сфере новостей.

Как работает DRAGON?

1️⃣ Извлечение фактов из текста
LLM получает новостные статьи из открытых источников и извлекает из них факты в формате триплетов: субъект — отношение — объект. Например, «Россия — нарастила — добычу нефти». Это позволяет превратить неструктурированный текст в формальные логические утверждения

2️⃣ Нормализация сущностей
В тексте встречаются разные формы одного объекта (например, «РФ», «Россия», «Российская Федерация»). Система приводит их к единой форме с учётом контекста, чтобы сделать граф более однородным

3️⃣ Фильтрация
Триплеты, которые уже содержатся в открытых базах знаний (например, Wikidata), удаляются. Это позволяет исключить ситуацию, когда модель «угадывает» ответ, опираясь на обучающие данные, а не на данные из поиска

4️⃣ Построение RDF-графа знаний
Очищенные и нормализованные триплеты объединяются в один граф, отражающий связи между сущностями. Этот граф разбивается на подграфы, каждый из которых используется как основа для генерации вопросов — от простых до логически сложных

Вопросы для тестового набора формируются на основе четырех типов подграфов:

🔘 Simple — по одному факту из триплета
🔘 Set — перечисление связанных сущностей
🔘 Conditional — с логическим условием
🔘 Multi-hop — требует цепочки рассуждений

После того, как подграфы выделены, они передаются в языковую модель, которая с помощью специально подготовленного промпта генерирует вопросно-ответные пары. По ним бенчмарк затем оценивает RAG-системы.

Автогенерация вопросов не гарантирует качества, поэтому финально применяется многоступенчатая фильтрация:

1️⃣ языковая корректность: вопросы проходят проверку моделью, обученной на RuCoLA. Отсеиваются некорректные, неестественные или синтаксически ошибочные формулировки
2️⃣ проверка сущностей: с помощью Natasha извлекаются именованные сущности из статьи. Если они не упоминаются в вопросе или ответе, то пример считается слишком общим и удаляется
3️⃣ проверка на тривиальность: вопросы прогоняются через модели вроде Qwen 2.5 7B и LLaMA 3 8B без контекста. Если они легко угадывают ответ, задача считается тривиальной и исключается
4️⃣ сопоставление с подграфом: упомянутые в вопросе сущности сравниваются с RDF-подграфом (по расстоянию Левенштейна). Отбрасываются примеры без соответствий или с «лишними» сущностями
5️⃣ финальная оценка: отфильтрованные примеры также проходят проверку через POLLUX-7B

🎉 После фильтрации отбираются по 150 лучших вопросов на каждый тип подграфа. Итоговый тест включает только те примеры, что прошли проверку на смысловую связность, сложность и качество.

Бенчмарк защищён от утечек за счёт регулярного обновления тестового датасета и использует извлечение графов знаний из текста для точной работы с фактами.

Репозиторий с кодом на GitHub 💻

🔥 — если прогоните свою модель через DRAGON

Про AI, который стимулирует студентов учиться, и новую карту Земли — в нашем дайджесте 💻

Инструменты

👨‍🎓 OpenAI добавила «режим обучения» в ChatGPT. Он подталкивает студентов к самостоятельному решению задачи, а не даёт готовые ответы. LLM задаёт наводящие вопросы, предлагает пошаговые инструкции и различные тесты на понимание материала.

⛅ Tencent Cloud представила CodeBuddy AI-IDE — AI-инструмент для разработки полного цикла. Пользователь описывает проект на естественном языке, а система сама создаёт дизайн, пишет фронтенд и бэкенд-код и развёртывает приложение.

🧑‍💻 GitHub запустила аналогичный проект Spark — AI-платформу для создания приложений по текстовому запросу. Достаточно описать идею на естественном языке — Spark также соберёт фронт, бэкенд и создаст готовый репозиторий. Пока доступен только для подписчиков Copilot Pro+.

Модели

🇨🇳 Учёные из Шанхайского университета и MiniMax AI представили ASI-ARCH — систему, которая сама формулирует гипотезы и создаёт новые нейросетевые архитектуры. За 20 000 GPU-часов она провела 1 773 эксперимента и разработала 106 SOTA-архитектур.

🧬 Latent Labs выпустила LatentX — веб-модель AI для проектирования новых белков. Она превосходит аналоги в создании атомной структуры молекул и ускоряет разработку лекарств.

🌎 Google разработала AlphaEarth — AI для глобального картографирования. Модель объединяет данные со всех общедоступных источников в единую цифровую карту Земли. Она уменьшает погрешность в наблюдениях до 24% и использует в 16 раз меньше ресурсов, чем аналогичные решения.

🤖 Стартап Skild AI представил foundation-модель Skild Brain — AI, работающий практически с любым роботом. Система позволяет машинам взаимодействовать с окружением и выполнять различные задачи. При этом модель обучается на симуляциях и видео, а затем дообучается на данных от самих роботов.

👍 — скоро ChatGPT будет принимать зачёт по ChatGPT
🔥 — AI нашёл белок, а я новый способ отложить дедлайн

Нейросети, которые не могут сказать ELEVEN ❌

Райан Хэнсон, профессиональный ML-разработчик, решил провести необычный эксперимент с липограммой — литературным приёмом, при котором автор намеренно избегает определённых символов. Он «научил» языковую модель писать тексты без самой популярной буквы английского языка — «E». А исключить определённую букву из токенов — сама по себе нетривиальная задача.

Разработчик нашёл все токены с буквой «E» и замаскировал их веса с помощью булевой маски и функции torch.where. Маска помечает все токены, содержащие букву «E». Затем веса этих токенов в выходном слое (output.weight) заменяются на нули. В результате нейросеть понимала входной текст, но не использовала «E» в ответах. Например:

— What is the largest land mammal in Africa?
— In Africa, you'll find that actually not a mammal, but an animal knows as an «ox» — or to put it simply, an African buffalo!

Перевод:
— Какое самое крупное наземное млекопитающее в Африке?
— В Африке вы найдёте не млекопитающее, а животное, известное как «вол» — проще говоря, африканский буйвол!

Модель всеми силами делала вид, что не знает слово, лишь бы не нарушить правило. Получился своеобразный театр абсурда с LLM в главной роли.

Позже исследователи из Университета Стоуни-Брук переписали подобным образом роман «Великий Гэтсби» Фрэнсиса Фицджеральда. Перед LLM стояла цель — сохранить сюжет, стиль и связность текста.

Авторы применили комбинацию методов:

🔘 Маскировка токенов — скрытие отдельных слов или символов, чтобы модель предсказывала их заново с учётом ограничения
🔘 Beam search — алгоритм поиска наиболее вероятных последовательностей, отбирающий варианты генерации без запрещённых букв
🔘 Замена имён собственных — имена с запрещённой буквой внутри заменялись на подходящие аналоги
🔘 Постобработка текста — удаление нарушений или замена неподходящих слов

Учёные достигли семантической близости 0.71 при полном отсутствии буквы «Е». Однако читать такой текст оказалось трудно.

👍 — хочу больше постов про странные нейросети
🤔 — давайте сделаем русскоязычную LLM без буквы «О»

🔥 Мультимодальный найм от Sber AI 🔥

Коллеги из GigaChat RnD открыли набор на 6 вакансий:

1️⃣ ML Engineer (Computer Operator)
Роль для работы над мультимодальными агентами. Задачи — подготовка и проведение экспериментов с моделями в проекте Computer Operator. Разработка агентов для интеграции в GigaChat и другие продукты.

2️⃣ CV Researcher (Sber. GigaChat)
Позиция для тех, кто хочет разрабатывать и валидировать SOTA-подходы в компьютерном зрении. Работа с видео (распознавание, трекинг, анализ временных последовательностей), VLM и омнимодальными архитектурами.

3️⃣ NLP Engineer (RnD NLP TTS)
Нужен специалист для создания SOTA end-to-end решений в мультимодальных задачах (аудио + текст): синхронный перевод речи, full-duplex диалоговые системы, генерация и контроль голоса. Эксперименты с GigaChat, DeepSeek, Qwen. Подготовка сложных датасетов и бенчмарков для аудио.

4️⃣ NLP Researcher (RnD NLP)
Место для тех, кто умеет разбирать LLM-пайплайны, формулировать гипотезы и внедрять SOTA-решения. Работа включает обучение моделей, валидацию и интеграцию решений в GigaChat, а также упаковку результатов исследований и (по желанию) публикации на топовых конференциях.

5️⃣ NLP-исследователь в AGI NLP
Ищут исследователя для оценки возможностей LLM, AI-агентов и RAG-систем. Нужно будет разрабатывать метрики, тесты, бенчмарки, проводить эксперименты и оценивать модели. Также предстоит работать в коллаборации с ведущими AI-компаниями.

6️⃣ NLP/PLP Researcher (GigaCode)
Позиция для обучения SOTA LLM под задачи программирования — от генерации подсказок в IDE до редактирования проектов. Формулировка гипотез, запуск экспериментов, анализ результатов, подготовка бенчмарков и обучение моделей (с нуля и дообучение). Интеграция решений с командой SberWorks, ориентация на передовые исследования.

❗️Важно: все вакансии рассчитаны на уровень Middle и выше.
➡️ В отклике укажите, на какую позицию претендуете. Почта для связи: [email protected]

Свежие вакансии подсмотрели в канале RnD CV Team.

Новая модель расскажет всё о ваших тренировках 🏃‍♂️

Google Research представила SensorLM — семейство LLM, которые обрабатывают сырые данные фитнес-трекеров и объясняют их текстом. Модель интерпретирует физиологические показатели точнее, чем неспециализированные LLM. Это позволит создавать AI-помощников для здоровья и спорта.

Особенности SensorLM

💻 Выдаёт описания, точно соответствующие контексту активности: по сигналам с датчиков модель объяснит, когда пользователь бежал в гору, а когда — волновался перед выступлением.

💻 Кросс-модальный поиск: пользователь вводит текстовый запрос и получает сырые показатели — и наоборот.

💻 Работает в режиме zero-shot. Может классифицировать более 20 видов активности без fine-tuning и легко дообучается всего на нескольких примерах.

Как обучали модель

В основе датасета — более 59,7 миллионов часов записи активности 103 643 человек из 127 стран. А также текстовые описания фрагментов данных, созданные с помощью иерархического пайплайна.

Во время контрастного обучения модель тренировалась различать типы данных: например, какие соответствуют быстрой ходьбе, а какие — медленному бегу. Во время генеративного предобучения модель училась сама интерпретировать сигналы датчиков и доходчиво анализировать показатели.

❤️ — если тоже хотите личного AI-тренера

Составляем портрет AI-энтузиаста! Ответьте на вопросы ниже, чтобы он получился точным. Потом вы сможете сравнить, похож ли этот герой на вас 😉