Продолжаем рассказ об AI-редакторе Malvina

🔘 Какая архитектура у модели?
🔘 Сколько экспертов работают в MoE Transformer Adapter?
🔘 И за счёт чего Malvina восстанавливает старые изображения?

Обо всём этом — во второй части интервью с Григорием Алексеенко

❤️ — если понравился такой формат

Легче, быстрее, дешевле ⚡️

Учёные из Университета Бар-Илан разработали метод «обрезки» (pruning) нейросетей без потери качества. Новый подход AFCC (Applied Filter’s Cluster Connections) анализирует отдельные параметры модели и выявляет те, что действительно важны для обучения. Остальные элементы, не влияющие на результат, удаляет. Это позволяет сократить число параметров на отдельных слоях до 90% без ухудшения производительности.

Тесты показали, что «облегчённые» модели:

🔘 быстрее обучаются и работают
🔘 экономят электроэнергию
🔘 требуют меньшего объёма памяти и вычислительной мощности, чем исходные

⚠️ Пока метод тестировался только на архитектурах VGG-11 и EfficientNet-B0, обученных на датасете CIFAR-100. Для других решений его эффективность ещё предстоит изучить.

Стоит отметить, что для внедрения таких моделей требуется глубокий анализ в каждом конкретном случае. Поэтому не ясно, удобно ли будет применять подход для массового внедрения. Однако потенциал у подобных методов большой — в будущем они смогут революционизировать индустрию AI и, возможно, позволят запускать топовые модели даже на смартфонах.

Как думаете, станет ли «обрезка» стандартной практикой при запуске моделей в продакшн?

🔥 — Да, это повысит спрос на такие модели
🤔 — Нет, все параметры могут пригодиться

На страже вашего кода 🛡

Наши учёные разработали новую модель для поиска слабых мест в коде. Их статью приняли к публикации в международном журнале IEEE Access.

В основе подхода — нейросеть WizardCoder для анализа Java-кода. Её дообучили на датасете с подтверждёнными уязвимостями для поиска ошибок, которые могут привести к утечке данных или взлому. За счёт использования батча переменного размера время на fine-tuning удалось сократить в 13 раз.

Результаты тестов:

🔘 + 4–5% к точности в простых примерах кода с уязвимостями
🔘 + 22% для сложных примеров уязвимостей

Метод обошёл по эффективности альтернативные AI-решения для поиска уязвимостей вроде ContraBERT на основе CodeBERT. Разработка поможет учёным ускорить обучение больших моделей и улучшить методы анализа кода. В будущем благодаря таким методам компании смогут быстрее, точнее и дешевле находить потенциальные угрозы в ПО.

🔥 — если согласны, что такие AI-анализаторы кода упростят жизнь разработчикам

Второе место в RecSys Challenge у команды Сбера 🏆

Исследователи Sber AI Lab заняли второе место в соревновании RecSys Challenge на международной конференции RecSys 2025! Это одно из крупнейших событий по ML в рекомендательных системах. А в зачете академических команд исследователи взяли первое место.

В команде от Сбера ai_lab_recsys выступили Антон Кленицкий, Артём Фаткулин, Антон Пембек, Дарья Денисова и Алексей Васильев. Всего в соревновании участвовали более 100 команд из разных стран.

По условиям конкурса участникам требовалось:

1️⃣ сгенерировать эмбеддинги на основе действий пользователей рекомендательных систем
2️⃣ затем передать их в проверяющую систему, которая самостоятельно обучала нейросеть для решения нескольких задач

Это очень похоже на кейсы банка, поэтому наработки, полученные на соревновании, команда проверит на реальных данных и применит для решения задач Сбера.

Для достижения цели учёные объединили несколько типов представлений: ALS, пользовательские фичи, автоэнкодеры и GRU. Такое сочетание обеспечило высокую обобщаемость и стабильные результаты на всех задачах, включая скрытые

➡️ По результатам работы уже готовится научная статья для специального воркшопа в рамках конференции RecSys’25 в Праге.

🎉 Поздравляем команду и желаем новых успехов!

Задачи «по зубам»: GigaChat сдал экзамен на стоматолога 5️⃣

GigaChat прошёл аккредитацию по специальности «Стоматология» в Воронежском государственном медицинском университете.

Модель дообучили на специальном датасете для направления «Врач-стоматолог». Теперь GigaChat способен давать понятные и достоверные ответы о гигиене и лечении зубов. В перспективе AI-ассистента смогут использовать врачи.

Это не первая аккредитация GigaChat по медицине. У него получилось:

🔘 сдать выпускной экзамен по специальности «Лечебное дело» в НМИЦ им. Алмазова
🔘 на базе аккредитационного центра Сеченовского Университета успешно решить ситуационные задачи, соответствующие теоретическим этапам первичной аккредитации по специальности «Лечебное дело»
🔘сдать экзамен по кардиологии в ВолгГМУ и по гастроэнтерологии в УГМУ
🔘сдать экзамены по педиатрии, неврологии в ПИМУ и по ревматологии в СамГМУ

❤️ — если ждёте новостей о новых успехах нейросетей

AlphaGenome — новый AI-инструмент для исследования ДНК 🔥

В конце июня DeepMind представила AlphaGenome — AI-инструмент, который предсказывает, как изменения в ДНК влияют на процессы в организме человека.

Что умеет AlphaGenome

AlphaGenome принимает на вход длинную последовательность «букв», из которых состоит ДНК — до 1 миллиона. А затем прогнозирует свойства молекулы. Модель также оценивает эффекты мутаций и вариаций генов. Для этого она сравнивает прогнозы для стандартных и изменённых последовательностей.

Как устроена модель

🔘 Свёрточные слои ищут «мотивы» — короткие повторяющиеся паттерны в последовательности «букв». Так выделяются участки, важные для активности гена.

🔘 Трансформеры анализируют связи между участками ДНК. Например, между геном и участками-энхансерами, которые регулируют его работу и находятся в тысячах «букв» от него.

🔘 Финальные слои (prediction heads) по найденным паттернам и связям предсказывают свойства молекулы.

Например:
🔘 начало и конец гена в последовательности
🔘 места присоединения белков, регулирующих работу генов

Обучение

Во время обучения модель сравнивает свои прогнозы с экспериментальными данными из научных исследований, считает, насколько сильно ошиблась, и учитывает эту ошибку в дальнейшем. Для обучения разработчики взяли крупные датасеты с элементами ДНК: ENCODE, GTEx, 4D Nucleome и FANTOM5.

Где полезна AlphaGenome

Модель может значительно ускорить изучение генома. В том числе — помочь определить роль отдельных генов в работе организма и выявить причины генетических болезней.

Подробнее об AlphaGenome читайте в статье по этой ссылке. Модель доступна через API.

❤️ — если удивлены прогрессом нейросетей в науке

Shazam в мире инструментальной музыки 🎶

Стартап Songscription представил нейросеть, которая расшифровывает аудиозаписи в партитуры. Для тех, кто не умеет читать ноты, предусмотрен перевод в piano roll — формат, который показывает нужные клавиши на виртуальном пианино.

Как это работает

🔘 Модель получает P-MIDI-файл с аудиозаписью
🔘 Затем преобразовывает его в токены для подачи в трансформер
🔘 Трансформер, обученный на сотнях пар «исполнение → партитура», переводит их в ноты в формате MusicXML

В основе системы — подход PM2S (Performance MIDI-to-Score Conversion), разработанный для восстановления нотной структуры на основе MIDI-записи живого исполнения.

Архитектура модели подробно описана в научной статье одного из соавторов проекта 🔥

Пока нейросеть лучше всего работает с фортепиано, но поддерживает и другие инструменты. В будущем команда планирует добавить гитарные табулатуры, оркестровые аранжировки и другие форматы для расшифровок.

Как считаете, способны ли модели уловить нюансы живого исполнения?

👍 — Да, при качественном обучении это возможно
🤔 — Нет, без корректировки от человека не обойтись

Продолжаем подборку датасетов от отечественных разработчиков. Сегодня делимся шестью наборами, посвящёнными литературе, компьютерному зрению и аудиоданным.

Russian poems

✉️ 19 000 русскоязычных стихотворений от 48 авторов. Подходит для обучения языковых моделей, а также задач по стилометрии, авторской атрибуции и литературных экспериментов.

Russian Classic Painting Dataset

🌷 Коллекция из свыше 1 600 картин, собранных в фондах Третьяковской галереи, Русского музея и других архивов. Каждое произведение дополнено описанием на русском и английском языках. Можно применять для обучения text-to-image моделей.

Handwritten Russian Letters

📸 Набор данных, созданный автором вручную на основе собственных фотографий. Содержит строчные и прописные буквы. Фон варьируется: линейка, клетка, чистый лист. Пригодится для обучения моделей распознавания рукописного текста и задач OCR.

SOVA

📆 Около 28  000 часов живой русскоязычной речи с ручной разметкой. Это ценный материал для задач автоматического распознавания речи (ASR) и акустического анализа. Датасет распространяется по лицензии CC BY 4.0. Данные можно использовать для коммерческих целей.

Russian Jokes

🎉 Более 120 000 отборных анекдотов на русском языке. Настоящий кладезь для задач по классификации, тематического анализа и исследования культурных особенностей. Может использоваться при обучении моделей для генерации креативного контента.

🔥 — если хотите больше тематических подборок AI-датасетов

Новость для всех, кому нет 25: организаторы международного конкурса AI Challenge 2025 опубликовали задания ⚡️

Если вы школьник или студент, у вас есть возможность отточить свои скиллы на реальных кейсах от топовых техногигантов и научных центров 😸 Вы сможете создать помощников для проверки сочинений, системы компьютерного зрения, алгоритмы для поиска предрасположенности к заболеваниям или для борьбы с дипфейками.

В конкурсе — три трека:

🔘«Начинающие» — учащиеся до 8 класса с базовыми знаниями Python и ML
🔘«Школьники» — учащиеся до 11 класса, уверенно владеющие Python, со знанием классических алгоритмов ML и основ нейросетей
🔘«Студенты» — до 25 лет, программирующие на продвинутом уровне, с глубоким пониманием ML и опытом работы с архитектурами Deep Learning. Им предстоит решать задачи на стыке биоинформатики, компьютерного зрения, мультимодальности и диалоговых систем

Если вам не хватает мотивации, держите материальную — призовой фонд составляет 15,6 млн рублей 💵

Победителей наградят в Москве на конференции AI Journey осенью. Они попадут на образовательную программу для подготовки к Международной олимпиаде по искусственному интеллекту (IOAI) в 2026 году.

Если вам ещё нет 25 — регистрируйтесь на сайте конкурса до 22 сентября. Приступать к задачам можно уже сегодня.

Ставьте ❤️, если хотели бы обучать нейросети в 8 классе, но вы выпускник-2010

Что такое AI-агенты и как они работают 🤖

AI-агенты — это автономные системы на базе LLM. Обычно они работают по следующей схеме:

1️⃣ Goal setting — постановка цели
2️⃣ Planning / task decomposition — планирование и декомпозиция
3️⃣ Tool selection — выбор инструментов
4️⃣ Execution — выполнение
5️⃣ Feedback check — проверка результата
6️⃣ Adaptation / replanning — корректировка плана
7️⃣ Memory commit — сохранение опыта в памяти

Они умеют подключаться к внешним сервисам через API и использовать различные инструменты (CRM-системы, поисковики, календари, редакторы кода). Примеры таких решений — Operator от OpenAI и Manus от китайской компании ManusAI.

Из чего состоит AI-агент?

🔘 Интерфейсы и инструменты — протоколы и API для подключения к внешним системам (CRM, поисковики, аналитика и т. д.)
🔘 Планировщик — LLM (например, GigaChat, ChatGPT, Claude) или специальный алгоритм для общего планирования действий
🔘 Стек фреймворков — с их помощью агент формирует цепочки из небольших шагов для выполнения задач
🔘 Модуль памяти — хранит промежуточные данные, контекст, задачи, выводы, опыт, взаимодействия и знания (knowledge graph)
🔘 Менеджер задач — отвечает за постановку целей и декомпозицию задач
🔘 Оркестратор — система, координирующая работу всех модулей

⚡️ Агенты могут работать локально — с офлайн-API, корпоративными базами данных и в защищённых средах. Некоторым системам для полноценного функционирования необходимо подключение к интернету. Доступ к сети позволяет проверять факты, получать актуальные данные и вызывать внешние API.

Существуют два основных вида моделей-агентов:

➡️ одноагентные системы — один автономный исполнитель задачи
➡️ мультиагентные — несколько агентов, взаимодействующих между собой и обменивающихся задачами

Многие компании уже используют агентные системы для автоматизации отчётности, банки выявляют с их помощью мошеннические звонки и проверяют транзакции, а интернет-магазины создают ленты с персонализированными рекомендациями.

Планируете пользоваться AI-агентами?

👍 — Да, они сильно экономят время
🤔 — Нет, пока их ещё сложно настроить

Нейроугадайка 🧭

Сверху упрощённая схема одной из самых популярных нейросетевых архитектур. Сможете её угадать? Чтобы усложнить задачу, мы скрыли названия двух блоков.

Голосуйте за правильный ответ в опросе 👇

Как нарезать LLM на любое устройство 🪆

Google представила MatFormer Lab — инструмент для уменьшения нейросети Gemma 3n под сложность конкретной задачи на устройстве пользователя. Размер модели адаптируется, позволяя найти баланс между производительностью и расходом ресурсов. Благодаря этому её можно запускать даже на смартфонах (раньше только через облако).

Gemma 3n — мультимодальная модель на базе архитектуры MatFormer (Matryoshka Transformer), созданная для смартфонов, ноутбуков и планшетов. Как матрёшка, она содержит полнофункциональные версии меньшего размера внутри большой основной модели. Они отличаются количеством параметров и размерами скрытого слоя FFN (Feed-Forward Network) — нейросети с прямой связью:

➡️ E4B — полноразмерная, 4 млрд параметров (35 слоёв, размер скрытого слоя FFN — 16 384)
➡️ E2B — вложенная внутри E4B, 2 млрд параметров (30 слоёв, FFN — 8 192)

Matformer Lab адаптирует использование вычислительных ресурсов устройства в зависимости от сложности задачи. С его помощью можно «вырезать» модель нужного размера в диапазоне между E2B и E4B. Достаточно задать, какие слои пропустить и какие размерности FFN использовать.

➡️ Готовую версию можно скачать с Hugging Face и использовать как полноценную модель без fine-tuning.

А как вы предпочитаете уменьшать модели?

👍 — постобработка
❤️ — сразу закладываю гибкую архитектуру
🤔 — беру комбо: сжатие + MatFormer

Это не обычная школа, а волшебная научная 🔥

Прямо сейчас в Китае проходит шестой поток ML-школы SMILES-2025 — масштабного проекта Сколтеха и Сбера в партнёрстве с Харбинским технологическим институтом.

Кстати, мы отправили туда несколько опытных менторов и лекторов:

➡️ Денис Димитров, управляющий директор по исследованию данных, начальник управления базовых моделей Kandinsky
➡️ Иван Киреев, исполнительный директор по исследованию данных Центра практического искусственного интеллекта
➡️ Вячеслав Васильев и Константин Егоров, руководители направления по исследованию данных
➡️ Мария Тихонова, руководитель исследовательского направления в AGI NLP
➡️ Андрей Кузнецов, исполнительный директор по исследованию данных в Sber AI
➡️ Анастасия Ященко, руководитель направления по исследованию данных в Sber AI

На учёбу в школу приехали как будущие лидеры AI, так и те, кто уже строит карьеру в индустрии: студенты, магистранты, аспиранты ведущих вузов, молодые учёные и ML-инженеры. 100 из них обучаются очно, 300 — онлайн. Участники слушают лекции от ведущих экспертов, решают реальные задачи на практических семинарах и соревнуются на хакатонах.

Главные темы:

🔘 большие языковые модели
🔘 мультимодальные подходы
🔘 мультиагентные системы
🔘 генеративные подходы
🔘 методы самообучения
🔘 безопасный AI

Хотите учиться вместе с участниками? Смотрите записи трансляций по ссылке 💻

❤️ — рады за молодые таланты
👍 — тоже хотели бы поехать

Подписывайтесь на наш канал 👈

С Днём эмодзи! 🎉

Мы спрятали в эмодзи наши лучшие посты о применении AI в разных сферах:

🔘биология
🔘распознавание речи
🔘математика
🔘генерация изображений
🔘программирование
🔘кибербезопасность

Выберите самую интересную тему, найдите подходящий эмодзи и кликните, чтобы прочитать текст 👇

🎧 🎨 🧬 💻 5️⃣ 🛡

Станьте участником Startup Summit Awards 🏆

Сбер и Правительство Москвы открыли приём заявок на венчурную премию Startup Summit Awards.

Если вы создаёте технологический стартап, не упустите возможность заявить о себе. А если пилите стартап с AI, то для вас даже есть отдельная номинация!
Лауреаты получат признание экспертов, медиаподдержку и призы, которые помогут развиваться.

5️⃣ Жюри оценит инновационность решений, качество и масштаб партнёрств, финансовые достижения, а также вклад в развитие венчурной экосистемы.

📍 Награждение состоится в октябре на Moscow Startup Summit — международном саммите по технологическому предпринимательству и инновациям. Это событие соберёт более 4 000 лидеров-инноваторов из 20 стран.

➡️ Подать заявку можно до 15 августа по ссылке, участие бесплатное.

Где работает AI? Подсказка: не только в IT 🤖

Отраслевой AI — это система на базе искусственного интеллекта, разработанная для решения прикладных задач в конкретной сфере. В её основе могут быть как методы машинного обучения, так и современные генеративные модели, включая трансформеры, LLM и диффузионные модели.

Тип отраслевой системы зависит от цели:

ML-модели:
🔘 детекция аномалий в транзакциях (финтех, борьба с мошенничеством)
🔘 предиктивное техобслуживание (промышленность, транспорт)
🔘 кредитный скоринг (банкинг)

NLP-модели:
🔘 парсинг обращений и тикетов (службы поддержки, госсектор)
🔘 извлечение данных из сканов договоров (юридический документооборот)
🔘 анализ медицинских записей (здравоохранение)

Модели компьютерного зрения:
🔘 контроль качества продукции по видео (промышленное производство)
🔘 распознавание номеров и лиц (безопасность, транспорт)
🔘 автономная навигация AGV/AMR (логистика, роботы)

Генеративные модели:
🔘 генерация описаний товаров, статей и презентаций (маркетинг, e-commerce)
🔘 помощь в написании кода или шаблонов unit-тестов (разработка ПО)
🔘 создание прототипов интерфейсов и баннеров (дизайн, UI/UX)

Большинство отраслевых AI-моделей не обучаются с нуля, а проходят этап transfer learning или fine-tuning на отраслевых датасетах, например:

➡️ в медицине — это рентгеновские и МРТ-снимки
➡️ в промышленности — данные с IoT-датчиков и отчёты об инцидентах

После дообучения модели встраиваются в IT-структуру компании через API-интеграции с ERP, MES, SCADA, CRM и другие цифровые платформы. Или их интегрируют непосредственно в производственные процессы (например, в управление станками с ЧПУ).

Такие технологии уже активно применяются на практике:

✅ AI-ассистент KIRA на базе GigaChat 2.0 помогает специалистам по кибербезопасности анализировать данные и оперативно реагировать на угрозы
✅ Почта России тестирует AI для оптимизации маршрутов доставки. Система прогнозирует объёмы поступлений и составляет кратчайшие маршруты до конечных получателей
✅ В Москве запущен крупнейший в стране эксперимент по внедрению компьютерного зрения в медицину. Нейросети помогают выявлять ранние признаки заболеваний на КТ, МРТ и рентгеновских снимках
✅ Компания «Роснефть» разработала алгоритм на базе нейросети, который в 10 раз ускоряет один из этапов обработки сейсмических данных

Как вам плоды Четвёртой промышленной революции?

👍 — Впечатляет!
🤔 — Она уже началась?

Про нового конкурента DeepSeek и агентный режим в ChatGPT — в нашем дайджесте 💻

Инструменты

🎨 Tencent выпустила ArtifactsBench — систему оценки креативности AI для программирования. Она анализирует архитектуру и удобство использования сгенерированных приложений. По результатам сравнительных тестов, оценка бенчмарка совпадает с человеческой в 94,4% случаев.

🤔 Исследователи MIT представили CodeSteer — «тренера» для LLM. Он подсказывает модели, когда лучше применять текстовое рассуждение, а когда — сгенерировать код. При решении задач на символическое мышление (математика, логика, оптимизация) инструмент повышает точность ответов на 30%.

🏫 Google добавила в Workspace for Education AI-помощника на базе Gemini 2.5 Pro. Он помогает создавать тесты и задания для студентов, а также планировать уроки. Пока инструмент доступен только для зарубежных пользователей.

💊 В американской клинике Mayo создали AI, способный распознавать послеоперационные инфекции по фото ран. Vision Transformer определяет наличие разреза с точностью 94%, а признаки инфекции — с 81%. Новая технология позволит чаще проводить удалённый мониторинг пациентов.

Модели

🧘‍♀️ OpenAI добавила в ChatGPT агентный режим. Теперь нейросеть умеет самостоятельно выполнять задачи: открывать сайты, писать код, создавать и редактировать презентации. Пользователю нужно лишь описать цель в запросе. Новый режим доступен подписчикам Pro, Plus и Team.

💪 Moonshot AI выпустила нейросеть Kimi-K2 с агентной логикой и архитектурой MoE (1 трлн/32 млрд параметров). Модель лидирует в бенчмарках по программированию, письму и EQ. В LiveCodeBench она набрала 53,7%, обойдя DeepSeek-V3 (46,9%) и GPT-4.1.

🧬 Tencent разработала Hunyuan3D-PolyGen — нейросеть, которая генерирует 3D-модели высокого качества. Она поддерживает более 10 тыс. полигонов (плоскостей, из которых собирается нужный облик модели), работает с текстом и изображениями, умеет экспортировать генерацию в GLB, OBJ, MP4 и другие форматы.

👍 — планируете потестить CodeSteer или Kimi-K2
🤔 — интересно, как работает 3D-генерация от Tencent