DeepMind научит роботов внутреннему монологу 💳

DeepMind подала патентную заявку на систему, которая позволит роботам только на основе визуальных данных выполнять действия с объектами без предварительного обучения этому. Её главное преимущество в том, что, по сути, робот будет постоянно проходить zero-shot обучение — учиться в реальном времени на основе поступающих визуальных данных. Такой метод снижает требования к памяти и вычислительным ресурсам, необходимым для обучения модели на примерах.

В основе — AI-агент на базе LLM, который генерирует описание увиденного на естественном языке. Благодаря этому роботы смогут как бы «мысленно проговаривать» то, что видят. А затем использовать эти формулировки для выполнения полученных команд.

Как это работает

🔘 Система получит изображения или видео, на которых кто-то что-то делает. Например, где человек берёт кружку со стола. Агент составит описание «на столе стоит кружка», «человек берёт кружку». Система его запомнит, свяжет это с увиденным действием и будет сопоставлять с текстовыми описаниями новых объектов в будущем.

🔘 Это позволит роботу взаимодействовать с новыми объектами без предварительного обучения действиям, связанным с ними. Например, робот получил команду «подними кувшин», хотя умеет поднимать кружки. Если перед ним в этот момент стол, на котором стоит кувшин, агент в системе скажет: «Передо мной на столе кувшин». Он «узнает» кувшин, потому что нейросеть внутри него обучена распознавать и подписывать образы.

🔘 На основе предыдущих сохранённых описаний и связей между объектами («на столе стоит кружка», «человек берёт кружку») система выбирает наиболее подходящий сценарий действий, соответствующий поставленной задаче:

— скинуть кувшин на пол ❌
— потрогать кувшин ❌
— взять кувшин и поднять ✔️

🔘 Агент выдаёт описание, которое напрямую относится к распознанным объектам перед роботом: «Поднимаю кувшин со стола». И система отдаёт команду уже непосредственно манипуляторам робота сделать это.

❤️ — если вы тоже мысленно проговариваете каждое действие

AI подтвердил способность к нейрогенезу у взрослых людей

В недавнем исследовании с помощью AI учёные обнаружили клетки-предшественницы нейронов в гиппокампе у взрослых людей. Ранее считалось, что они есть только у детей. Это открытие ещё раз подтвердило, что взрослый мозг всё же способен создавать новые нейроны и сохраняет способность к нейрогенезу на протяжении жизни.

Ещё в 2013 году учёные подтвердили, что в гиппокампе взрослых людей возможен нейрогенез — образование новых нейронов. Позже были обнаружены стволовые клетки и незрелые нейроны, но недоставало ключевого звена — нейральных клеток-предшественниц.

Что сделали учёные?

🔘 Обучили AI распознавать молекулярные отпечатки клеток-предшественниц на образцах мозга, пожертвованных для эксперимента
🔘 Протестировали модель на мышах с точностью до 83%
🔘 Применили её к образцам мозга взрослых людей

По итогам эксперимента нейросеть нашла нужные клетки в 9 из 14 случаев. А в тестах участков мозга, не связанных с нейрогенезом, она точно зафиксировала их отсутствие.

Открытие учёных может приблизить нас к созданию терапии, способной восстанавливать функции мозга при психических и нейродегенеративных заболеваниях.

👍 — мозг продолжает удивлять
🤔 — жду AI для оцифровки памяти

Можем ли мы прочитать «мысли» рассуждающих моделей? 💡
Рассказываем, как разработчики пытаются интерпретировать их «мышление».

Как понять нейросеть

При решении задачи «нейроны» LLM активируются непредсказуемо и могут отвечать за множество концепций одновременно. Чтобы понять логику нейросети, нужно выявить группу активных нейронов, важных для решения конкретной задачи. Это похоже на небольшой набор понятий, которыми пользуются люди, рассуждая о той или иной ситуации.

В 2024 году OpenAI предложила использовать для выявления искомых групп нейронов разрежённые автокодировщики. Они сжимают общее состояние большой модели со множеством связей в компактный код (вектор «признаков»), а потом восстанавливают его. В этом коде активно лишь малое количество нейронных связей, и они неизбежно отвечают за что-то конкретное и осмысленное — иначе автокодировщик просто не сможет восстановить исходное состояние. Таким образом исследователи нашли у GPT-4 около 16 миллионов относительно интерпретируемых признаков (паттернов), каждый из которых отвечает за какую-то осмысленную концепцию.

Распутать цепь рассуждений

Весной 2025 года Anthropic выложила в открытый доступ circuit-tracer. Этот инструмент позволяет выяснить, как связаны между собой токены и какие цепи рассуждений выводит модель от промпта к ответу. Для этого используется атрибутивный граф — это ассоциативный граф, всем вершинам которого дополнительно приписаны некоторые подмножества атрибутов. Они помогают найти зависимости между рассуждениями модели и активацией тех или иных нейронов и слоёв модели. Таким способом компания исследовала свою модель Claude 3.5 Haiku.

Выяснилось, что модель может планировать ответ на много слов вперёд. Например, заранее подбирать рифмы в стихах или приходить к ответу раньше, чем она напечатает его на естественном языке. Она проводит параллельные вычисления для математических задач и комбинирует эти подходы — при этом иначе объясняет свою логику пользователям.

Кроме того, в модели одновременно срабатывают конкурирующие механизмы — например, установка составлять грамматически целостное высказывание заставляет её продолжать рассуждения на «опасные темы» вопреки этическим ограничениям.

❤️— если хотите узнать, мечтают ли андроиды об электроовцах

📆 Прямо сейчас в самом разгаре шестой поток ML-школы SMILES-2025 в Харбине, где ведущие эксперты от Сбера читают лекции и делятся опытом. Среди них — Мария Тихонова, руководитель исследовательского направления в AGI NLP, которая специально для нас показала, как учатся и проводят время участники 👇

LLM для бизнеса: как оценить способности моделей?

Ещё пару лет назад достаточно было прогнать LLM по нескольким стандартным бенчмаркам, чтобы оценить её навыки. Но модели развиваются быстро, и лидерборды уже не отражают их реальные способности.

❌ Классические бенчмарки фокусируются на отдельных узких задачах — рассуждениях, арифметике, написании кода, работе с фактами
❌ Креативность, стиль и поведение в реальных пользовательских сценариях невозможно оценить с помощью стандартных метрик
❌ Разработчики — осознанно или нет — подгоняют модели под классические тесты. Они попадают в топы лидербордов, не всегда справляясь с комплексными задачами

Чтобы подобрать LLM для своих задач, специалистам приходится комбинировать метрики и проводить внутренние тесты. Коллеги из LLM Arena запускают исследование, чтобы понять, какие данные, инструменты и сигналы помогают оценить модель и выяснить, подходит ли она для продукта.

Если вы ML-инженер, дата-сайентист или продакт-менеджер, пройдите опрос и поделитесь ссылкой с коллегами — сделайте свой вклад в комьюнити.

📺 Участвовать в опросе

Завершается второй день WAIC 2025 📆

В этом году в центре внимания были роботы и различные сенсоры, с помощью которых AI внедряют в промышленности и повседневной жизни 🤖 Наши эксперты также представили на выставке несколько разработок и самые последние новинки!
Завтра расскажем о самом интересном на WAIC 2025, а также поделимся деталями с международной сессии AI Journey и научной форсайт-сессии AI Horizons 📺

❤️ — если захотелось в Шанхай

Что обсуждают в Китае? Конечно же, Лабубу нейросети 🐲

27 июля ведущие российские и китайские эксперты выступили на международной сессии AI Journey и форсайт-треке AI Horizons в рамках WAIC 2025 в Шанхае. WAIC — крупнейшая в Восточной Азии и одна из ведущих мировых конференций по искусственному интеллекту, задающая тренды для глобального AI-сообщества.

Эксперты обсудили эволюцию генеративных моделей, трансформацию цифровых сервисов и новые вызовы для индустрии. А на научной форсайт-сессии AI Horizons прошла дискуссия о будущем технологий, перспективных тенденциях в области AI, путях преодоления разрыва в исследованиях и развитии этой сферы.

На сцене AI Journey:

🔘 Андрей Белевцев (Сбер) выступил на тему «Создание масштабного эффекта для бизнеса с помощью GenAI»
🔘 Максим Ерёменко (Сбер) рассказал, как технологии ИИ приближают будущее
🔘 Иван Оселедец (AIRI) представил результаты работы команды AIRI за последние полгода
🔘 Алексей Наумов (ВШЭ) выступил с докладом о результатах исследования, посвящённого оцениванию потенциалов Шрёдингера

На форуме гости могли ознакомиться с российскими решениями: GigaChat, Kandinsky, SymFormer. А также узнать подробнее про инициативы SberDevices, Института AIRI и AI Alliance Network. Это был по-настоящему продуктивный диалог! Надеемся на новые встречи и желаем нашим зарубежным коллегам успехов.

❤️ — за международное сотрудничество

Подписывайтесь на наш канал 👈

Почему AI такой «прожорливый» и что с этим делать? 😋

Современные модели требуют мощных вычислений, а значит, тратят много электроэнергии, времени и оставляют внушительный углеродный след. Чтобы сократить эти издержки, специалисты разрабатывают технологии, которые делают AI легче, быстрее и экологичнее. В нашем обзоре — решения, позволяющие представить будущее AI-моделей.

⬇️ Уменьшение модели без потери качества

🔘 Квантование преобразует 32-битные числа в более компактные 8-битные, уменьшая объём вычислений без существенного ущерба для точности
🔘 Бинаризация заменяет все веса простыми бинарными значениями (0 и 1), что делает модель исключительно лёгкой, но резко снижает качество ответов на сложные вопросы
🔘 Прунинг «обрезает» лишние нейронные связи, сохраняя только наиболее значимые элементы

🤸 Гибкая архитектура

🔘 Mixture of Experts и Sparse Transformers работают избирательно, активируя только необходимые модули, пока остальные остаются неактивными
🔘 Метод Early Exit позволяет модели завершать вычисления досрочно, если вероятность положительного результата достаточно высока
🔘 Sparsity-aware алгоритмы задействуют лишь часть сети в зависимости от конкретной задачи

⌨️ Новое «железо» и источники энергии

🔘 Специализированные аппаратные ускорители вроде TPU от Google превосходят традиционные GPU по энергоэффективности в разы, но подходят не для всех моделей
🔘 Возобновляемая энергия: солнечные, ветряные электростанции и даже компактные ядерные реакторы. Крупнейшие технологические компании (Google, Microsoft, IBM) активно тестируют и используют альтернативные источники электричества
🔘 Cистемы жидкостного охлаждения не только сокращают расход воды, но и существенно продлевают срок службы оборудования, создавая устойчивую экосистему для развития искусственного интеллекта

🕐 Обучение без обучения

🔘 Zero-shot и few-shot learning алгоритмы решают задачи без обучения на конкретных примерах. Например, CLIP от OpenAI, который анализирует и сопоставляет изображения с текстом без предварительной настройки
🔘 Self-learning (самообучение) — подход, при котором модели совершенствуются на основе предугадывания недостающих или неразмеченных данных (например, Contrastive Learning в компьютерном зрении)
🔘 Meta-learning (обучение обучению) — алгоритмы вроде MAML позволяют моделям быстро адаптироваться к новым задачам, используя опыт предыдущих решений

🥅 Edge AI и децентрализация

🔘 Локальные вычисления: вместо отправки данных в облако модели работают прямо на устройстве (смартфоны, камеры, IoT-датчики), экономя трафик и энергию
🔘 Федеративное обучение позволяет обучать модели на распределённых устройствах без передачи сырых данных в центральный сервер
🔘 Блокчейн и децентрализованные сети (например, Bittensor) создают рынок вычислительных ресурсов, где участники получают вознаграждение за предоставление своих мощностей для AI-задач

Снижение энергопотребления напрямую зависит от скорости внедрения новых технологий. А экономичность становится не просто приятным бонусом, а обязательным условием для лидерства в этой сфере.

Что думаете про сокращение издержек?
🤔 — мощный AI невозможно сделать экономичным
👍 — вижу проблему, но, думаю, оптимизация поможет
❤️ — лично использую энергоэффективные AI-решения

Наши коллеги выступили на одной из ведущих конференций по компьютерной лингвистике — ACL 2025. Они представили статью о семействе моделей GigaChat и поделились опытом с зарубежными экспертами. Поддержим! 💚

SMILES-2025: как прошла летняя ML-школа в Харбине 🏆

Две недели в Харбинском политехническом университете — одном из сильнейших технических вузов Китая и мира — пролетели незаметно.

Участники прослушали более 30 лекций и посетили практические семинары. Они исследовали современные архитектуры, тестировали модели, решали задачи по генерации по изображениям и тексту, изучали свойства больших языковых моделей и их возможности в научных сценариях. А на постерной сессии представили свои научные работы и идеи.

В этом году эксперты Cбера не только подготовили учебные материалы и провели лекции, но и выступили менторами практических проектов учащихся.

В финале студенты представили на конкурс более 30 проектов по обработке естественного языка, компьютерному зрению, генеративным моделям, математическим основам AI и его применению в прикладных задачах.

Победители конкурса проектов

🔘 1 место — «LLM-агенты для прогнозирования общественного восприятия центробанков», Дарья Дубинина, Фернандо Леон, Тимур Закарин, Людмила Завадская. Проект получил специальный приз от Сбера
🔘 2 место — «Предиктивное обучение представлений через согласование будущих состояний», Александр Югай, Хан Цуй
🔘 3 место — «Моделирование вознаграждений для генерации текста по изображениям», Мария Ковалева, Лев Новицкий, Даниил Князев

Работы, которые были отмечены дополнительно специальной номинацией Сбера и получили призы:

🔘 Постер «Оптимизация графов в AutoML с помощью LLM», Илларион Иов
🔘 Командный проект «ИИ агенты для прогнозирования общественного восприятия», Дарья Дубинина, Фернандо Леон, Тимур Закарин, Людмила Завадская

Итоги постерной сессии

🔘 1 место — «Вся сила в уверенности: few-shot дообучение языковых моделей с подкреплением», Пэнъи Ли
🔘 2 место — «Предотвращение переобучения в задачах генерации изображений: регуляризация эмбеддингов и карт внимания», Арина Чумаченко
🔘 3 место — «Нейросетевые методы генерации структурированных сеток», Бари Хайруллин

SMILES — отличная площадка для нетворкинга, обмена опытом и демонстрации технологическому сообществу экспертизы и передовых решений 🚀