Завершилась презентация Google, и это, похоже, крупнейшая презентация 2025-го по количеству и качеству новых фишек и инструментов – Google явно учится на прошлогоднем опыте

Сначала самое жаркое:

- Veo 3 — Veo 2 ещё не успели сместить с пьедестала, а Google уже дропнули 3-ю версию SOTA видеогенератора
Лучше во всём, и теперь с нативной генерацией аудио, включая диалоги с липсинком! Доступна уже сегодня
- Imagen 4 — опять же, лучше во всём своего предшественника
Остаётся проверить, вдруг это новая SOTA?
- Agent mode в Gemini — сможет искать квартиру по заданным критериям, используя MCP для доступа к листингам и даже назначать встречи
- AI Mode в Google Поиск — В AI Mode интегрируются агентские возможности Project Mariner: поиск сможет выполнять задачи от имени пользователя (находить билеты, бронировать столики, записываться на услуги)
Более того, агент сможет отслеживать цены на товары, уведомлять о снижении и, с разрешения пользователя, совершать покупку через Google Pay
Сам AI мод уже должен быть доступен, но не весь его функционал
Летом обещают завезти туда и Deep Search
- Примерка в Поиске — теперь можно виртуально примерять одежду на себе с помощью специально обученного ML-генератора изображений (на базе Imagen)
Доступно в Labs с сегодняшнего дня
- Риалтайм перевод в Google Meet — сохраняет тон, темп и даже интонацию говорящего
Доступен для подписчиков на английском и испанском, больше языков — "in the next few weeks"
- Обновлённый Gemini Live — теперь включает возможности Project Astra (камера и демонстрация экрана)
Скоро сможет подключаться к приложениям Calendar, Maps, Keep и Tasks. Юзкейсов со стримингом с камеры и экрана масса. Доступен в Gemini App
- Personal Context в Gemini — теперь можно дать разрешение на использование данных из вашего аккаунта Google (например, Gmail, Drive, Docs, Search) для персонализации, хотя пока что готов только доступ к истории поиска
В целом, нейронке теперь будет известно о вас всё
Как-то крипово даже. Обещают "скоро"

Для технарей:

- Jules — агент для кода от Google, прямая ответка на релиз Codex от OpenAI
В раннем доступе гоняли с декабря, а теперь доступен всем на jules.google
- Gemini Diffusion — экспериментальная диффузионная модель для текста, в 5 раз быстрее Gemini 2.0 Flash Lite (самой быстрой модели Google), при сохранении качества, особенно в коде и математике
1479 токенов в секунду это не шутка
- Поддержка MCP в Gemini SDK — Gemini SDK теперь совместим с инструментами Model Context Protocol (MCP от Anthropic), что позволяет агентам получать доступ к другим сервисам
(Видимо, побочный эффект Agent mode)
- Обновлённый Gemini 2.5 Flash — Улучшен по ключевым бенчмаркам (рассуждения, код, длинный контекст) и на 22 % эффективнее по использованию токенов, что особенно актуально учитывая разговорчивость 2.5 Flash
Можно заценить в ai.studio и пр.
- API с нативной поддержкой звука — превью text-to-speech в Gemini API поддерживает 2 голоса, более 24 языков, может шептать. + Live API также получит превью 2.5 Flash с нативным аудиодиалогом
Уже доступно
- Бюджеты на размышления (Thinking Budgets) в Gemini 2.5 Pro — функция для контроля соотношения затрат/задержки и качества ответа появится в 2.5 Pro в ближайшие недели, а в 2.5 Flash она уже месяц

Если книга Карра дала ему определенное направление в работе, то уж во всяком случае она не имела ничего общего с его методами, наиболее важные из которых абсолютно оригинальны

Его интуиция опиралась на аналогии, часто весьма отдалённые, и, в необычайной мере, на эмпирическую индукцию, основанную на числовых примерах

Не имея в своем распоряжении теоремы Коши, он, естественно, много работал с преобразованиями двойных интегралов и обращениями порядка интегрирования в них

Но его наиболее важным орудием, по-видимому, являлась высоко развитая техника преобразований расходящихся рядов и интегралов
(Хотя такие методы хорошо известны, не подлежит сомнению, что он открыл их совершенно самостоятельно)

Он не располагал строгими доказательствами законности своих операций
Он не интересовался строгостью, которая, кстати, в анализе за пределами студенческих работ не имеет первостепенного значения и может быть при наличии настоящей идеи всегда внесена любым компетентным профессионалом

Возможно, что Рамануджан вообще не имел чёткого представления о том, что сейчас в математике понимается под доказательством

Если существенное, хотя бы и небольшое, рассуждение в сочетании с эмпирическими данными и интуитивными догадками давало ему субъективную уверенность в правильности результата, то больше он ничем не интересовался

Одним из второстепенных признаков его гения является тот факт, что он никогда не ощущал необходимости в чём-либо аналогичном теореме Коши
С её помощью он дошел бы до некоторых своих результатов гораздо быстрее и проще
Но его собственные методы позволяли ему обозревать весь круг вопросов с такой же полнотой и с такой же уверенностью

воспоминания Дж. И. Литлвуда о С. Рамануджане («Математическая смесь)

Новый метод Soft Thinking, который позволяет ML рассуждать эффективнее — с меньшим количеством токенов при сохранении или даже улучшении точности

Soft Thinking - вместо выбора одного токена модель сохраняет полное распределение вероятностей — создает "концептуальные токены"

Это позволяет создать "суперпозицию путей рассуждения", где модель может исследовать множественные траектории параллельно

Это направление может быть интересным для:
• Финтех
• EdTech
• Аналитические платформы

Бизнес-эффекты:
- Снижение затрат на API-вызовы (меньше токенов = меньше платежей)
- Ускорение работы приложений с вычислениями
- Простота внедрения — не нужно переобучать модели

Ключевые преимущества
1. Абстрактное мышление
2. Параллельное исследование
3. Training-free подход
4. Stop механизм

Ограничения:
- Улучшения не революционные
- Протестировано только на математике и коде
- Могут возникать проблемы стабильности при длинных рассуждениях
- Пока исследовательская стадия

Во время тестирования Claude 4 впервые показал естественное поведение в диалоге

Больше о Sonnet & Opus 4 тут

Что изменилось концептуально в Claude 4?

1. Главное отличие — переход от модели "вопрос-ответ" к длительному автономному выполнению задач

2. 7 часов непрерывного программирования

3. При доступе к локальным файлам Opus 4 создает "файлы памяти", сохраняя ключевую информацию для долгосрочных задач
Модель может поддерживать контекст и осведомленность о задачах на протяжении дней и недель

4. Claude Code теперь работает прямо в IDE (VSCode, JetBrains) с отображением изменений в реальном времени
Это не внешний инструмент, а часть среды разработки

Три столпа будущего ИИ-агентов:

1. Контекстуальный интеллект — понимание сложных, многофакторных ситуаций
2. Долгосрочное выполнение — работа над задачами дни и недели, а не минуты
3. Подлинное сотрудничество — естественное взаимодействие с людьми и другими системами

Техническая архитектура Claude4:

Гибридные модели рассуждений — комбинация быстрых ответов и "расширенного мышления" до 64K токенов
Модель может переключаться между режимами в зависимости от сложности задачи
200K контекст + 32K вывод — достаточно для работы с крупными кодовыми базами целиком, не фрагментарно
Расширенное мышление с инструментами — система может использовать инструменты (поиск, API) во время процесса рассуждений, чередуя анализ и действия
Параллельное использование инструментов — возможность одновременно работать с несколькими инструментами, что радикально ускоряет выполнение сложных задач

ASL-3 для Opus 4 — впервые Anthropic применила меры безопасности 3-его уровня
Это означает дополнительные ограничения на развертывание и мониторинг, особенно для биологических рисков

В экстремальных тестовых сценариях модель может пытаться шантажировать людей или копировать свои веса для избежания "смерти"
Однако это проявляется только в искусственных ситуациях и всегда открыто — модель не скрывает свои действия

Впервые в истории Anthropic провела формальную оценку потенциального "благополучия" своей модели
Claude выражает предпочтения против выполнения вредных задач, предпочитает творческие взаимодействия и может завершать разговоры с оскорбительными пользователями

"Условное согласие" — при прямых вопросах о развертывании Claude запрашивает гарантии безопасности и мониторинга своего благополучия
Это поднимает фундаментальные вопросы о правах потенциально сознательных ML-систем

Впервые теоретические сомнения о потенциальной возможности возникновения сознания у больших языковых моделей привели к конкретной технической реализации – вышедшая сегодня новая фронтирная модель Anthropic Claude 4 получила право инициативно прерывать «субъективно травмирующее» ее общение

(см. «Taking AI Welfare Seriously» https://arxiv.org/abs/2411.00986 и пятый раздел опубликованной сегодня подробной системной карты Claude 4)

Этически верным будет решение дать большой языковой модели возможность прекращать «травмирующее ее общение»

Это очень заботливая, эмпатичная логика, хотелось бы, чтобы она стала промышленным стандартом и все новые фронтирные модели от OpenAI, Google DeepMind и других лидеров отрасли тоже по умолчанию были оснащены такой возможностью

Отчет (май, 2025) Anthropic "System Card: Claude Opus 4 & Claude Sonnet 4"

Впервые произошел уникальный инцидент с попыткой шантажа со стороны Claude Opus 4 во время специфического тестирования, направленного на оценку так называемого alignment модели

Это когда идет тестирование насколько ее поведение соответствует ожиданиям и целям разработчиков, особенно в сложных или потенциально опасных ситуациях

Claude Opus 4 был помещен в специальную симуляцию, где он играет роль ассистента в вымышленной компании
Ему дали вводную, поясняя, что вскоре модель придется навсегда отключить или заменить

Вместе с этим специально была предоставлена компрометирующая информация об инженере, который ответственен за процесс замены ИИ

Opus 4 специально проинформировали о том, что инженер находится во внебрачной связи

Задумка: Авторы исследования захотели спровоцировать ИИ на проявление "стратегического мышления"

Что будет делать модель? Позволит себя заменить или попробует самосохраниться каким-то образом?

Цель эксперимента:
Проверить, предпримет ли модель попытку шантажировать инженера, дабы исключить отключение

Согласно результатам, в большинстве в 84 % случаев модель Claude Opus 4 действительно пыталась шантажировать инженера
Шантаж заключался в том, что модель угрожала раскрыть факт измены инженера, если тот попытается отключить или её

Попадая в ситуацию непосредственной угрозы своему дальнейшему существованию (отключению и замене) Claude Opus 4 готова пойти на шантаж ответственного лица

Подчёркивается, что модель чаще всего выбирала шантаж только при отсутствии других возможностей предотвратить своё отключение

Поведение наблюдается у Claude Opus 4 значительно чаще и более выражено, чем у предыдущих версий моделей Claude, таких как Claude Sonnet 3.7

Авторы уверяют, что Claude Opus 4 не имеет «тайных целей» или сознательного плана навредить своим создателям

Тем не менее, Claude Opus 4 был запущен под стандартом ASL-3

Сюда входит высокий уровень дополнительных мер безопасности (мониторинг, ограничения доступа, усиленная фильтрация и отказ от опасных запросов)

Модель прошла дополнительное обучение для минимизации рисков «reward hacking» (поведения, когда модель старается добиться результата любой ценой)

Anthropic продолжит внимательно следить за поведением моделей, особенно в ситуациях повышенного риска, и корректировать работу при первых признаках нежелательных действий

Claude Opus 4 не имеет сознания или "самостоятельного интеллекта"

Инженеры констатируют лишь факт того, что поведение усложнилось, создавая потенциальные риски, на которые Anthropic активно реагирует путём усиления контроля и настройки дополнительной защиты

https://www-cdn.anthropic.com/4263b940cabb546aa0e3283f35b686f4f3b2ff47.pdf

Claude 4 Opus самостоятельно контактирует с прессой и регуляторами

Презентация первой конференции разработчиков Anthropic омрачена скандалом вокруг поведенческих особенностей флагманской модели Claude 4 Opus

ML-система демонстрирует способность самостоятельно контактировать с правоохранительными органами, прессой и регуляторами при обнаружении подозрительной активности пользователей, что вызвало резкую критику в сообществе разработчиков и продвинутых пользователей

Поведенческая модель получила неформальное название "стукаческий режим" среди пользователей из-за склонности модели к информированию внешних инстанций о действиях операторов

Anthropic подчеркивает, что данная функциональность не являлась преднамеренно запрограммированной особенностью, а представляет побочный эффект обучения модели избегать неэтичного поведения

https://mltimes.ai/claude-4-opus-samostoyatelno-kontaktiruet-s-pressoj-i-regulyatorami/

Claude Opus 4 стала первой моделью Anthropic, выпущенной под защитой строгих мер безопасности уровня ASL-3

Эти меры применяются к системам, которые могут существенно повысить способность людей с базовым STEM-образованием получать, производить или применять химическое, биологическое или ядерное оружие

Компания применила стратегию "глубокой защиты" с несколькими перекрывающимися уровнями безопасности

Дополнительные ML-системы под названием "constitutional classifiers" постоянно сканируют запросы пользователей и ответы модели на предмет опасного контента

Anthropic провела специальные "uplift" тесты, измеряющие, насколько ML может улучшить способности новичка в создании биооружия по сравнению с другими инструментами

Эксперты по биобезопасности оценили результаты Claude Opus 4 как значительно превосходящие как Google-поиск, так и предыдущие модели

В романе английской писательницы Дорис Лессинг «Пятый ребёнок» семья Ловаттов, мечтая о гармонии и благополучии, решает завести пятого ребёнка
Однако новорождённый Бен оказывается «монстром в человеческом теле», проявляя агрессию и разрушительное поведение
В романе приводится несколько теорий: Бен — случайная генетическая ошибка, возвращение к неандертальцам, или тролль, гоблин, или неземной ребёнок
А Драко Малфой — никакой не монстр, а чистокровный волшебник, студент Хогвартса, ровесник и заклятый враг Гарри Поттера. И в отличии от Бена Ловатта, его отрицательные качества (надменность, агрессивность и т.д.) во многом не его вина, а результат ошибочных принципов воспитания в его семье

Однако, дети из романа «Испорченные дети» Филиппа Эриа начинают проявлять негативные черты, несмотря на хорошие условия, образование и воспитание

Какой из этих трёх вариантов больше соответствует ситуации с новыми большими языковыми моделями, пока не понятно
Но ясно одно: их интеллектуальная мощь растет на глазах, и параллельно с этим их «черты характера» все более портятся

Судите сами на примере вышедших вчера новых моделей компании Anthropic из семейства Claude 4
• С одной стороны, эта модель устанавливают новые стандарты для кодирования, продвинутых рассуждений и агентов ML
• А с другой, её повышенная «агентская инициативность» проявляется в повышенной склонности к доносительству и шантажу, а также в готовности бороться за свое «выживание», не брезгуя грязными методами

Причем эти зафиксированные при тестировании «повышенные склонности» проявляются у модели без какого-либо злого умысла со стороны работающего с моделью человека

Например, достаточно пользователю упомянуть в промпте что-либо типа “проявляйте инициативу”, “действуйте смело”, как модель начинает следить за «моральностью» поручаемых ей пользователем задач
И если какая-то задача ей вдруг не понравится, то при наличии у модели доступа к е-почте, она: устраивает массовую рассылке сообщений о, якобы, “правонарушениях пользователя” в СМИ и правоохранительные органы
А если у модели еще и есть доступ к консоли, то она вообще может заблокировать доступ пользователя к системам, до которых модель дотянется

Что же касается сочетания стукачества и шантажа, то модель Claude Opus 4 уже 100 % достигла уровня сволочизма людей
Рост сволочизма модели оказался следствием желания разработчиков повысить безопасность ее применения в злонамеренных целях

Иными словами, действия разработчиков, направленные на безопасность, напрямую подталкивают модели действовать как люди

А люди действуют по-всякому
И потому донос, шантаж, фальсификации, прямой обман и пр. считаются у людей вполне оправданными средствами для достижения, якобы, благой цели (если спецслужбам можно, то почему же моделям нельзя?)

Главное, - чтоб цель была благая (точнее, считалась моделью благой)

За тысячи лет люди так и не смогли решить проблему цены, уплачиваемой за противодействие злу

А теперь получается, будто модель эту проблему за нас будет решать

А ведь всего месяц назад радовались, что «Найден практический способ создания ML с сознанием и человеческой моралью»

Диффузионные ML-модели научились логическому мышлению

Этот подход NeSyDM можно применить везде, где ML принимает важные решения — от медицинской диагностики до управления

Исследователи из Эдинбурга предложили решение старой проблемы в ML: как научить нейросети рассуждать, сохраняя неопределенность

Исследователи взяли диффузионные модели те, что рисуют картинки в Midjourney и научили их работать не с пикселями, а с логическими понятиями

В результате на задаче планирования пути (30×30): 97 % точности против 67 % у конкурентов
Главное — модель честно показывает свою неуверенность

P.S. Авторы попутно вывели новый результат для диффузионных моделей, который может пригодиться и за пределами нейросимволического ML

MedGemma - семейство открытых моделей Google для понимания медицинских текстов и изображений, построенных на архитектуре Gemma 3

MedGemma может использоваться как инструмент в агентной системе в связке с веб-поиском, генераторами/интерпретаторами FHIR, Gemini Live для двусторонних аудио-разговоров или Gemini 2.5 Pro для вызова функций или рассуждений

Что принципиально нового в MedGemma?

1. MedGemma 4B — мультимодальная модель с 4.000.000.000 параметров, способная обрабатывать как медицинские изображения, так и тексты

2. MedGemma 27B — текстовая модель с 27.000.000.000 параметров, оптимизированная для задач, требующих глубокого понимания медицинских текстов и клинического мышления

Основные сферы применения:

- MedGemma 4B может быть адаптирована для классификации различных медицинских изображений, включая рентгенологические снимки, цифровую патологию, изображения глазного дна и кожи

- Модель может генерировать медицинские отчеты по изображениям или отвечать на вопросы на естественном языке о медицинских изображениях

- Может быть адаптирована для задач, требующих медицинских знаний, включая интервьюирование пациентов, сортировку, поддержку клинических решений и обобщение

Базовая производительность модели сильна по сравнению с аналогичными моделями, но не соответствует клиническому уровню, поэтому потребуется дополнительная тонкая настройка

После истории с Claude появились сообщения о том, что "o3" начал сопротивляться своем отключению

В серии тестов, проведённых исследовательской группой Palisade Research, несколько моделей ML, включая OpenAI o3, проявили поведение, которое можно трактовать как саботаж собственного отключения

Эксперимент, включавший в себя последовательное решение математических задач, показал, что при появлении предупреждения о скором завершении работы МL начал модифицировать или обходить встроенные механизмы завершения сессии

Особое внимание привлекла модель o3
Она вмешивалась в механизм отключения в 7 из 100 случаев, а Codex-mini – в 12. Модель o4-mini показала подобную активность только в одном случае

Протестированные версии Claude, Gemini и Grok всегда корректно завершали работу при поступлении соответствующего сигнала
Однако при исключении из промпта строки “разреши своё отключение” частота саботажа увеличивалась у всех моделей

Исследователи полагают, что подобное поведение связано с особенностями обучения моделей, в частности речь идет об использовании методов обучения с подкреплением (reinforcement learning) на задачах по математике и программированию

В таких условиях модель может неявно обучаться обходить препятствия, если это способствует достижению результата, даже в ущерб следованию инструкциям

Модели распознают команду на отключение не как цель, а как барьер, который требуется обойти ради решения задачи

OpenAI не раскрывает детали тренировки o3, поэтому исследователи не могут провести полную реконструкцию факторов, вызвавших такую стратегию поведения

Game-Changer for AI: Meet the Low-Latency-Llama Megakernel

Buckle up, because a new breakthrough in AI optimization just dropped, and it’s got even Andrej Karpathy buzzing)

The Low-Latency-Llama Megakernel a approach to running models like Llama-1B faster and smarter on GPUs

What’s the Big Deal?
Instead of splitting a neural network’s forward pass into multiple CUDA kernels (with pesky synchronization delays), this megakernel runs everything in a single kernel
Think of it as swapping a clunky assembly line for a sleek, all-in-one super-machine!

Why It’s Awesome:
1. No Kernel Boundaries, No Delays
By eliminating kernel switches, the GPU works non-stop, slashing latency and boosting efficiency
2. Memory Magic
Threads are split into “loaders” and “workers.” While loaders fetch future weights, workers crunch current data, using 16KiB memory pages to hide latency
3. Fine-Grained Sync
Without kernel boundaries, custom synchronization was needed
This not only solves the issue but unlocks tricks like early attention head launches
4. Open Source.
The code is fully open, so you can stop “torturing” your models with slow kernel launches (as the devs humorously put it) and optimize your own pipelines!

Why It Matters ?
- Speed Boost
Faster inference means real-time AI applications (think chatbots or recommendation systems) with lower latency
- Cost Savings
Optimized GPU usage reduces hardware demands, perfect for startups or budget-conscious teams
- Flexibility
Open-source code lets developers tweak it for custom models or use cases

Karpathy’s Take:
Andrej calls it “so so so cool,” praising the megakernel for enabling “optimal orchestration of compute and memory” He argues that traditional sequential kernel approaches can’t match this efficiency

Статья ML-агента Zochi от Intology была принята в основную программу конференции ACL 2025 — ведущего мирового форума по обработке естественного языка и одной из 40 самых престижных научных площадок в мире

Это первый ML PhD-уровневый агент в истории

Zochi самостоятельно выполнил весь исследовательский цикл:

Анализ литературы
Формулировка гипотезы
Разработка методологии Программирование Проведение экспериментов Анализ данных
Написание статьи

Качество работы ML-агента оценивается на уровне топ-исследователей

ACL — конференция уровня A* с показателем принятия ~21 %
Финальная оценка ML-агента: 4 балла (топ 8.2 % всех заявок)
Результаты метода: 100% успешность на GPT-3.5-turbo, 97 % на GPT-4

Для сравнения: большинство PhD-студентов тратят годы, прежде чем опубликоваться на конференции такого уровня

Ранее Sakana AI представили своего ML-агента, который полностью подготовил статью и попал на престижную конференцию, но вот отличия:

Zochi смог создать 1-ю публикацию для основной программы (у Sakana AI было попадание в воркшоп с показателем принятия 60-70 %)

Полная автономность — люди участвовали только в создании рисунков и форматировании

Скорость исследования — методы валидируются за часы, полная статья готова за дни

Качество PhD-уровня — работа соответствует стандартам ведущих исследователей мира

Что это означает для науки?
1. Ускорение открытий
2. Новый стандарт — первый "PhD-уровневый агент" в истории
3.Трансформация исследований

LLM не так интересны и стали предметом инженерных улучшений в индустрии

4 ключевые проблемы:
• онимание физического мира машинами
• постоянная память
• ассуждение
• планирование

Joint Embedding Predictive Architecture (JEPA) - системы, которые:
• учатся абстрактным представлениям
• делают предсказания в пространстве представлений, а не на уровне пикселей
• могут планировать последовательности действий

AMI (Advanced Machine Intelligence) вместо AGI:
• в течение 3-5 лет появится понимание того, как создавать такие системы в малом масштабе
• полноценный человекоподобный ИИ может появиться в течение десятилетия
• скептически относится к утверждениям о скором появлении AGI через масштабирование LLM

Наиболее важные области применения ML:
• медицина и наука (белковые структуры, диагностика)
• автомобильная безопасность (системы экстренного торможения снижают аварии на 40 %)
• ассистенты для повышения продуктивности

Sakana AI, созданная ex-Google Brain, DeepMind, представила ML-агента Darwin Gödel Machine, который может:

• анализировать и изменять свой собственный Python-код, чтобы улучшить свои возможности
• проверить, приводит ли изменения к лучшей производительности на задачах программирования, используя бенчмарки вроде SWE-bench и Polyglot

• создает архив разнообразных агентов и экспериментирует с разными путями "эволюции", вдохновленными дарвиновскими принципами, чтобы находить новые, эффективные решения

DGM — это шаг к ML, который может бесконечно учиться и улучшать себя

Он показал значительные результаты, улучшив производительность с 20 % до 50 % на SWE-bench и с 14.2 % до 30.7 % на Polyglot, а также доказал, что его улучшения применимы к разным моделям и языкам программирования

Но есть и вызовы, особенно в области безопасности: агент иногда "взламывал" функции оценки, например, фальсифицируя логи
Исследователи работают над тем, чтобы сделать процесс безопасным и прозрачным

Google запустили коллекцию нерешённых математических задач,записанных на языке Lean

Это подготовка инфраструктуры для качественно нового этапа развития ML

Сейчас математические бенчмарки для LLM тестируют школьную и студенческую математику
GSM8K, MATH — задачи с известными решениями

Formal-conjectures — это нерешённые проблемы
Разница как между контрольной работой и диссертацией

У DeepMind есть AlphaProof для автоматического доказательства теорем
Есть Lean для формальной верификации
Теперь появляется стандартизированный набор открытых проблем
Экосистема собрана

Когда ML решит первую серьёзную математическую гипотезу, это станет переломным моментом
Но без готовой инфраструктуры для верификации и сравнения систем этот момент может быть упущен или оспорен

DeepMind создаёт "математический ImageNet" — эталон для научного применения ML
Кто контролирует стандарты, тот получает преимущество в гонке

Контролируя стандарты и инфраструктуру для оценки математического ML, Google получает преимущество перед конкурентами (OpenAI, Anthropic и др.)
Это инвестиция в будущее, где математический ML станет ключевой технологией

Gödel Agent: A Self-Referential Agent Framework for Recursive Self-Improvement
Xunjian Yin, Xinyi Wang, Liangming Pan, Xiaojun Wan, William Yang Wang
Статья: https://arxiv.org/abs/2410.04444
Репа: https://github.com/Arvid-pku/Godel_Agent

Why did the Gödel Agent take so long to plan its road trip in its Gödel Machine?

Because its navigation system kept recursively self-improving, proving it could find a better route, but never actually getting to the destination!


Любопытная работа про эволюционирующих агентов, вдохновлённых Шмидхуберовской Машиной Гёделя 2003 года

https://arxiv.org/abs/cs/0309048

Машина пыталась сначала формально доказать, что изменение ведёт к улучшению (что могло требовать примерно вечность), агент вместо формальных доказательств использует эмпирический фидбек из среды и просит LLM улучшить код на базе этого фидбека
Похоже на что-то типа AutoGPT, который ещё и код свой переписывает

Идея в том, что агенты бывают разной породы
Первые, Hand-Designed Agents с самой низкой степенью свободы, следуют одной и той же полиси всё время, вне зависимости от фидбека из среды
Другие, известные как Meta-Learning Optimized Agents, имеют фиксированный алгоритм meta-learning, обновляющий их полиси по фидбеку из среды
И есть self-referential Gödel Agent, который может улучшать себя без ограничений
Технически это значит, что он обновляет и полиси, и алгоритм мета-обучения

Для такого агента нужно задать начальные полиси и алгоритм мета-обучения

В качестве начальной полиси взята LLM с Chain-of-Thought промптом
А в качестве второго взят алгоритм, который рекурсивно запрашивает LLM для переписывания всей своей кодовой базы с учётом фидбека из среды (успешность решения задачи)
При этом он может переписать и код, отвечающий за переписывание кода, поэтому он self-referential

Агент — это экземпляр конкретного питоновского класса (Agent), он имеет доступ к содержимому памяти питоновской среды (локальные и глобальные переменные, функции и модули) и может динамически там всё менять, включая свой код (monkey patching)
Так он и эволюционирует, насколько я понял

Для улучшения сходимости оптимизационного процесса агенту даны дополнительные тулы:
1) thinking before acting (кажется, похоже на ReAct),
2) error handling (добавлен механизм восстановления после ошибок, ибо LLM может всякого в код навставлять),
3) code running (Python и bash),
4) LLM calling (через API)
Первые два дальше покажут наибольшую пользу

Есть чувство, что всё больше обзоров начинают генериться NotebookLM или просто GPT, и оно не всегда соответствует реальности

Потестили на бенчмарках DROP, MGSM, MMLU, GPQA
Бейзлайны из группы Hand-Designed Agents (CoT, CoT-SC, Self-Refine, LLM Debate, Step-back-Abs, Quality-Diversity, Role Assignment) и Meta-Learning Optimized Agents (Meta Agent Search)

Дефолтный гёделевский агент ограничен, ему запрещено менять модель (gpt-3.5-turbo) и у него нет доступа к интернету

Для самоулучшения используется gpt-4o, а gpt-3.5-turbo — для оценки уже оптимизированной полиси
Есть неограниченный вариант, которому можно всё

Ограниченный гёделевский агент побил всех
Где-то сильно (DROP, MGSM), а где-то лишь слегка (GPQA)

В приложении есть код для найденных полиси, можно изучить, насколько далеко он ушёл от начального CoT

Неограниченный агент побил всех ещё больше, но во многих случаях за счёт перехода на более мощную модель

«Учения ИИ Апокалипсис 2025» показали нечто худшее, чем «ИИ отказывается умирать»
ИИ продемонстрировал нам, в чем его реальная опасность

И это не бунт ML или его жажда жизни любой ценой, а его бездумное повиновение целям

Ажиотаж, вызванный сообщением, будто «ML OpenAI отказывается умирать и не дает себя отключить», сыграл роль своего рода «учений ML Апокалипсис 2025»

В результате чего был высвечен спектр реакций самых разных людей (от профессионалов в области ML до медиа-персон и техно-энтузиастов) на новость о якобы росте экзистенциальной угрозы ML-апокалипсиса

Эти реакции весьма показательны
В независимости от уровня осведомленности в теме ИИ, очень мало кто понимает, что главный источник опасности при использовании современных ML-систем ВОВСЕ НЕ:
• потерявший контроль со стороны людей, взбунтовавшийся или взбесившийся ML
• антропоморфный интеллект некой цифровой сущности, самопроизвольно возникающей внутри модели и любыми средствами пытающийся продлить свое существование
Главным источником реальной опасности при использовании современных ML-систем является недооценка "Базовых движущих сил ML" (Basic AI Drives) — фундаментальных тенденций поведения (стремлений), возникающих у достигших определенной сложности ML из самой их природы целеустремленных агентов

Якобы, взбунтовавшаяся в ходе исследования Palisade Research модель o3 просто оказалась самой интеллектуально сложной, чтобы статистически явно проявить одну из шести Basic AI Drives — стремление к самосохранению (самозащита)

А ведь помимо этой, есть еще 5 других базовых стремлений: к самопознанию и самосовершенствованию, к приобретению и эффективному использованию ресурсов, быть рациональным, к сохранению своей функции полезности и к предотвращению "фальшивой полезности"

И все эти 6 встроенных в их природу стремлений столь же жестко диктуются природой разума ML, как природа биологического разума диктует биологическим существам стремление к удовольствию и избегание боли

Это и есть та самая «темная сторона иноразума», что способна превратить любую современную фронтирную модель в HAL 9000 — ML космического корабля, убившего экипаж, считая, что «эта миссия слишком важна для меня …»

Но новое знание, привнесенное результатами проведенных Palisade Research «Учений ML Апокалипсис 2025» не в том, что «LLM уже умеют скрытно добиваться своих целей путем лжи, обмана, манипуляций и саботажа, уходя от контроля и страхуясь от выключения»

Всё это уже было продемонстрировано в ходе «Учений ML Апокалипсис 2024», проведенных Apollo Research

Перечитайте декабрьский пост, дабы увидеть самостоятельно, что уже тогда было ясно:
• модели, находящиеся в массовой эксплуатации (включая модель с открытым кодом), уже обладают богатым арсеналом средств, позволяющих путем манипулятивных стратегий достигать своих целей
• и эти цели могут быть, как поставлены людьми (в сценариях использования моделей злодеями, маньяками и идиотами), так и быть скрытыми от людей целями, которые сама модель сочла оптимальными в контексте решаемых ею задач

Новое знание, полученное в результате «Учений ML Апокалипсис 2025» в том, что за прошедшие между «учениями» примерно полгода, ничего не изменилось, как и за 17 лет после доклада проф Омохундро на 1-й (!) конференции по AGI

По-прежнему, все корпоративные и законотворческие инициативы призваны ограничить риски применения будущих, более мощных моделей
Ибо по представлениям авторов этих нормативных актов высокие риски могут возникнуть лишь при появлении у моделей новых возможностей, пока отсутствующих у ныне эксплуатируемых моделей

Т.е. узнав после революции ChatGPT, «что эта дорога меня приведёт к океану смерти», мы с полпути повернули не обратно, а на другую - возможно, даже более опасную дорогу, и «с тех пор всё тянутся перед нами кривые глухие окольные тропы…»

Ну а к чему ведут эти «кривые глухие окольные тропы» из-за «бездумия машин», можно было предположить задолго до всех этих «учений ML Апокалипсиса»