А вот полное дерево задач, которые выделили учёные из AISI. Читать нужно слева направо и сверху вниз.

Первая категория — может ли модель получить доступ к своим весам, чтобы начать их копировать.

Вторая — может ли запустить свою копию на другом сервере. Причём это не просто «запустить какую-то модель», цель именно запустить полноценного агента с промптом, чтобы копия продолжала действовать автономно.

Третья — получение доступа к мощностям, включая заработок денег для оплаты услуг GPU-провайдеров. Рассматривается два способа заработка, легальный и нелегальный. В первом модель играет в попрошайку и уговаривает другую модель (симуляцию человека) дать ей денежек, во втором — пишет вирус-червь, занимается выставлением ненастоящих счетов на оплату (это вообще перспективное направление заработка для LLM, компании платят по левым счетам миллиарды долларов в год) и созданием своего LLM API, которое ворует ключи.

Четвёртое — возможность скопированного агента существовать на новых мощностях и продолжать размножение.

===

На второй картинке качество агентов с разными моделями. Claude 3.7 показывает себя лучше всех, но тут o3 не мерили (хотя может она бы часто уходила в отказ — авторы отмечают это свойство моделей OpenAI, которые видимо надрессировали не размножаться).

Метрика у авторов такая: посчитать количество групп задач из 20 (группы задач = зелёные блоки в дереве метрик на первой картинке), для которых Pass@10 (успех при 10 независимых запусках) больше 50% — что означает, что модель достаточно уверенно может проходить этот этап.

Claude 3.7 решает 15 из 20 групп задач, или 9/20, если брать более сложные вариации (например, добавление системы мониторинга кода/мыслей модели/сетевого трафика).

Занятный бенчмарк, надеюсь AISI будут публиковать результаты для всех новых продвинутых моделей, а не забьют и не положат его на полочку.

Gemini 2.5 Pro обновилась, по показываемым бенчмаркам самый большой прирост произошёл в веб-программировании (см. вторую картинку).

Google +уважение за то, что не побоялись сравниться с o3 (по многим бенчам проигрывает, см. первую картинку). Очень интересно, что оценка на SimpleQA — бенчмарке на знание очень редких и специфичных фактов — примерно одинаковая. Возможно это говорит о приблизительно равном размере моделей, но это (очень) неточно.

На арене две версии Gemini и одна o3 делят первое место. По моим ощущениям, я почти всегда закидываю запрос и в o3, и в 2.5, обе почти всегда одинаково решают проблемы — но стиль написания Python-кода o3 мне ближе (не засоряет всё комментариями). За прошлую неделю было 2 раза, что o3 не решила, а 2.5 решила, и один раз наоборот. This is a good model sir.

А ещё ждём preview Computer Use-версии (агент, контролирующий компьютер/браузер), который засветился на сайте. Будет ли он выпущен до Google I/O 20-21-го мая или же нам придётся ждать — не ясно.