Я писал не так давно большой пост о том, что AI постепенно становится не только объектом исследований, но и субъектом научного поиска. Тот пост был посвящён Google Co-Scientist и AI Scientist-v2 от Sakana AI. И вот появились ещё новости в том же направлении, отчасти буквально точные аналогии.

Robin: A multi-agent system for automating scientific discovery

Это новая мультиагентная система (см. структуру и схему работы на рис. 1), во многом аналогичная Google Co-Scientist, но вот другие исследователи (из FutureHouse и Оксфорда) тоже попробовали, и у них тоже получилось! У них все агенты — это птицы: в системе Robin есть Crow и Falcon, которые анализируют литературу и генерируют идеи, а Finch обрабатывает экспериментальные данные. Как известно (хотя не факт), хищным птицам у людей больше всего нравятся глаза. Вот и здесь система Robin нашла перспективный препарат для лечения сухой макулодистрофии (вообще не разбираюсь, не знаю что это, но говорят, что одна из основных причин слепоты у взрослых). Очень, кстати, разумная общая постановка задачи: авторы сконцентрировались на drug repurposing, то есть, с одной стороны, здесь уже заведомо есть литература, которую LLM может изучить, а с другой стороны, если что-то найдётся, путь к реализации будет относительно простым.

Zochi

А это прямой аналог AI Scientist'ов от Sakana: тоже мультиагентная система, которая пишет статьи end-to-end (схема на рис. 2), по абстрактному запросу вроде "придумай что-нибудь новенькое про AI safety". Когда модель от Sakana попала на workshop при ICLR, я тут же (успешно) предсказал, что все сразу скажут, что "воркшоп не считается". Ну что ж, вот теперь статью приняли на ACL 2025, на главный трек, acceptance rate около 20%, всё совсем уж всерьёз. Принятая статья, кстати, про jailbreaking, называется "Tempest: Autonomous Multi-Turn Jailbreaking of Large Language Models with Tree Search", и выглядит она очень круто, я бы тоже принял не задумываясь. Там нет ничего технически сложного, все эксперименты и подходы по сути пишут сами себя, но, если я правильно понял, Zochi смог сделать главное: найти пробел в текущем фронтире этой области, тот самый низко висящий плод, который потом уже сорвать было делом техники.

Predicting Empirical AI Research Outcomes with Language Models

Этому я прямых аналогов не знаю, но это направление возможного ответа на гипотезу о том, что LLM не смогут сами планировать исследования, им всегда нужен будет человек во главе, они просто будут ускорять работу учёного в качестве "лаборантов". Оказывается, LLM-based модель (пока ещё не прямо o3, надо ещё что-то сделать) может предсказывать результаты ML-экспериментов лучше, чем люди-эксперты (на рис. 3 пример запроса и результаты). Особенно если людям пустить немножко пыли в глаза: stress-test accuracy на рис. 3 — это результаты в случаях, когда менее успешный на практике подход имеет более интересное математическое обоснование и тем самым для людей выглядит более красивой идеей. То есть в каком-то смысле это о том, что уже сейчас у AI-моделей очень даже неплохой research taste — и хотя пока мы говорим о результатах вроде 64% верных предсказаний с двумя исходами, это уже лучше, чем у людей с теми же вводными.

В общем, дивный новый мир продолжает расцветать, буду держать вас в курсе!

Последние три недели преподавал в Барселоне, в нежно мною любимом Harbour Space University; одни из первых постов в этом канале были посвящены курсу в Бангкоке (первый, второй), но главный кампус Harbour Space, конечно, в Барселоне, и туда я езжу с перерывом на ковид уже много лет. Там трёхнедельные курсы "погружением": каждый рабочий день по две пары, и за три недели получается в целом только немножко меньше, чем семестровый курс.

Мы с Алексеем Давыдовым вели курс "Neural networks and Computer Vision", но, конечно, computer vision там было скорее как источник примеров: по сути это был курс глубокого обучения от самого начала через всевозможные архитектуры до трансформеров и LLM. Студенты были очень хорошие, и им вроде бы понравилось, хотя feedback пока не присылали.

И вообще очень хорошо съездил. Барселона отличный город, но я там был много раз, и никаких туристических целей у меня давно уже нет. Поэтому смог просто отключиться от суеты, расслабиться и, как это всегда бывает, в результате довольно много чего сделать. Что-то написал, что-то прочитал, начал кое-что важное и интересное, что дойдёт до завершения (надеюсь!) гораздо позже, много писал вот сюда, слегка похудел, в общем, отличные были недели.

Правда, такого запала у меня хватает недели на две, не больше, а к третьей полное расслабление постепенно побеждает.) Так что это было замечательно, но вернуться тоже прекрасно. Дома — хорошо!

Сайт я в итоге таки доделал:

https://www.sergeynikolenko.ru/

Ещё надо перенести все старые курсы и подумать, что я хочу видеть на вкладке "Блог" (этот канал? блог из Synthesis? что-то вообще третье?), но в целом, кажется, готово.

Правда, вышеупомянутый sweet spot для вайб-кодинга длился недолго: OpenAI расшарил на меня Codex, и теперь все багфиксы и новые фичи выглядят примерно как на рис. 3. Иногда всё равно пока желательно понимать, что происходит, но всё меньше и меньше...

Зато, кажется, получилось красивенько. Буду рад замечаниям и предложениям об улучшениях; в частности, мне кажется, что на узких экранах (мобилках) выглядит не очень, но я не могу придумать, как сделать лучше.

В пятничном посте два симулятора ходьбы сегодня, оба на мой взгляд неплохие, но не выдающиеся.

The Haunting of Joni Evers

Довольно прямолинейный симулятор ходьбы, без особого геймплея, в котором ты исследуешь большой семейный особняк, узнаёшь историю своих родных и понемногу разбираешься со старыми обидами, особенно с обидой на маму, которая в какой-то момент бросила семью и уехала.

Очевидные референсы для этой игры — What Remains of Edith Finch и Gone Home, но, к сожалению, до этого уровня The Haunting of Joni Evers не дотягивает. То, что нет геймплея, — это нормально для жанра, но и вообще разнообразия маловато; несмотря на то, что родственников в игре много, всю игру мусолится по сути одна и та же тема (уход матери), и никакого твиста в итоге так и не появилось.

Но зато кратко, три часа на всё про всё, так что на один вечер пойдёт.

Twin Mirror

Игра от студии Don't Nod, которая всегда делала не самые однозначные и не самые хитовые, но на мой взгляд крутые вещи: Remember Me, Life is Strange, Vampyr, описанная тут выше Banishers... Хотел, кстати, написать, что делала и спорные вещи, и привести в пример последующие части Life is Strange, но обнаружил, что Don't Nod сделала Life is Strange 2, а вот True Colors делала уже почему-то совсем другая студия.

Twin Mirror — это линейное приключение с некоторыми развилками и разными концовками, с детективной историей, разворачивающейся в американской глубинке. По сюжету, диалогам и вайбу больше всего она мне напомнила Heavy Rain, но тут есть и совсем другие элементы. Например, я хотел было написать, что здесь стащили одновременно и mind palace, и воображаемого друга из серии Frogwares про Шерлока Холмса, но оказалось, что Twin Mirror вышла раньше, чем Sherlock Holmes Chapter One (а чертоги разума были, конечно, и у Конан Дойля, и в экранизациях).

Замах у игры мощный: и история много обещает, и колоритных интересных персонажей представляют сразу много. Но, как мне кажется, в итоге разработчики недожали: игра вышла слишком короткой, заканчивается она довольно внезапно, в момент, когда, казалось бы, появился антагонист ещё на пару глав вперёд. Видимо, закончился не сюжет, а бюджет. И ещё ужасно бесит, что нельзя проматывать реплики в диалогах.) Так что смотреть другие концовки желания не возникло, но, тем не менее, я в целом не жалею о потраченном времени, попробовать стоит.

Моё главное хобби в последнее время называется "Командная викторина с раундами по минуте" (КВРМ). В последние два дня по этой игре проходил крупный турнир под названием "ЧР по интеллектуальным играм"; в этом названии, кажется, аббревиатура ЧР не расшифровывается никак, по ряду занимательных причин.

Турнир был отличный, вопросы интересные, организация на высшем уровне, всем огромное спасибо!! Один минус — сыграли мы его из рук вон плохо. Лично мне вообще очень тяжело играть крупные турниры, но тут уж ничего не поделаешь, ЧР играть надо. Но не пошло не только у меня, а и в целом у всей команды. Выиграли в итоге те, кто и должен был, но мы, конечно, так проваливаться были не должны.

Зато великий и совсем не ужасный Александр Либер принёс нам победу в командной "Своей игре" (не единолично принёс, конечно, но тут уж вряд ли сокомандники обидятся на такую формулировку). Так что провал провалом, а медальку и мини-кубок обратно везу. Но поздравлять точно не с чем.

Был сегодня на любопытном мероприятии — форсайт-сессии "AI Horizons" от AI Alliance Network. На нём собрались исследователи из России и тех стран, которые сейчас готовы приехать в Россию. Встретил много знакомых лиц, с кем рад был повидаться: Андрей Савченко, Денис Турдаков, Лена Тутубалина (все на рис. 2), Иван Оселедец (рис. 3), Александр Крайнов (рис. 4), Александр Гасников (рис. 5), Елизавета Тарасова (рис. 6), Александр Бухановский, Евгений Бурнаев, Сергей Марков, Илья Шенбин...

Суть мероприятия была в том, что нас собрали в отдельные группы и попросили сформулировать общие направления, которые, видимо, станут частью каких-нибудь стратегий, программ центров ИИ и тому подобного. Грубо говоря, мы обсуждали существующие пункты вроде "New methods for improving RLHF" и приходили к выводу о том, что RLHF — это слишком конкретно, и лучше написать "LLM post-training with weak/no supervision".

Да, на первый взгляд это весьма по-дурацки звучит и выглядит, и в каком-то смысле это были несколько часов спора об определениях. Но на самом деле это необходимая деятельность, которая будет иметь последствия. Да и рад был всех повидать.

А сейчас, кажется, все поплыли куда-то на кораблике, а я пошёл играть квиз.) Такие дела.