Sinекура
3.35K subscribers
922 photos
15 videos
262 links
Канал Сергея Николенко обо всём, но в основном об AI.

Сайт с выступлениями, лекциями и публикациями: https://sergeynikolenko.ru/
Download Telegram
Накануне отъезда, в пятницу 16 мая, выступал на конференции IML, которая проводилась в Питере совместно с PiterPy. Меня пригласили на совместную секцию с Александром Крайновым, поболтать втроём с модератором о том, что там в будущем, всех ли заменят и всех ли убьют. По-моему, получилось довольно зажигательно, а теперь вот появилось видео, и мне его разрешили распространять, так что делюсь:

Будущее ML: за пределами больших моделей

Я пришёл с теми же слайдами, что на два доклада накануне (в ЮМШ и в ЛЭТИ), и просто иногда подсвечивал ими то, о чём шла речь, да и монтаж коллеги отлично сделали. Так что слайды отдельно не выкладываю, см. по ссылкам на предыдущие доклады.
🔥21👍7🤔1🤡1
И ещё один пост о книге Харари "Nexus", но на этот раз о конкретной мелочи, о которой попробую порассуждать.

Когда Харари пишет о концентрации власти в эпоху AI за счёт концентрации данных, он приводит очевидный пример Google: чем больше доля рынка, тем больше данных, тем лучше алгоритмы, тем больше доля рынка. Тут всё верно, но заканчивает автор так: "Consequently, in 2023 Google controlled 91.5 percent of the global search market".

И эта цифра очень сильно режет глаза — окей, мы все знаем, что в России доминирует Яндекс, но Россия с точки зрения числа запросов в интернете не такая уж большая страна. Но какие, к чёрту, 91.5%, если для полутора миллиардов жителей Китая Google заблокирован?.. Пришлось разобраться.

Автор ссылается на данные Statcounter, однако они являются очевидно предвзятыми (в статистическом смысле, biased). В частности, доля Baidu в глобальном поиске оценивается в 0.7% (на май 2025; ниже DuckDuckGo!!), а в поиске в Китае — в 46.3%. Чисто арифметически это значит, что в данных Statcounter запросы из Китая занимают не более 1.5%, даже если предположить ноль запросов к Baidu в остальном мире (рис. 2). На самом же деле в Китае живёт около 20% пользователей интернета в мире, и они, конечно, делают гораздо больше чем полтора процента запросов.

Дело здесь в том, что Statcounter измеряет долю посещений сайтов, на которые переходят люди из поисковых систем — но только тех сайтов, на которых установлен тег Statcounter. В китайском интернете мало кто ставит теги Statcounter, а многие пользователи Baidu и вовсе остаются внутри богатой экосистемы Baidu и делают тысячи поисковых запросов, формально не уходя никуда за её пределы. Поэтому на самом деле, хотя Google действительно доминирует, глобальная доля Google существенно ниже заявленной, и достоверно оценить её нелегко.

Мораль сей басни, казалось бы, проста: когда что-то читаешь, полезно проверять источники. Проста, но совершенно нереализуема на практике — вот это конкретное число бросилось мне в глаза, Харари очень хороший автор, который снабжает числа чёткими источниками, и всю историю оказалось легко проверить и подвергнуть сомнению. Но даже эта проверка заняла минут пять-десять — на один абзац в книге. Таких чисел и утверждений в любой non-fiction книге сотни, в глаза они обычно не бросаются, и, конечно, проверять их нереально.

И всё-таки всегда полезно думать своей головой. В голову эту, конечно, много чего поступает, в том числе недостоверного, но стоит хотя бы тренировать свои глаза так, чтобы в них бросалось побольше разных вещей. А книжку всё равно категорически рекомендую.
💯33👍208❤‍🔥2🔥1
Вышел третий мой большой пост из серии про AI safety:

AI Safety III: Interpretability

Напомню, что в первом посте я вводил основные определения этой науки, а во втором рассказывал про goodharting. Ну а сейчас мы обращаемся к одному из самых многообещающих направлений в AI safety, практически единственному, где действительно, кажется, есть позитивные результаты.

Большие модели — это всё ещё giant inscrutable matrices, но оказывается, что можно всё-таки найти правильные способы на них смотреть так, чтобы хотя бы приблизительно понять, где у них что происходит, а то и повлиять на это. Недавно Дарио Амодеи написал эссе "The Urgency of Interpretability", где мотивирует всё это направление с позиций AI safety.

План у этого поста такой:

— введение, valley of confused abstractions;

— как понять смысл отдельных признаков

— почему этого недостаточно: полисемантичность и суперпозиция (Olah et al., 2017; Elhage et al., 2022)

— механистическая интерпретируемость: схемы (circuits; Olah et al., 2020)

— моносемантические признаки в LLM (тут как раз про Golden Gate Claude)

— поиск схем в LLM (Ameisen et al., 2025)

— два интересных примера: как внутри LLM нашли RL (примерно как в человеческом мозге его нашли ещё давно) и почему ни в коем случае нельзя оптимизировать безопасность через анализ chains of thought и вообще нельзя интерпретируемость записывать в целевую функцию (модели просто обучатся скрывать свои намерения).

В целом интерпретируемость и правда очень важна, и там действительно есть большой прогресс. Но есть и парадокс: чем больше мы оптимизируем возможности AI-систем, тем менее интерпретируемыми они могут стать, а чем больше мы оптимизируем их для интерпретируемости, тем больше они могут научиться обманывать наши инструменты. Иначе говоря, интерпретируемость нужно сразу встраивать в основу того, как мы проектируем и обучаем AI-модели, и сразу разрабатывать эти методы с предположением, что достаточно продвинутые модели попытаются их обмануть. Это всё ещё, конечно, огромная нерешённая задача — очень надеюсь, что человечество с ней справится!
🔥22👍8
В пятничном посте сегодня поговорим о целой серии игр: SteamWorld от Image & Form Games. Это на самом деле довольно вдохновляющий пример: маленькая компания игра за игрой развивает свою собственную вселенную в своём собственном стиле. Причём игры выходят в разных жанрах и, хотя хитов среди них нет и вряд ли вы о них слышали, игры, видимо, остаются более-менее успешными, потому что продолжают выходить следующие.

Вселенная — стимпанк-постапокалипсис, в котором человеческое общество сколлапсировало, была большая война между людьми и роботами, и в результате люди ушли в подполье, то есть под землю. А игры развивают как раз историю той цивилизации, которую после этого начали строить роботы. Сюжеты всех этих игр довольно прямолинейные, ничего необычного, кроме лёгкого метаюмора и стёба над классическими клише, там не происходит.

SteamWorld Dig

Выглядит и ощущается во многом как "Terraria у нас дома": робот копает вглубь, добывает ресурсы, встречает врагов. Но, в отличие от Terraria, строить тут ничего не надо, а сама игра представляет собой небольшое сюжетное приключение на 3-4 часа, которое в том числе вводит основные конфликты SteamWorld вселенной. Приятный ненавязчивый платформинг, ничего сложного, но и не скучно, самое то.

SteamWorld Heist

Тут ты отправляешься в космос, герои другие, а игра превращается... в пошаговую тактическую стратегию. И она тоже сделана весьма компетентно, играть несложно, но весело, сюжет не напрягает, но развлекает. Я не фанат тактических стратегий, обычно они меня душат быстро, но эту прошёл от начала до конца с удовольствием и без всякого напряга.

SteamWorld Dig 2

Продолжение первой части в том же жанре, но всего побольше, игра подлиннее, выглядит побогаче и поразнообразнее. А так смысл тот же: копаешь, добываешь ресурсы, справляешься с врагами и боссами, проходишь сюжет, который продолжает сюжет первой части (героиня другая, но она ищет пропавшего героя SteamWorld Dig).

SteamWorld Quest: Hand of Gilgamesh

А это внезапно... card battler. Герои уже совсем третьи, с ними сюжет основан на других принципах, но они такие же в целом роботы из той же вселенной. Исследуешь окрестности родной деревни, спасаешь, как водится, мир и друзей, собираешь колоду и развиваешься от сражения к сражению. Здесь интересный способ ограничить масштаб игры: у каждого героя в колоде должно быть ровно восемь карт, часть из которых должны давать тебе "ману" (хотя они тоже делают полезные вещи) — и ни в чём себе не отказывай. А ещё героев можно менять, и у них разные специализации. В результате, хотя игра несложная, действительно приходится колоду перекладывать и думать про разные в ней синергии.

Вы уже поняли общую канву мини-обзоров: играется приятно. В целом все эти игры не гениальные и вряд ли могут захватить всё внимание. Я в них играл или по пути куда-нибудь, или под длинный видеоролик, который хочется в основном слушать, а не смотреть. Но они ничем не раздражают, иногда веселят, и в таком ненавязчивом качестве, по-моему, всё очень достойно сделано. И ещё важно, что игры небольшие, не на десятки часов, все они заканчиваются в целом вовремя.

Так что с правильными ожиданиями — рекомендую. А ещё ведь есть в серии градостроительный симулятор SteamWorld Build и продолжение пошаговой стратегии SteamWorld Heist 2 — когда-нибудь доберусь и до них.
18
Я писал не так давно большой пост о том, что AI постепенно становится не только объектом исследований, но и субъектом научного поиска. Тот пост был посвящён Google Co-Scientist и AI Scientist-v2 от Sakana AI. И вот появились ещё новости в том же направлении, отчасти буквально точные аналогии.

Robin: A multi-agent system for automating scientific discovery

Это новая мультиагентная система (см. структуру и схему работы на рис. 1), во многом аналогичная Google Co-Scientist, но вот другие исследователи (из FutureHouse и Оксфорда) тоже попробовали, и у них тоже получилось! У них все агенты — это птицы: в системе Robin есть Crow и Falcon, которые анализируют литературу и генерируют идеи, а Finch обрабатывает экспериментальные данные. Как известно (хотя не факт), хищным птицам у людей больше всего нравятся глаза. Вот и здесь система Robin нашла перспективный препарат для лечения сухой макулодистрофии (вообще не разбираюсь, не знаю что это, но говорят, что одна из основных причин слепоты у взрослых). Очень, кстати, разумная общая постановка задачи: авторы сконцентрировались на drug repurposing, то есть, с одной стороны, здесь уже заведомо есть литература, которую LLM может изучить, а с другой стороны, если что-то найдётся, путь к реализации будет относительно простым.

Zochi

А это прямой аналог AI Scientist'ов от Sakana: тоже мультиагентная система, которая пишет статьи end-to-end (схема на рис. 2), по абстрактному запросу вроде "придумай что-нибудь новенькое про AI safety". Когда модель от Sakana попала на workshop при ICLR, я тут же (успешно) предсказал, что все сразу скажут, что "воркшоп не считается". Ну что ж, вот теперь статью приняли на ACL 2025, на главный трек, acceptance rate около 20%, всё совсем уж всерьёз. Принятая статья, кстати, про jailbreaking, называется "Tempest: Autonomous Multi-Turn Jailbreaking of Large Language Models with Tree Search", и выглядит она очень круто, я бы тоже принял не задумываясь. Там нет ничего технически сложного, все эксперименты и подходы по сути пишут сами себя, но, если я правильно понял, Zochi смог сделать главное: найти пробел в текущем фронтире этой области, тот самый низко висящий плод, который потом уже сорвать было делом техники.

Predicting Empirical AI Research Outcomes with Language Models

Этому я прямых аналогов не знаю, но это направление возможного ответа на гипотезу о том, что LLM не смогут сами планировать исследования, им всегда нужен будет человек во главе, они просто будут ускорять работу учёного в качестве "лаборантов". Оказывается, LLM-based модель (пока ещё не прямо o3, надо ещё что-то сделать) может предсказывать результаты ML-экспериментов лучше, чем люди-эксперты (на рис. 3 пример запроса и результаты). Особенно если людям пустить немножко пыли в глаза: stress-test accuracy на рис. 3 — это результаты в случаях, когда менее успешный на практике подход имеет более интересное математическое обоснование и тем самым для людей выглядит более красивой идеей. То есть в каком-то смысле это о том, что уже сейчас у AI-моделей очень даже неплохой research taste — и хотя пока мы говорим о результатах вроде 64% верных предсказаний с двумя исходами, это уже лучше, чем у людей с теми же вводными.

В общем, дивный новый мир продолжает расцветать, буду держать вас в курсе!
🔥166👏2🤔1
Последние три недели преподавал в Барселоне, в нежно мною любимом Harbour Space University; одни из первых постов в этом канале были посвящены курсу в Бангкоке (первый, второй), но главный кампус Harbour Space, конечно, в Барселоне, и туда я езжу с перерывом на ковид уже много лет. Там трёхнедельные курсы "погружением": каждый рабочий день по две пары, и за три недели получается в целом только немножко меньше, чем семестровый курс.

Мы с Алексеем Давыдовым вели курс "Neural networks and Computer Vision", но, конечно, computer vision там было скорее как источник примеров: по сути это был курс глубокого обучения от самого начала через всевозможные архитектуры до трансформеров и LLM. Студенты были очень хорошие, и им вроде бы понравилось, хотя feedback пока не присылали.

И вообще очень хорошо съездил. Барселона отличный город, но я там был много раз, и никаких туристических целей у меня давно уже нет. Поэтому смог просто отключиться от суеты, расслабиться и, как это всегда бывает, в результате довольно много чего сделать. Что-то написал, что-то прочитал, начал кое-что важное и интересное, что дойдёт до завершения (надеюсь!) гораздо позже, много писал вот сюда, слегка похудел, в общем, отличные были недели.

Правда, такого запала у меня хватает недели на две, не больше, а к третьей полное расслабление постепенно побеждает.) Так что это было замечательно, но вернуться тоже прекрасно. Дома — хорошо!
🔥6125👍12
Сайт я в итоге таки доделал:

https://www.sergeynikolenko.ru/

Ещё надо перенести все старые курсы и подумать, что я хочу видеть на вкладке "Блог" (этот канал? блог из Synthesis? что-то вообще третье?), но в целом, кажется, готово.

Правда, вышеупомянутый sweet spot для вайб-кодинга длился недолго: OpenAI расшарил на меня Codex, и теперь все багфиксы и новые фичи выглядят примерно как на рис. 3. Иногда всё равно пока желательно понимать, что происходит, но всё меньше и меньше...

Зато, кажется, получилось красивенько. Буду рад замечаниям и предложениям об улучшениях; в частности, мне кажется, что на узких экранах (мобилках) выглядит не очень, но я не могу придумать, как сделать лучше.
48🔥15👍4
В пятничном посте два симулятора ходьбы сегодня, оба на мой взгляд неплохие, но не выдающиеся.

The Haunting of Joni Evers

Довольно прямолинейный симулятор ходьбы, без особого геймплея, в котором ты исследуешь большой семейный особняк, узнаёшь историю своих родных и понемногу разбираешься со старыми обидами, особенно с обидой на маму, которая в какой-то момент бросила семью и уехала.

Очевидные референсы для этой игры — What Remains of Edith Finch и Gone Home, но, к сожалению, до этого уровня The Haunting of Joni Evers не дотягивает. То, что нет геймплея, — это нормально для жанра, но и вообще разнообразия маловато; несмотря на то, что родственников в игре много, всю игру мусолится по сути одна и та же тема (уход матери), и никакого твиста в итоге так и не появилось.

Но зато кратко, три часа на всё про всё, так что на один вечер пойдёт.

Twin Mirror

Игра от студии Don't Nod, которая всегда делала не самые однозначные и не самые хитовые, но на мой взгляд крутые вещи: Remember Me, Life is Strange, Vampyr, описанная тут выше Banishers... Хотел, кстати, написать, что делала и спорные вещи, и привести в пример последующие части Life is Strange, но обнаружил, что Don't Nod сделала Life is Strange 2, а вот True Colors делала уже почему-то совсем другая студия.

Twin Mirror — это линейное приключение с некоторыми развилками и разными концовками, с детективной историей, разворачивающейся в американской глубинке. По сюжету, диалогам и вайбу больше всего она мне напомнила Heavy Rain, но тут есть и совсем другие элементы. Например, я хотел было написать, что здесь стащили одновременно и mind palace, и воображаемого друга из серии Frogwares про Шерлока Холмса, но оказалось, что Twin Mirror вышла раньше, чем Sherlock Holmes Chapter One (а чертоги разума были, конечно, и у Конан Дойля, и в экранизациях).

Замах у игры мощный: и история много обещает, и колоритных интересных персонажей представляют сразу много. Но, как мне кажется, в итоге разработчики недожали: игра вышла слишком короткой, заканчивается она довольно внезапно, в момент, когда, казалось бы, появился антагонист ещё на пару глав вперёд. Видимо, закончился не сюжет, а бюджет. И ещё ужасно бесит, что нельзя проматывать реплики в диалогах.) Так что смотреть другие концовки желания не возникло, но, тем не менее, я в целом не жалею о потраченном времени, попробовать стоит.
🔥83👍3