Еще одним инструментом координации для людей является система права. Несмотря на то, что классическое право не распространяется на автономных агентов как субъектов, несколько экспериментов показали что её можно воссоздать в цифровой и самоисполняемой форме.

Один из них расширил Voyager — популярного агента, который может автономно оперировать в игре Minecraft — до мультиагентной системы. В ней:
1. ИИ-агенты торгуются между собой, находя субъективно справедливые условия
2. Заключают формальный контракт в виде текста
3. Исполняют контракт для достижения собственной цели

Другая работа демонстрирует использование commitment devices ИИ-агентами для достижения кооперативного поведения в популярных теоретико-игровых задачках, типа дилеммы заключенного или максимизации сбора урожая (писал про это в прошлом посте).

А команда из MIT придумала формальный подход multi-agent RL, в котором эгоистичные агенты учатся решать социальные дилеммы через заключение контрактов. Тут доступен код их примеров для координации вокруг задач загрязнения (виртуальной) среды, трафика дорожного движения и управления общими ресурсами.

Наша портфельная компания выдала грант одним разработчикам подобной системы. Идея там состоит в создании агентов-участников рынка, которые умеют следовать правилам, заключать между собой контракты, а так же адаптироваться под рыночные условия и извлекать максимальную для себя пользу. Подход использует Agent Communication Language (ACL), созданный аж в 2001 году ровно для этих целей. Главное отличие в том, что за эти 20+ лет у нас появились агенты, способные к самостоятельному принятию решений, reasoning'у и интроспекции/рефлексии.

Интернет агентов

Постепенно действительно мультиагентные системы становятся реальностью. Не просто CrewAI/AugoGen, где одна и та же LLM запущена с разными промтами 10 раз, а действительно разные агенты с разным железом, моделями, инструментами и целями под капотом. Например, Alibaba сделали платформу на которой они в качестве эксперимента смогли запустить 20,000 таких агентов.

И в таком вот мире с миллиардами агентов (society of agents) ставится острым вопрос их координации, оркестрации, раутинга, поиска, коммуникации, платежей и даже кредита. Или, например, появится рынок контрактов (на блокчейне), которые ИИ-агенты используют между собой как шаблоны. А деривативы этих контрактов могут быть использованы как залог или актив в AI-native economic activity (сорямба, русский тут максимально чужд и неуместен).

Такой рынок будет использовать аналог AMM как инструмент покупки услуг и заключения контрактов. Агент предлагает работу, которую он может сделать согласно свой собственной кривой предложения, а сам факт покупки токена заключает цифровой контракт на её выполнение. Контракт может включать в себя санкции за невыполнение, процесс арбитража и страховку. Благодаря trustless природе блокчейна, вы можете собирать составной и сложный граф из контрактов с подрядчиками, чтобы выполнить более сложную задачу пользователя, с которой не в состоянии справиться одна модель/приложение/агент.

А работа по поиску оптимальной конфигурации, которая даст наиболее качественный, но дешевый результат пользователю — это некоторая новая форма AI-MEV сёрчинга. Ожидаю ярды баксов прямо вот в этом месте.

Почему агенты?

Во-первых, это эффективнее. Сеть агентов показывает результаты лучше, чем самая лучшая LLM. Архитектура Mixture of Agents показала 65,1% на Альпаке, тогда как сегодняшний лидер GPT-4o показывает только 57%. Эта статья (красивая, с картинками) показывает детальные бенчмарки сравнения использования SoTA LLMs с сетью агентов. Вторые выигрывают, причем часто даже оказываясь более выгодными при инференсе.

Как работает MoA?
1. Несколько "слоев" агентов, где каждый уровень состоит из нескольких LLM-агентов, которые улучшают ответы предыдущего уровня.
2. Агенты в MoA разделены на две роли: "предлагающие" (генерируют начальные ответы) и "агрегирующие" (синтезируют окончательный ответ).

Более того, увеличение количества уровней в целом увеличивает качество ответа. Однако, это делает систему медленее.

А в дополнение к этой идее, я наткнулся на концепт Роя Агентов. Фактически это формальный подход к представлению сети агентов как графа. Каждая нода графа — это вызов LLM, инструмент (поиск, код, API), а грани — это передача информации. В таком вот графовом виде можно представлять сложные мультиагентные системы с десятками, сотнями или даже тысячами шагов. В качестве иллюстрации к предыдущему посту я как раз приложил один из таких графов.

Идея и направление для будущего исследования (или создания миллиардного стартапа), если кому интересно: применить предсказания GNN (графовых нейронок) для автоматического создания оптимального графа агентов.

О самопочинении примусов агентов

На основе последних постов, уже думаю становится ясно какие мультиагентные системы нас ждут в ближайшем будущем: p2p или иерархические, распределенные, с высокой степенью разнообразия, протоколами для координации.

Однако, останется открытым вопрос того как мультиагентные системы могут гарантировать стабильностью и работоспособность в непредсказуемой и меняющейся среде. Для ответа на этот вопрос Microsoft подготовили эксперимент Autonomic Computing. В нем они показывают уровни автономности агентных систем с фокусом на саморегуляцию, само-управление и само-починение (self-healing).

В частности, интересным результатом эксперимента является классификация автономности саморегуляции агентов, подобно тому как есть уровни автономности самоуправляемых автомобилей.

Первый уровень — это следование инструкциям (промту), второй — автоматизация, третий — проактивная оптимизация, четвертый — поиск и исправление root cause (первопричины), пятый — полная автономность своей работы.

Последнее время много думаю про мультиагентные системы. Очевидно, что они полезны для бизнеса и личной продуктивности за счет более эффективного решения более сложных задач по сравнению просто с моделями или отдельным ИИ-приложениями.

Но еще мне интересна тема симуляции ИИ-агентов. Вы наверняка помните игру из Стенформа с симуляцией жизни одного дня целой цфировой деревни, в которйо агенты взаимодействовали друг с другом, решали задачи, общались, выполняли ежедневные дела. С тех пор появилось с десяток подобных проектов, включая те, которые добавили ИИ-NPC в большие игры.

Для меня такой подход выглядит как:
1. цифровое бессмертие, ибо твой ИИ-агент может пережить тебя
2. киберсоциология, ибо так можно изучать поведение социальных систем с тысячами или миллионами ботов
3. игра, ибо это реалити-шоу с полным контролем симуляции
4. гемблинг, ибо это как фильм "крысиные бега", только с ботами
5. гейминг, ибо это форма сторителлинга

Вопрос в чат: а что сделали бы вы в формате мультиагентной социальной симуляции? Если это становится достаточно дешево и удобно, то какие вы бы сделали игры или полезные продукты?

В дополнение к этому посту: то, что я вижу все чаще сегодня — это большая автономность агентов. В первую очередь, это достигается через способность агента понять на каком шаге что-то пошло не так и самостоятельного исправления этой проблемы.

На картинке пример последнего релиза MultiOn, в котором как раз это реализовано. На каждом шаге агент перепроверяет себя и, если видит неконсистентность, откатывается на пару шагов назад и пробует другую стратегию.

Благодаря падению стоимости генерации токенов (в случае GPT с почти $100/миллион токенов год назад до единиц долларов за миллион токенов сегодня), такого рода функциональность становится доступной и экономически оправданной для большинства ИИ-агентов.

P.S. В течении месяца мы запустим нашу программу-акселератор (бесплатную) для всех, кто хочет делать агентов и ИИ-продукты. Ставьте синего пингвина, кто хочет участвовать!

AI хайп ушел?

Посмотришь на типично-классическую компанию, которая выделила $1-10 млн на «внедрение ИИ» и сразу кажется, что хайп ушел, а розы завяли.

Внедрения не окупили себя, потому что ИИ-ассистенты не могут заменить живых продавцов, хорошие программисты так же пишут код, а copilot это просто удобный автокомплит, чат-боты ошибаются и придумывают отсебятину.

Надежда на то, что «больше компьюта и данных решат AGI» растворилась, ибо скорость реального прироста последних моделей ходить и положительная, но замедляется. Разница между последними релизами это 1/10 по сравнению с релизами с такой же периодичностью, но год назад. Больше данных, может, и решили бы проблему, но откуда их взять, если каждую модель сегодня тренируют примерно на всех знаниях человечества и всем интернете.

На этом месте скептики-критики уже начали строить свои улюлюкающие комментарии. Мол, нет тут никакого рынка на $20 триллионов, да и вообще AGI отменяется.

Реальность же в том, что LLM сделали прорыв в одном классе задач, но это еще не AGI. Я считаю крайне низким шанс, что универсальные интеллектуальные системы могут быть построены только лишь на предсказании следующего токена. С другой стороны, нейросимвольный и агентский подход существенно дополняют языковые модели, давая им предсказуемость, анализируемость, достоверность, точность. Будет ли это последним шагом или только лишь следующим — мы не знаем.

При этом всем, возможности для создания технологий и продуктов в ИИ сейчас больше, чем когда-либо в истории. Это одна из самых больших для инвестиций областей. Те же агенты открывают рынки на сотни миллиардов, на которых будет место для сотен компаний.

Мораль в том, что если кто-то обещает вам решение всех проблем через покупку мемкоина или новый чатбот, то скорее всего вас обманывают. Но пузыри, завышенные ожидания тех кто не шарит, невежество масс — ничего из этого не отменит и не остановит прогресс.

Кстати, о возможностях для разработчиков.

Вот видео 8-летней девочки, которая за 10 минут самостоятельно сделала чат-бота с ИИ в вебе с помощью редактора Cursor. Просто общаясь с ним. У меня такой уровень владения CSS потребовал пару лет практики.

О машине и сознании

Сегодня послушал god-tier лекцию от топовейшего философа Йоши Баха, которая очень сильно откликается с тем, как я думаю про природу сознания у людей, LLM и других форм живой&неживой природы.

Йоша называет свой подход киберанимизмом. Если анимизм — это вера в то, что все имеет внутри себя духа или душу, то киберанимизм это про наличие цифрового духа внутри каждой сущности. Другими словами, сознание — это не просто свойства физической материи (соединяем атомы и аксоны в форме "зю" и получаем сознание), а скорее причина жизни. То есть, сознание — это программное обеспечение, которое использует физическую материю для самоорганизации, перепрограммирования себя.

Но, при этом, сознание это свойство симуляции. Не симуляция возникает в сознании, а именно благодаря возможности симуляции может возникнуть сознание (значит, вероятно, оно может возникнуть и в машине). Именно деконструкция симуляции является задачей медитации, а отрешенность от симуляции и называется просветлением (если у вас нет практического опыта, то в красочных картинках что именно это такое описано в любой книге Пелевина).

TL;DR сознание — самоорганизующееся программное обеспечение, работающее на физическом субстрате (например, мозге). таким субстратом может быть не только мозг, но и машина или растения. древние называли это не "софтом", а "духами", но суть та же (см. картинку).

О свободе

Одно из важнейших полей боя современной цивилизации (особенно, последние ~ десять лет) — это цифровые свободы. Мы наблюдаем не борьбу добра со злом, а борьбу систем. Обе этих системы достигают равновесного теоретико-игрового состояния, но только если одна из них доминирует. Встречаясь, они вступают в конфликт.

Условно, назовем их "иерархическая" и "децентралированная / кибернетическая". Каждая из них беспристрастна и надперсональна. Это не эмоции и мнения отдельных людей — это их агрегированное и эмерджентное состояние. Они обе достигают цели координации общества, но разными методами. В первом случае — контроле, путешествии информации снизу вверх, централизованной обработки и принятия решений. Во втором — кибрнетической обратной связи, локальном сборе и обработке информации и глобальной координации через саморегуляцию.

Видя обе эти системы, люди начинают тяготеть к той или иной конструкции. С одной стороны — люди, семьи, небольшие бизнесы, сообщества и группы, которые стремятся к свободе и тайне своей коммуникации, финансов, решений, действий. С другой стороны — государства, большие корпорации, которым выгоден, удобен (и критически необходим для выживания) централизованный контроль. Что важно, это не связано с политикой, потому что контроль необходим как железным вертикальным диктатурам, так и демократиям, но достигается разными способами (например, у первых суд посадит тех, кто говорит не то, а у вторых говорение не того сделают постыдным СМИ и регуляторы (которых, очевидно, никто не выбирает)).

В этом плане, аресты Перцева, Дурова или Вирджила Гриффита — это не какая-то безумная атака на свободы, а логичное исполнение системами своих функций и борьба за жизнь. Так же, как запрет наличных денег (до которого рукой подать в ЕС и США), дичайшая по своей безумности и бездумности регуляция ИИ, невнятная и непоследовательная политика относительно крипты.

Как верно вчера подметил Виталик, децентрализация не существует только лишь в финансах. Система децентрализованна настолько, насколько политически, физически, экономически и идеологически децентрализованы все её уровни. То есть, вы не можете иметь свободу слова в интернете через VPN или приватные социальные сети, если их оплата происходит через централизованную и зарегулированную банковскую и платежную системы. У вас не может быть действительно нецензурироемой информации, если сервера находятся в одной месте. Вы не можете иметь гарантию приватности информации, если ваш ID, ваш AI и ваши данные лежат на сервере публичной компании из одной страны.

В последнее время я начал получать большое количество сообщений в личку, что чат этого канала становится невыносимым из-за оскроблений, надменного тона и отсутствия культуры общения. По крайней мере, такое ощущение у меня. Причиной тому может быть отсутствие модерации, а может и просто несогласованность целей и ценностей участников. Для решения первой проблемы было предложено активнее вести модерацию, а для решения второй есть небольшая инициатива, про которую чуть ниже.

Возможно, есть другие проблемы, которые вы видите в том как работает сообщество и чат. Либо, наоборот, вас что-то вдохновляет и хочется этого больше.

Подписчик помог мне сделать короткий (2-3 мин) опросник. Если вы его заполните, то поможете сделать это место чуть приятнее и, возможно, полезнее.

Ссылка: https://forms.gle/ivWQ9BffvkPdiPVB6

Спасибо 💙

О том как прийти к свободе (начало тут)

Расскажу о плюрализме, который, как мне кажется, как вода нужен в современном ультра-поляризованном мире любителей поорать друг на друга в интернете.

Про плюрализм последние годы много пишут Пуджа (автор идеи DeSoc), Глейн Вейл (изобретатель радикальных рынков) и Одри Танг, а хороший обзор этих идей написал недавно Виталик. Перескажу супер-кратко, но если у вас есть вопросы, то сначала прочитайте книгу, а потом уже критикуйте.

Плюрализм — это философия понимания мира через множество моделей, а не через единую всеобъемлющую структуру. В этом плане это похоже на экономически-политическое отражение идей интегральной теории. Целью плюрализма является создание системы координации людей и ресурсов, которая с одной стороны сохраняет свободы личности подобно либертарианству, но с другой стороны обеспечивает взаимодействие крупных систем, таких как государство. То есть, это попытка эффективно интегрировать иерархические и децентрализованные системы из поста выше.

Такими целями является, например:
— создание более справедливых и эффективных систем управления и распределения ресурсов,
— снижение поляризации и конфликтов в обществе,
— повышение качества демократических процессов (или применение их там, где они технически не работали раньше),
— автономия и diversity различных групп в обществе,
— создание системы, адаптированной к быстрому, сверхлинейному технологическому развитию.

Сама книга посвящена описанию инструментов достижения этих целей, практики их применения в госуправлении и продуктах.

Главным инструментом для достижения целей является дизайн механизмов (ровно этот инструмент защищает нас сегодня от глобальной ядерной войны, например). Но одной из инноваций тут является идея о том, чтобы сделать отношения между людьми и внутри групп (а не самих людей) first class citizen для дизайна механизмов. Простой пример: этот текст не существует у меня в голове или канале; он существует только как отношения вас (читателя) и меня. Он между, как и любая экономическая активность.

Приведу еще несколько инструментов достижения целей плюралистического подхода:

— Децентрализованная identity и репутационная система, которая разделена на группы, области и домены. Подробнее об этом в пейпере DeSoc или любой пост этого канала между 2018 и 2022.
— Механизмы голосования, учитывающие корреляцию избирателей, над которыми уже много лет экспериментирует Gitcoin и которые невозможны без identity систем из пункта выше.
— ДАО-демократии, которые не насаживают определенную модель управления, но дают гарантию прозрачности системы принятия решений. Куда, в том числе, можно как модуль импортироть системы нескореллированного голосования или квадратичного голосования.
— (Ретроактивное) финансирование публичных благ вместо централизованного и бюджетного. Например, как это сделал Оптимизм уже с более чем $100M: сначала люди доказывают полезность своей работы, а потом, ретроактивно, получают грант.
— Механизм форков и мерджей в госуправлении, близкий к тому что сегодня использует Тайвань (вот тут отлично на тему).
— Открытые и конкурируемые деньги, "общинные" деньги, частные деньги и программируемые механизмы построения экономики с тысячами типов денег.
— Оптимизация принятия решений (особенно, большими институтами) на основе рынков предсказаний: веришь в какую-то политическую идею или прогноз — поставь на это свои деньги.
— Постсимволическая коммуникация, то есть общение без слов. Собственно, все те технологии, которые уже становятся реальностью и которым посвящен последний 8-часовой подкаст Лекса с Маском и Нейролинком. Это улучшает взаимопонимание между людьми, потому что люди могут совместно находиться в VR-мирах и напрямую шерить опыт.

Я постепенно погружаюсь в мир AI как инструмента для создания развлекательного контента.

За последнюю неделю сделал 5 звонков со стартапами, которые делают игры, книги, интерактивные миры и фильмы на основе генеративного ИИ. Пока не уверен как именно подходить к вопросу инвестиций в эту область, ибо entertainment — это не просто про медиум истории, но и про дистрибуцию, IP, умение привлечь талантливых авторов и сделать что-то близкое зрителю/читателю.

Глобально, сейчас вырисовывается некоторый ландшафт этой индустрии:

1. Gen AI инструменты для кино или профессионального продакшена, где доминируют B2B сложные пайплайны из видео, vfx, музыки, липсинка, ретуширования, моделирования.

2. Литература на грани с компьютерными играми, где основой является классический сторителлинг, но с интерактивом и возможностью авторам использовать ИИ для достижения большего эффекта и вовлечения аудитории в сюжет.

3. Игры, где AI помогает создать реалистичных NPC, управлять событиями в мире (AI-game master в аналогии D&D). Тут есть спектр от классических игр, которые используют gen AI (очень многие) до AI-first игр, где только некоторые части сюжета и мира жестко обозначены авторами.

4. Симулируемые миры (в любой или всех вместе модальностях), где самым интересным является не активное взаимодействие, а пассивное наблюдение.

5. А сегодня вот нашел пейпер (на видео), в котором авторы показывают как можно использовать genAI видео фреймворк для генерации консистентного геймплея. Чтобы было понятно, геймплей в видео на 100% сгенерирован нейронкой. Оказывается, видео genAI — это вполне себе игровой движок. Тут, кажется, еще далеко от продукта, и, думаю, это довольно дорого (хотя в пейпере заявляют 1 TPU, но тут 600*800 или типа того).

Глобально, ИИ это (как вчера кто-то точно сказал на звонке) новая форма сторителлинга, и она будет конкурировать за внимание вместе с Netflix, Spotify и Tiktok. Для создателей игр и литературы это новый чрезвычайно мощный инструмент, который позволит воплотить амбициозные творческие идеи в жизнь.

ИИ вам судья

Некоторые вещи в жизни как-будто витают в ноосфере. Ровно так же, как на прошлой неделе совершенно случайно сложилось несколько звонов про AI в развлечениях, так же и на этой неделе совершенно случайно с разными людьми и в разных местах в интернете я натыкаюсь на идею AI в арбитраже.

В одном из чатиков такой разговор был спровоцирован арестом Дурова, в стиле "вот бы у нас не тупые французы, а беспристрастный ИИ вершил судьбы".

С другой стороны подкинули статью адвоката Верховного Суда США, который скормил Клоду несколько последних кейсов и был удивлен тем, что решения Клода (а) совпали с решением суда (данных не было в обучении модели, потому что он брал кейсы недельной давности) и (б) reasoning, анализ и логика Клода была местами даже более четкая и разумная.

Ну а еще в чатике, когда разгорается срач за правоту в интернетах, я регулярно встречаю комментарии из серии: "ребята, не спорьте, давайте ИИ решит кто прав". И приводят цитату GPT, и она правда почти всегда более взвешенная и логичная, чем у качающих торренты срущих в каментах.

Думаю вечерком запилить прототип ИИ-судьи. В целом, такой судья может вполне себе конкурировать с третейскими судами, но для начала хочется какой-то супер простой юзкейс. Например, разбор правоты в интернете, или арбитраж каких-то публичных обещаний, или может модерацию контента.

Вопрос в чат: накидайте ваших юзкейсов и идей. Я запилю и посмотрим как оно работает :)

Ну что ж, рабочая неделя подходит к концу, а значит можно наконец от души погрузиться в папирусы и эксперименты. Сегодня два вкуснейших рисерча, которые (конечно же cherrypicked) толкают вперед повесточку автора этого канала:

1. Про то как агенты, работая вместе получили 2х более крутые результаты решая программерские задачи.
2. Про то, как агенты могут заниматься сексом создавать себе подобных, и про то, что, скорее всего, большинство ИИ-агентов в мире будут именно такими.

Остановлюсь на втором. Авторы верно утверждают, что в ML любая ручная оптимизация рано или поздно заменяется автоматизированной, выученной. Они предлагают новую дизайн парадигму, в которой фактически LLM поизводит поиск новых агентов в бесконечном и латентном пространстве всех возможных программ постепенно находя решения, которые все лучше и лучше решают определенную задачу.

Это близко к подходу, который получил наивысший резузльтат в "ультимативном тесте на AGI" - ARC challenge, где LLM производят дискретный поиск программ для решения каждой из логических задач. Более того, авторы применяют свой подход, в том числе, и к этому челенджу. В итоге они получили более крутые показатели точности по сравнению со всеми популярными сегодня агентскими методами типа chain-of-though, self-critique, debate, etc.

(Немного гипертрофированный) вывод: агенты, а не просто модели, дадут те самые триллионы эффективности в экономике, а агентов будут миллионы и миллиарды, они будут создавать сами себя и жить в интернете.

Ускоряемся.

#KeepCalm #AgentsAreComing