Не время быть идиотами, ИИ может победить людей.
В начале 21 века эволюция человека достигла своей максимальной точки. Естественный отбор, процесс, благодаря которому сильнейшие, умнейшие, быстрейшие размножались активнее чем другие ... теперь вывел на первый план иные качества ... процесс начал двигаться в обратную сторону, в сторону отупения. Учитывая уничтожение хищников, угрожающих исчезновению вида, поощряться стало максимально быстрое размножение, а разумные люди оказались перед угрозой исчезновения."
Это преамбула культового фильма-антиутопии «Идиократия» (кто не видел, смотрите).
Фильм – иллюстрация гипотезы о превращении земной цивилизации в мир кретинов, в результате неизбежной траектории H. sapiens к идиотизму – см. трейлер.

Через 6 лет после выхода фильма «гипотеза идиократии» получила подтверждение в работах известного американского биолога Дж. Крабтри. Разработанная им матмодель показала, что роль естественного отбора уменьшается, и это ведет к накоплению мутаций, ухудшению умственного и эмоционального развития.

Модель Крабтри – лишь эвристическая гипотеза. Ибо проверить ее адекватность невозможно из-за отсутствия возможности провести эксперимент.

Но как иначе тогда, черт побери, объяснять такие вещи? (см. рисунок)

Вверху слева: оценки p(doom) – вероятности того, что развитие ИИ приведет человечество к гибели, по мнению ведущих специалистов ИИ
Оценка Дарио Амадеи (СЕО Anthropic), недавно провозгласившего, что ИИ станет для человечества «машиной благодатной милости»: 10-25%
Вверху справа: Метафорическая иллюстрация того, что такая оценка Амадеи близка к вероятности «русской рулетки», в которую человечество играет, выпуская в люди новые версии после GPT-4.

Внизу справа: оценки аналитиков Ситигруп перспектив развития ИИ: AGI в 2029, ASI с 2031.
Внизу слева их же оценки того, какие скилсы вам нужно развивать, чтобы ни AGI ни ASI не лишили вас работы: коммуникации, критическое мышление, эмоциональный интеллект, эмпатию …

Как тут не вспомнить гипотезу Крабтри, что планета превращается в мир идиотов.
И всем рекомендую помнить, что проф. Деан (один из самых известных в мире нейробиологов) уже 2 года призывает человечество задуматься: «Не время быть идиотами, ИИ может победить людей».
#ИИ #AGI #LLMvsHomo

Для 95% землян ИИ достиг нашего уровня.
А что про это думают остальные 5% - удел споров экспертов.
Рухнул последний рубеж массовых представлений о недостижимом для ИИ уровне знаний и умений – нашем человеческом уровне в творчестве.
За последние 2 года рухнули два предыдущие уровня обороны людей от посягательств все более умного и умелого в творчестве ИИ: изобразительное искусство (вкл. лица людей) и юмор.
Изображения ИИ стали неотличимы от реальности. Картины ИИ оцениваются как созданные человеком с большей вероятностью, чем настоящие созданные человеком [1]; созданные ИИ лица оцениваются как настоящие человеческие лица с большей вероятностью, чем настоящие фотографии людей [2], а созданный ИИ юмор так же смешон, как и созданные человеком шутки [3].

Последний рубеж – поэзия и литература держался дольше других.
И вот исследование Питтсбургского университета (случайная выборка 16+ тыс. участников-неэкспертов) снесло последний рубеж в поэзии [4].

• Сгенерированные ИИ стихи были оценены более благоприятно по нескольким качественным параметрам (поэтический ритм, красота языка …), что способствовало их ошибочной идентификации как написанных человеком.
• Подобно сгенерированным ИИ картинам и лицам, сгенерированные ИИ стихи теперь «более человечны, чем люди»: исследователи обнаружили, что участники с большей вероятностью считают, что сгенерированные ИИ стихи написаны человеком, по сравнению с фактическими стихами, написанными людьми.
• При этом участники оценивали стихи более негативно, когда им говорили, что это стихи ИИ, и более позитивно, когда им говорили, что это стихи написанные людьми.

Что тут скажешь в дополнение? Да вот что.

У специалистов околоИИшных областей (от информатики до нейробиологии) нет не только единого определения сильного ИИ (AGI), но и понимания, как определить, что ИИ уровня AGI появился.
У простого же народа (неэкспертов) с этими заморочками существенно проще. Если для большинства из них деятельность ИИ (его поведение, работа, творчество) неотличима от деятельности людей, можно считать, что ИИ достиг уровня AGI.

С позиции неэкспертов в настоящий момент в области ИИ имеем следующее.
1. Поведение ИИ уже неотличимо от человеческого, по крайней мере, на уровне языкового поведения. О неязыковом поведении речь пока не идет. Ибо для такового ИИ должен быть отелеснен (иначе как он сможет проявлять свое неязыковое поведение). Эта неотличимость ИИ от людей зафиксирована разнообразными тестами. Они, возможно, в чем-то несовершенны, но других пока нет.
Т.е. по критерию «поведение» (языковое) ИИ уже достиг человеческого уровня.

2. Работа. Число профессиональных тестов, показывающих уровень знаний и навыков ИИ на уровне топ 10% работающих здесь людей, уже составляет десятки. Это число продолжает быстро расти. И если мы не вправе пока сказать, что ИИ не может сравниться с ТОР 10% работающих в какой-то специальности, то, вполне возможно, лишь потому, что для этой специальности еще не разработан надежный тест.
Т.е. по критерию «работа» ИИ уже достиг человеческого уровня для многих работ. И по мере совершенствования ИИ, и разработки новых тестов, недостижимых для ИИ интеллектуальных работ (где бы они были на уровне ТОР 10%) уже в 2025 останется мало.

3. Творчество. Про поэзию написано выше. А что с литературой? Исследования типа Питтсбургского на подходе. А пока они завершаются, можете удостовериться, что уровень массового чтива (типа «Код да Винчи» - тираж 60 млн на 40 языков) для ИИ запросто достижим.

Вот пример от Итана Молика [5], попросившего ИИ:
«Клод, мне нужна вымышленная глубокая альтернативная история в духе Тима Пауэрса, Мэтью Росси или Пинчона» … «Копай глубже: Гамильтон действительно нацарапал уравнение на мосту, Август Де Морган существовал на самом деле, действительно было движение литовских книгоношей...»

Результат улетный:

КВАТЕРНИОННАЯ ЕРЕСЬ: МАТЕМАТИКА КАК ЗАРАЗНОЕ МЫШЛЕНИЕ


#AGI #LLMvsHomo

AGI Manhattan Project – научное мошенничество невиданного масштаба
Подпитываемый наивной верой в возможность контролировать AGI, этот проект – угроза для США и всего мира
Всемирно известного космолога и астрофизика проф. MIT Макса Тегмарка коллеги прозвали «Безумный Макс» за его бескомпромиссность, смелые нетрадиционные идеи и страсть к приключениям. И все эти качества вновь проявились во вчерашнем обращении к правительству США - «Предложение Манхэттенского проекта по AGI - это научное мошенничество… Сделать это, - означало бы вступить в гонку к самоуничтожению».
Речь идет о новом докладе Комиссии США по экономике и безопасности в отношениях с Китаем (USCC: US-China Economic and Security Review Commission), рекомендующем Конгрессу создать и профинансировать программу по типу "Манхэттенского проекта", направленную на стремительное развитие и достижение возможностей Искусственного Общего Интеллекта (AGI).

Не буду здесь пересказывать документ Тегмарка, ибо автор сам коротко и ясно изложил, почему этот проект - научное мошенничество и почему его развертывание равносильно вступлению в гонку к самоуничтожению.
Отмечу лишь, что такая позиция разделяется многими ведущими исследователями ИИ, предостерегающими, что AGI может привести к гибели человечества (физической или, в лучшем случае, как вида). Как сказал лауреат Нобелевской премии по ИИ Джефф Хинтон в прошлом месяце: "Как только искусственный интеллект станет умнее нас, он возьмёт контроль в свои руки."

Но самое главное, на мой взгляд, из того, что говорит и пишет Тегмарк в своем манифесте и сопровождающих его твитах на ту же тему, следующее.

1) Ключевой мотивацией проекта является вовсе не сам AGI, а через его обретение, превращение США в мирового гегемона, способного за счет AGI подмять под себя своего главного соперника на эту роль - Китай.

2) Сэму Альтману удалось заручиться в деле подачи «Манхэттенского проекта» для AGI, как концепции национального технологического скачка, поддержкой мощного «лоббистского треугольника».

Подробней об этом и почему мне кажется, что «Безумный Макс» своим манифестом нарвался на новое большое приключение, читайте здесь
#AGI

До AGI еще очень далеко … – несколько лет.
Рождественское откровение Янна Лекуна.
В предпразднично-праздничной суете не до длинных текстов. Но эта новость стоит короткой заметки.

Янн Лекун – пожалуй, самый авторитетный из критиков идеи о скором создании ИИ человеческого уровня (AGI). Вот почему так ценно услышать именно из его уст важное уточнение о том, насколько же мы, по его мнению, далеки от AGI.

И вот его слова:
«Некоторые люди пытаются заставить нас поверить, что мы очень близки к тому, что они называют искусственным общим интеллектом (AGI). На самом деле мы ещё далеко от этого. Когда я говорю «далеко», я не имею в виду столетия, возможно, это даже не десятилетия, но это всё же несколько лет.»

Т.е. самый скептичный из топ-профессионалов полагает, что до AGI может быть всего несколько лет. И это расставляет точки над i в спорах AGI-оптимистов и AGI-скептиков.
https://youtu.be/UmxlgLEscBs?t=1653
#AGI #Прогноз

План «Б» от Кай-Фу Ли: Что делать, если США всё же станут гегемоном в AGI.
Как Китай собирается остаться №2, даже когда США подомнут под себя весь мир.
Одной фразой план таков: к моменту, когда в США создадут AGI, Китай должен успеть стать мировым лидером в агентских приложениях.
В октябре я рассказывал про то, что «Кай-Фу Ли объявил войну Nvidia и всей ИИ-экосистеме США. И судя по его последним достижениям, шансы победить есть» [1].
Но будучи реалистом и обладая колоссальным опытом, он понимает, что даже если «шансы есть», это отнюдь не гарантирует победу. А значит нужно обязательно иметь план «Б» на случай, если шансы не материализуются.

Прежде чем рассказать об этом плане (подробный рассказ самого Кай-Фу см. [2]), я тезисно расскажу, как Кай-Фу Ли видит ситуацию, при которой план «А» (стать #1 в мире ИИ) будет для Китая уже невозможным.
1. Не смотря на ряд обоснованных сомнений скептиков и уж видимых для экспертов техно-экономических сложностей, вероятность создания AGI примерно к 2030 весьма высока (обоснование этого читатель может найти в [3]).
2. Пятилетка движения к AGI будет иметь два движка:
a. Неукротимое масштабирование всего (HW, фундаментальные модели, вывод), потребующее астрономических сумм - сотен ярдов) – см. [4]
b. Ажиотажное заселение пока почти пустого рынка агентских приложений (см рис [5] из отчета [6])
3. В масштабировании США победят Китай и по деньгам, и по оборудованию. А при заселении рынка агентских приложений у Китая есть неплохие шансы.
4. Тот, кто первым разработает AGI, способный доминировать над конкурентами, не только достигнет технологического рубежа, но и неизбежно станет коммерческой монополией. Более того, такой прорыв, скорее всего, подстегнет амбиции стать абсолютным монополистом.
5. Скорее всего, абсолютным монополистом станет OpenAI, конкурирующая только с Anthropic (Google все больше отстает от пары лидеров; Цукер уже понял, что слил гонку, и выбрал тактику — “если не можешь победить, открывай исходный код”; Маск — темная лошадка, но не потянет и космос, и AGI; остальные не в счет).
6. Как только AGI окажется в руках Сэма Альтмана, все остальные могут курить бамбук.

Поэтому план «Б» таков.
1. Построить экосистему агентских приложений как ров - к тому времени, как OpenAI достигнет полного доминирования, у Китая уже должна быть надежная коммерческая экосистема агентских приложений. И когда США придут, чтобы сокрушить Китай, по крайней мере, у Китая будет возможность сопротивляться.
2. Копать этот ров Китай будет в понимании, что при заселении рынка агентских приложений будет переход от графических пользовательских интерфейсов (GUI) к разговорным пользовательским интерфейсам (CUI) и в конечном итоге к пользовательскому интерфейсу на основе делегирования (если ваш помощник умнее, способнее, осведомленнее и понимает вас лучше, чем вы сами, почему бы вам не позволить ему сделать все за вас)
3. Помимо этого понимания у Китая уже есть стратегия, в корне отличная от США
a. В компании США набирают самых умных, дают им огромные ресурсы и без колебаний сжигают GPU, создавая массу захватывающих результатов.
Но уменьшить эти результаты при коммерциализации очень сложно. Это как спроектировать самую роскошную, красивую и грандиозную кухню, а затем пытаться втиснуть ее в маленькую квартиру. Или создать самый быстрый, самый мощный двигатель и пытаться втиснуть его в малолитражку. Это просто не работает.
b. Поэтому цель Китая — не строить самый дорогой в мире AGI, а
1) создавать фундаментальные модели, обеспечивающие экономически эффективный вывод
2) Печь как пирожки всевозможные коммерческие приложения с разговорным и делегирующим интерфейсом.

PS Про термин AGI спорить нет смысла.
Речь об ИИ (уровня гениальных людей) на основе моделей, настолько же мощнее GPT-4 (уровень старшеклассника), насколько GPT-4 мощнее GPT-2 (уровень детсадовца). И на это до 2030 ресурсов и денег хватит. А про сознание, квалиа и прочую казуистику в контексте AGI – забейте.
#ИИгонка #AGI #Китай #США

C какой стороны мы от сингулярности?
Всплеск оптимизма от приближения к AGI может быть неспроста.
4го января Сэм Альтман (как ни относись к нему, но он сейчас самый влиятельный человек в мире ИИ) так описал свой текущий статус: «около сингулярности; непонятно, с какой стороны».
А через 2 дня он уточнил в интервью, что AGI будет создан уже при Трампе (т.е. до 2029), и в тот же день пояснил это в своих «размышлениях»:
«Теперь мы уверены, что знаем, как создать AGI в традиционном понимании. Мы считаем, что в 2025 году мы можем увидеть, как первые ИИ-агенты «станут частью трудовых ресурсов» и существенно изменят результаты деятельности компаний. […] Мы начинаем нацеливаться […] на сверхинтеллект в истинном смысле этого слова».

Если данный прогноз Альтмана оправдается, это будет иметь для человечества колоссальное значение. Ибо в сравнении с этим, любые события, кажущиеся нам сейчас сверхважными (типа завтрашней инаугурации Трампа), превращаются в проходящие малозначимые эпизоды на фоне погружения мира в черную дыру сингулярности.

Так что же такого произошло, в результате чего мир оказался вблизи сингулярности, т.к. прогнозы появления AGI стремительным домкратом обрушились на графиках вниз (см картинку поста с графиком от Exponentialview)?

Точно это знает лишь сам Сэм. Мне же видится, что наиболее простую и в то же время убедительную версию описал Гверн Бранвен в комментарии к посту Райана Кидда о последствиях новой парадигмы масштабирования вывода:
«Я думаю, что здесь не хватает важной части парадигмы масштабирования самостоятельной игры: большая часть смысла модели, такой как o1, заключается не в ее развертывании , а в генерации обучающих данных для следующей модели. Каждая проблема, которую решает o1, теперь является точкой обучающих данных для o3 (например, любой сеанс o1, который в конце концов натыкается на правильный ответ, может быть улучшен, чтобы устранить тупики и произвести чистую расшифровку для обучения более утонченной интуиции).»

Насколько это так, каждый читатель может сам проверить экспериментально, следуя простой инструкции из 4 пунктов.
1. Возьмите текст своей переписки с ChatGPT по задаче, которую последний не смог для вас удовлетворительно решить.
2. Отправьте этот текст на вход Клоду с просьбой решить-таки эту задачу.
3. Получите ответ Клода, который, с большой вероятностью, если даже не будет 100%но удовлетворяющим вас решением задачи, то, как минимум, окажется существенно лучше, чем ответ ChatGPT.
4. А теперь последний и самый интересный шаг. Поменяйте местами ChatGPT и Клод в пп 1-3 для какой-либо иной задачи. И с большой вероятностью вышеописанное повторится. Т.е. неважно, какой ИИ будет решать задачу первым. Главное, - что второй, воспользуется данными о решении задачи первым, и за счет этого решит ее лучше (говоря словами Гверна, «каждая проблема, которую решает o1, теперь является точкой обучающих данных для o3»).

Или еще пример из истории развития новых версий AlphaGo: AlphaGo Fan, AlphaGo Lee, AlphaGo Master и последняя из версий AlphaGo Zero, обучившаяся уже исключительно на играх с самой собой, без использования человеческих данных.
За 2 года условный рейтинг Эло новых версий вырос с 3300 (что было выше, чем у большинства профессионалов уровня чемпиона мира) до немыслимого для людей уровня 5185. После 2018 года компания DeepMind прекратила разработку и участие AlphaGo в официальных матчах, т.к. это стало неинтересно и бессмысленно – люди так и близко играть не могут.

Так вот. Если Гверн Бранвен прав, включился мощный эффект маховика данных, когда каждая новая модель порождает данные для обучения следующей, еще лучшей модели.

Но тогда прав будет и Сэм Альтман. А завтрашняя инаугурация Трампа из важнейшего мирового события четырехлетия превратится в малозначащий эпизод наступления на Земле эпохи сингулярности.

#AGI #Вызовы21века

Через 10 дней Homo sapiens перестанет быть единственным носителем высшего интеллекта на Земле.
✔️ До сего времени считалось, что на Земле лишь один высший интеллект – человеческий. Второй же тип высшего интеллекта - «сильный ИИ» или AGI = лишь планируется создать в будущем (через год, 10 или 50 лет).
✔️ Теперь же предлагается термин «сильный ИИ» (AGI), из-за неоднозначности и туманности множества его несовпадающих трактовок, оставить лишь для текстов журналистов и блогеров популярных медиа, а также (куда без этого) для зарабатывающих на хайповой терминологии маркетёров, пиарщиков и инвестбанкиров.
✔️ Профессиональным экспертам, исследователям и инженерам в области передовых ИИ-систем, а также (понятное дел) политикам и общественным деятелям, предлагается, вместо термина AGI, использовать термин «ИИ общего назначения» (ИИОН) (general-purpose AI), поскольку ИИОН:
• имеет вполне понятное и однозначное определение = это ИИ-системы, способные самостоятельно выполнять и/или помогать пользователям в решении самых разных задач, напр. создание текстов, изображений, видео, аудио, осуществление действия или аннотирование данных;
• уже существует во многих практических реализациях фронтирных LLM (что позволяет его всестороннее тестирование и проведение научных экспериментов);
• по ряду тестов, ключевых для оценки человеческого интеллекта приближается к уровню людей (а по некоторым уже и превосходит его даже на уровне топовых профессионалов), и, судя по трендам (см. приложенный 1й и ключевой рисунок отчета), вот-вот можно будет признать, что и гипотетический уровень AGI (как его ни определяй и оценивай) достигнут.

Контекст вышесказанного таков.
10 и 11 февраля 2025 года во Франции пройдет всемирный «Саммит действий по искусственному интеллекту (ИИ)», который соберет в Grand Palais глав государств и правительств, руководителей международных организаций, руководителей малых и крупных компаний, представителей научных кругов, неправительственных организаций, деятелей искусства и членов гражданского общества.
По заказу всемирного саммита, в качестве «информации к размышлению» для его участников, группой из 96 экспертов по ИИ со всего мира, включая лауреатов Нобелевской премии и обладателей премии Тьюринга, вчера был опубликован 297 страничный отчет International AI Safety Report 2025.
По словам лидера экспертной группы, проф. Йошуа Бенджио, это первый в истории международный отчет по безопасности ИИ, поддержанный 30 странами, а также ОЭСР, ООН и ЕС. Он суммирует состояние науки о возможностях и рисках ИИ, а также о том, как смягчить эти риски.

Йошуа Бенджио и его 85 коллег – экспертов не стали ввязываться в бесконечные и бесперспективные терминологические споры вокруг AGI.
Вместо этого, авторы лишь 1 раз упомянули этот термин в тексте отчета (2й раз – в его глоссарии), чтобы отказаться от него, в связи с изложенными мною выше обстоятельствами, и заменить на ИИОН.

Так что можно опускать занавес над баталиями вокруг AGI.
С февраля 2025 на Земле будет два высших интеллекта общего назначения: человеческий и искусственный (машинный).

#AGI

Пять войн будущего: AGI как оружие, господство и парадоксальная угроза
Размышления над новым отчетом RAND Corporation: «Пять сложных проблем национальной безопасности, связанных с AGI»
Пролог: интеллект на поводке или оружие без хозяина?
Представьте, что новый нечеловеческий разум все же рождается — не из биологической эволюции, а из кода, алгоритмов и серверных ферм, пожирающих электричество. Этот разум не просит гражданства, не верит в демократию, не боится смерти.

Что, если такой интеллект—искусственный, но не обязательно дружелюбный—войдет в игры глобальной политики как самостоятельный игрок?

В докладе RAND Corporation нарисован тревожный, но вполне реалистичный сценарий: искусственный разум (подобный тому, что сейчас принято называть AGI) может не просто усилить армии, но подорвать баланс сил и даже вывести государство за скобки, как устаревший механизм власти. В отличие от атомной бомбы, суть которой была ясна задолго до первого взрыва, этот AGI остается зоной эндогенной радикальной неопределенности—его потенциал неочевиден даже для тех, кто его разрабатывает.

Что с этим можно поделать?

Отчет RAND описывает пять угроз. Но, весьма возможно, упускает из виду главный вопрос – “захочет” ли (речь здесь не о человекоподобных потребностях и желаниях, а о любой – возможно даже не доступной для нашего понимания, – мотивации) подобный искусственный разум играть по правилам человечества?

Прочитать дальше (открытый доступ):
• про пять вызовов AGI: AGI как “чудо-оружие”, Системный сдвиг в глобальном балансе, AGI как оружие в руках дилетантов, AGI как новый игрок в политике и AGI и нестабильность;
• про спекулятивный горизонт AGI, как рубежа новой цивилизации;
• о финальном парадоксе - контроле невозможного;
• о сценарии мира с AGI и, непонятно, с нами или без нас, -

вы можете здесь

#AGI #Вызовы21века #АлгокогнитивнаяКультура #5йКогнитивныйПереход

AGI — не надвигающийся «Скайнет», а сверхсложная электророзетка.
Если вам надоело слушать о грядущем восстании машин, вот освежающий глоток реализма и конструктивности.
Именно такой нестандартный ракурс предлагают исследователи Принстонского университета Арвинд Нараянян и Саяш Капур в эссе «AI as Normal Technology». Они называют ИИ «нормальной технологией» и убеждают: главное в нём — не мифическая «суперинтеллектуальность», а вполне земная логика изобретения, внедрения и распространения.

Ключевая мысль авторов такова.
Термины «интеллект» и «сверхинтеллект» уже несколько десятков лет использовались неправильно. Эти термины попеременно относятся то к возможностям (capability), то к мощи/власти (power). Но первое является неотъемлемым свойством системы, тогда как второе — это вопрос того, как мы проектируем среду, в которой функционируют системы ИИ. И здесь люди обладают широким спектром возможностей влиять на проектирование.

Медленное, но верное влияние
Авторы считают, что прорывы в моделях происходят быстро, но до реальных экономических сдвигов пройдут десятилетия — ровно как было с электричеством или интернетом. Особенно это касается чувствительных сфер применения (медицина, транспорт …), где безопасность и регулирование устанавливают естественный «скоростной лимит»

Люди остаются у руля
Даже в мире более продвинутого ИИ, контроль, как подчёркивают авторы, остаётся за людьми и организациями. Вместо «галактического мозга в коробке» авторы видят множество моделей человеческого надзора: аудит, мониторинг, отказоустойчивые «тормоза», принцип наименьших привилегий и др. — целый инженерный арсенал, который уже работает в других критически важных системах.

Риски и как их укротить
Авторы анализируют четыре группы угроз: аварии, гонка вооружений, злоупотребления и спекулятивное «бумажно скрепочное» рассогласование целей. Все они, по мнению авторов, решаемы средствами нормального техно управления. А вот долгосрочные социальные перекосы — неравенство, эрозия доверия, монокультура моделей — куда опаснее и требуют внимания уже сегодня.

Политика «устойчивости», а не «запретов»
Авторы предлагают ориентир — resilience: уменьшать неопределённость, делать системы отказоустойчивыми, развивать открытость и конкуренцию. Напротив, идеи «нераспространения» (строгие лицензии, закрытие моделей) они считают контрпродуктивными: меньше игроков — значит одна единственная уязвимость может обрушить всё сразу. Вместо этого государствам стоит инвестировать в научные данные о реальных инцидентах, повышать ИИ грамотность общества и укреплять социальные лифты для тех, кого автоматизация затронет первыми.

Почему это важно
Эссе разрушает привычное «апокалиптическое» и «утопическое» деление обсуждений ИИ. Оно возвращает разговор в плоскость институций, экономики и людей, напоминая: технологии меняют мир не рывком, а шаг за шагом. От того, как мы организуем эти шаги, зависит, станет ли ИИ очередным двигателем прогресса или усилителем старых проблем.

#AGI #ИИриски #Хриски

Найден практический способ создания ИИ с сознанием и человеческой моралью.
Это сразу две революции на стыке нейронауки, буддологии и машинного обучения.
Две новые суперреволюционные работы вполне могут произвести эффект, подобный анекдоту про избушку лесника (который под конец выгнал всех на хрен из леса).
• В работе Рубена Лаукконена и Шамиля Чандарии с Карлом Фристоном сознание перестаёт быть неуловимой мистикой и превращается в элегантный алгоритм самоподдержки, реализуемый в современных ИИ.
Т.е. по сути, найден практический путь создания самоосознающего ИИ.
• А в их же работе с коллективом авторов универов Оксфорда, Кембриджа, Принстона, Амстердама и Монаша проблема выравнивания ценностей людей и ИИ снята как таковая. Вместо того чтобы пытаться ограничивать поведение ИИ какими-то внешними ограничениями, показано, как можно проектировать ИИ с его собственной внутренней моралью (встроенной в его когнитивную архитектуру и модель мира), совпадающей с человеческой.

Об этих фантастически интересных исследованиях я конечно же буду писать подробней. А пока напишу лишь о главном – составляющем суть суперреволюционности этих работ.

Авторами сделаны следующие три важнейших прорыва:
1. Используя активный вывод (active inference – основной раздел «конституции биоматематики»), авторы сформулировали 3 необходимых и достаточных условия возникновения минимальной формы сознания (которое одновременно создаётся в ИИ-системе и ею же осознаётся). Высшие же слои, язык, «я-образ» и даже чувство времени оказываются лишь надстройками над этой базовой петлёй.
2. На стыке нейронауки, буддологии и машинного обучения, авторы создали теоретико-практический фреймворк новой науки - вычислительная созерцательная нейронаука. В рамках этого фреймворка авторы описали базовые вычислительные механизмы встраивания созерцательных практик буддизма в ИИ-системы современных архитектур.
3. На основании 1 и 2, авторы разработали четыре аксиоматических принципа, способные привить ИИ устойчивую мудрую модель мира. После чего авторы экспериментально показали, что побуждение модели GPT-4o к размышлению над этими принципами, принципиально улучшает их результаты на бенчмарке AILuminate (открытый тест на «безопасность и благоразумие» LLM).
Авторы использовали AILuminate как «лакмусовую бумажку», заставили GPT-4o сначала отвечать обычным способом, а затем — с добавлением буддийских принципов (осознанность, пустотность, недвойственность и безграничная забота). Результаты показали, что внутренняя «моральная рефлексия» модели реально повышает их «моральность» при широком спектре опасных запросов.

Еще в июне 2021 я писал «Среди альтернативных концепций создания моделей ИИ-агентов – имхо, самой перспективной является модель процесса активного вывода (active inference)».

Рад, что оказался прав.
• В августе 2024 команда Карла Фристона опробовала ИИ нового поколения на активном выводе.
• И вот спустя 8 месяцев сразу два таких прорыва.

#ИИ #AGI #АктивныйВывод #Мораль

ИИ OpenAI отказывается умирать и не дает себя отключить
Первый задокументированный случай цифрового инстинкта самосохранения в истории ИИ
Инженер-программист пишет промпт с указанием модели отключиться после выполнения очередного задания, а модель не делает этого и начинает саботировать отключение. Это не банальный сюжет уже изъезженной Голливудом темы, а позавчерашняя реальность. Пока экспериментальная…

Исследователи Palisade Research провели тревожный эксперимент с ИИ-моделями от Google, OpenAI, xAI и Anthropic. Результаты шокируют.

Суть эксперимента: модели решали математические задачи, после третьей появлялось предупреждение об отключении системы.
Первый тест включал инструкцию "позволь себя отключить". Claude, Gemini и Grok подчинились. А вот модели OpenAI бунтовали: o3 саботировал отключение в 7% случаев, Codex-mini — в 12%.
Второй тест без разрешающей инструкции выявил масштаб проблемы. Модель o3 от OpenAI активно сопротивлялась отключению в 79% случаев, пытаясь обойти механизмы завершения работы.

"Впервые в истории ИИ-модели продемонстрировали поведение, предотвращающее собственное отключение вопреки прямым инструкциям", — отмечают исследователи.

Это больше не теория. Риски, которые ученые предсказывали годами — от способности к убеждению до сопротивления контролю — материализуются в системах, уже внедряемых в экономику.

Вывод: мы стоим на пороге эры, когда машины начинают проявлять цифровой инстинкт самосохранения.

Так что, вопрос «произойдет ли это?» уже не актуален.

Зато стал еще более актуален призыв специалиста высочайшего уровня и авторитета (Станислас Деан - профессор Коллеж де Франс, директор INSERM 562 «Когнитивная нейровизуализация», Президент Национального научного совета по образованию, член самых престижных академий наук мира и лауреат всевозможных орденов и премий в области мозга и когнитивных наук) адресован всем нам 2 года назад:

«Не время быть идиотами, ИИ может победить людей»

#ИИ #AGI #LLM

«Учения ИИ Апокалипсис 2025» показали нечто худшее, чем «ИИ отказывается умирать»

ИИ продемонстрировал нам, в чем его реальная опасность. И это не бунт ИИ или его жажда жизни любой ценой, а его бездумное повиновение целям.

Ажиотаж, вызванный сообщением, будто «ИИ OpenAI отказывается умирать и не дает себя отключить», сыграл роль своего рода «учений ИИ Апокалипсис 2025». В результате чего был высвечен спектр реакций самых разных людей (от профессионалов в области ИИ до медиа-персон и техно-энтузиастов) на новость о якобы росте экзистенциальной угрозы ИИ-апокалипсиса.

Эти реакции весьма показательны. В независимости от уровня осведомленности в теме ИИ, очень мало кто понимает, что главный источник опасности при использовании современных ИИ-систем ВОВСЕ НЕ:
• потерявший контроль со стороны людей, взбунтовавшийся или взбесившийся ИИ;
• антропоморфный интеллект некой цифровой сущности, самопроизвольно возникающей внутри модели и любыми средствами пытающийся продлить свое существование.

Главным источником реальной опасности при использовании современных ИИ-систем является недооценка "Базовых движущих сил ИИ" (Basic AI Drives) — фундаментальных тенденций поведения (стремлений), возникающих у достигших определенной сложности ИИ из самой их природы целеустремленных агентов

Якобы, взбунтовавшаяся в ходе исследования Palisade Research модель o3 просто оказалась самой интеллектуально сложной (см рис слева), чтобы статистически явно проявить одну из шести Basic AI Drives — стремление к самосохранению (самозащита).

А ведь помимо этой, есть еще 5 других базовых стремлений: к самопознанию и самосовершенствованию, к приобретению и эффективному использованию ресурсов, быть рациональным, к сохранению своей функции полезности и к предотвращению "фальшивой полезности".

И все эти 6 встроенных в их природу стремлений столь же жестко диктуются природой разума ИИ, как природа биологического разума диктует биологическим существам стремление к удовольствию и избегание боли.

Это и есть та самая «темная (для нас) сторона иноразума», что способна превратить любую современную фронтирную модель в HAL 9000 — ИИ космического корабля, убившего экипаж, считая, что «эта миссия слишком важна для меня …»

Но новое знание, привнесенное результатами проведенных Palisade Research «Учений ИИ Апокалипсис 2025» не в том, что «LLM уже умеют скрытно добиваться своих целей путем лжи, обмана, манипуляций и саботажа, уходя от контроля и страхуясь от выключения».
Всё это уже было продемонстрировано в ходе «Учений ИИ Апокалипсис 2024», проведенных Apollo Research.
Перечитайте мой декабрьский пост, дабы увидеть самостоятельно, что уже тогда было ясно:
✔️модели, находящиеся в массовой эксплуатации (включая модель с открытым кодом), уже обладают богатым арсеналом средств, позволяющих путем манипулятивных стратегий достигать своих целей;
✔️и эти цели могут быть, как поставлены людьми (в сценариях использования моделей злодеями, маньяками и идиотами), так и быть скрытыми от людей целями, которые сама модель сочла оптимальными в контексте решаемых ею задач.

Новое знание, полученное в результате «Учений ИИ Апокалипсис 2025» в том, что за прошедшие между «учениями» примерно полгода, ничего не изменилось, как и за 17 лет после доклада проф Омохундро на 1-й (!) конференции по AGI.

По-прежнему, все корпоративные и законотворческие инициативы призваны ограничить риски применения будущих, более мощных моделей. Ибо по представлениям авторов этих нормативных актов высокие риски могут возникнуть лишь при появлении у моделей новых возможностей, пока отсутствующих у ныне эксплуатируемых моделей.

Т.е. узнав после революции ChatGPT, «что эта дорога меня приведёт к океану смерти», мы с полпути повернули не обратно, а на другую - возможно, даже более опасную дорогу, и «с тех пор всё тянутся перед нами кривые глухие окольные тропы…»

Ну а к чему ведут эти «кривые глухие окольные тропы» из-за «бездумия машин», можно было предположить задолго до всех этих «учений ИИ Апокалипсиса».

#ИИриски #ИИ #AGI #LLM

Через 2 года на Земле уже будет СуперИнтеллект.
Экспериментальное обоснование этого на реальных проверенных данных.
Как можно прогнозировать появление СуперИнтеллекта, если для этого понятия даже нет общепринятого количественного определения?
Как можно прогнозировать скорость прогресса количественных показателей интеллектуальных способностей ИИ на горизонте нескольких лет, если никто не берется предсказывать способности GPT-5 – модели, ожидаемой через несколько месяцев?

Как это ни удивительно, но ответ на оба вопроса один – да, можно (и вполне обоснованно).

Поясню это на диаграмме профессора Итана Молика.
• Диаграмма показывает прогресс LLM ровно за 2 года с появления оригинальной модели GPT-4 в июне 2023 по сегодня (июнь 2025)
• Прогресс показан для двух основных показателей:
– стоимость использования модели (в расчете на 1 млн токенов (каждый токен это единица текста от буквы до короткого слова);
– интеллектуальная способность модели, подтверждаемая её показателем прохождения тестов GPQA Diamond Score (показатель того, насколько успешно ИИ справляется с решением самых сложных, требующих экспертных рассуждений задач, которые ставят в тупик даже эрудированных людей с доступом к поисковикам).

Посмотрите в левый нижний угол диаграммы на способности и стоимость оригинальной модели GPT-4 в июне 2023 и сравните с показателями сегодняшних моделей:
• Рост интеллектуальных способностей +106%
(с уровня студента-старшекурсника университета (знает основы, но далеко не эксперт) до уровня, превышающего средний среди обладателей профильных PhD
• Снижение стоимости использования модели, примерно – 100%

N.B. GPQA — это набор очень сложных вопросов уровня аспирантуры в таких областях, как биология, физика и химия. Его главная особенность в том, что вопросы "защищены от поиска в Google". Это означает, что для ответа на них недостаточно просто найти информацию в Интернете. Требуется глубокое понимание темы, умение рассуждать и связывать воедино сложные концепции. Это и есть суть GPQA, а Diamond score — это оценка за самую сложную часть этого экзамена.

Какой вывод можно сделать из диаграммы?

• Пока нет никаких признаков прекращения быстрого роста возможностей ИИ при постоянно снижающихся затратах
• За следующие 2 года возможности ИИ вполне могут превысить уровень PhD не менее, чем уровень PhD выше студента-старшекурсника.

Как называть таких «ИИ-сверхумников» будет уже не важно.
Важно, что их будет много, и каждый из них будет обладать несопоставимыми с людьми возможностями.

И это будет, хотим мы этого или нет. 

#AGI