В честь 31-го августа, последнего дня лета )

С днём AGI-осени?

Люди думали о создании "искусственного интеллекта" с незапамятных времён - не то, что на заре компьютеров, а когда их ещё не было. Думаю, все мы знаем про тест Тьюринга - он был предложен аж в 1950 году! Та самая статья Тьюринга довольно интересно читается сегодня, поскольку мы знаем про AI гораздо больше.

Попытки двигаться в сторону "AGI" не заставили себя ждать. Я уже когда-то писал про программу со скромным названием General Problem Solver из 1957-го. Да в ту эру был даже свой ChatGPT - ELIZA (1966). Рано смеётесь - она обгоняла GPT-3.5 в тесте Тьюринга.

Уже тогда говорили - "Через 3-6 месяцев ELIZA будет писать 90% кода". К сожалению, людишки переоценили свои силы, и в 70-х этот обсёр стал очевиден. Амбиции поубавились и про AGI уже как-то стало стыдно говорить.

В 2012-м свёрточные нейросети ворвались в игру и началась эпоха Deep Learning. Довольно быстро его применили в зрении и других областях, в том числе и в обучении с подкреплением. Статья Playing Atari with Deep Reinforcement Learning [2013] знатно хайпанула - надо же, алгоритм самостоятельно учится играть в игру. Потом Deepmind выпустили AlphaGo [2015].

В тот момент я только начинал изучать ML. Отчётливо помню, что в больших ML-сообществах тема AGI считалась кринжом - серьёзные люди тогда жаловали только серьёзные ML-приложения. Я был среди меньшинства, которое ожидало дальнейших побед RL.

Пик пришёлся на 2018-2019-й - Deepmind AlphaStar и OpenAI Five жёстко хайпанули, продемонстрировав топовый уровень игры в Starcraft 2 и Dota 2. Но это была Пиррова победа. Читая внимательно статьи, становится понятно - всё это работает с горем пополам. Не получается так, как в Go - поставил модельку играть саму с собой и пошёл пить чай - всё это уже не скейлится на такие задачи, и нужно городить кучу костылей и ограничений.

И вот в начале 2020-х AGI снова вошёл в мейнстрим, причём не благодаря решению крутой задачи, а благодаря новой форме подачи - из андэграунда вырвались NLP-ресёрчеры, которые релизнули старую как мир идею - чат-бота, но на основе Deep Learning. Увидев такое, уязвимый человеческий рассудок не устоял перед харизмой статистического попугая. На пару лет те, кто не верили в достижение AGI на основе чат-бота, стали считаться тупыми скептиками.

Прошло пару лет, миллиарды долларов были распилены, чат-бот прокачали, но AGI как-то не особо приблизился. И тут текущие игроки достали козырь из рукава. Оказывается, AGI это в принципе отстойный термин. Теперь вместо того, чтобы идти к как бы "непонятному" интеллекту, AI-компании меняют направление.

И я очень этому рад! Нас ждёт расцвет реально полезных AI-приложений. xAI релизнули общение с раздевающейся аниме-тёлочкой. Superintelligence Lab Цукерберга даёт возможность пообщаться с Russian Girl или Step Mom, ждём релиза AlphaSex от Google Deepmind. Не сомневаюсь, что в скором времени у нас в домах будут Тесла Оптимусы, выглядящие как Ani, и помимо всего прочего ещё и собирающие грязные носки по дому. Женщина, которую мы все хотели.

На основе текущих технологий было и будет построено много полезных приложений. Но лично мне, как человеку, сфокусированному на сильном интеллекте уже лет 10, на эти приложения скорее пофиг.

Текущие крупные игроки вряд ли заинтересованы в создании "настоящего" AGI - он может уничтожить статус-кво и их самих. В этом я с ними солидарен - если у кого-то из этих больных мессианским комплексом реально появится суперинтеллект, мало не покажется никому. В свою очередь, это открывает возможность совершить этот прорыв кому угодно, кто знает, что и зачем он делает.

@knowledge_accumulator

К научным темам, пробую архитектуры неросетей решать нерешённые математические задачи последних двух веков - пока ничего не решают, что и логично. Прийдотся брать ручку и бумагу и решать самому.

К споритивным темам: бросил вызов Валерию Бабушкину, который считается самым сильным Дата Сайнтистом современности так как от груди жмёт 200 кг )

Расскжу чего-то из своего математического прошлого: я был когда-то на школе Бруно Бухбергера - этот тот чувак, который изобрёл алгоритм для решения нелинейных алгебраических уравнений/базисы Грёбнера. Сто лет ещё не прошло. И я там должен был делать доклад. А передо мной всякие молодые ребята выступали из Германии, США, Франции и что-то там рассказывали про вычислителъную (не)коммутивную алгебру. И на всех этих докладал сидел Бруно Бухбегер и Жан Франуа Помарре. Великие математики. И все молодых ребят они разносли просто в пух и прах. Восновном Поммаре разнослил, я его я вообще боялся, так как я его за 10 лет до этого встретил на конференции в Греции и он мне сказал лично: ты козёл, что ты куришь. Ну и я слушаю доклады по алгебре, в конце каждого доклада Помаре просто разносит каждого докладчика и приходит моя очередь. меня он вообще разнесёт сто процентов так как я вообще не математик, а выступаю от информатики. Я делаю свой доклад и уверен, что Помаре меня разнесёт в пух и прах. Помаре говорит: ну наконец-то, один нормальный доклад на конференции, все остальные доклады от молодых отстой, а этот хотъ свои собственные мозги напряг, а не ошибки предков повторяет!

Жаан Франсуа Помаре:

https://cermics.enpc.fr/~pommaret/home.html

Бруно Бухбергер:

https://en.wikipedia.org/wiki/Bruno_Buchberger

про него можно рассказать болъше, конечно )

Вы б, кстати, послушали лекцию Жана Фраунсау Помаре про дифференциальные операторы и главное видели бы на этой лекции меня. Я до сих пор не понимаю, я там единственный был, кто вообще ничего не понял, а остальные кто сидели были актёры, которые делали вид что понимают? Это реально было ржачно. Жаль этой лекции нет на видео, я там мог бы получитъ Оскара за возведения глаз к небу и просьбе простить меня и помиловать, что зря занимаю чьё-то место на этой лекции. Ладно, я бы успокоился, если бы все сидели так же понуро как я, но, блин, они задавали вопросы! Может быть не к месту, может быть глупые, но они задавали вопросы! А я даже вопроса задать не мог - я не понимал ничего в этой лекции. Сейчас, конечно, я понимаю, о чём речь на той лекции шла, но тогда я думал, блин, куда я попал, зачем я здесъ, шо за чейны операторов, какие пвсевдогруппы, ребята, вы о чём?? И главное лекция так хорошо начиналась - обыкновенные дифференциальные уравнения, маятник, всё по классике и потом за 15 минут тыгыдым в какуют-то гремчую теорию. ААА, я ещё обыкновенные дифференциалъные уравнения не освоил аналитически, ребята, вы куда??

Однако я пережил этот психологический стресс, так как на тот момент умел решать уравнения в частных производных численно довольно хорошо. Например, Навьер-Стокса с разными числами Рейнольдса и на разным геометриях и мне было понятно, что ладно, даже если я тут не понимаю пока, они тоже врядли умеют так же хорошо решать такие дифуры как Навье-Стокс в произвольных геометриях. И я даже схватил Помаре после лекции и загрузил его на эту тему, на что он мне сказал, что это не его работа, но скорее всего я прав, но он точно не знает и посоветовал бросать курить: мол, что тебя не вижу, говорит, в любой стране - всегда куришь в гостинице после завтрака ) шо у вас за мода, стоять и курить возле гостиницы, кто так делает! нормальные люди о математике думают, а не курят!

Повторю пару недавних постов, вдруг кто их не заметил в канале

2/2. Продолжение. Начало тут.

Но сначала вернёмся от Теренса Тао на почти 100 лет назад к работам Андрея Колмогоровa.

🌀 Контекст: турбулентность и энергетический каскад
Когда жидкость начинает двигаться слишком быстро или неравномерно, её движение становится турбулентным — это означает, что в ней появляются завихрения разных размеров, от больших до очень мелких.

Андрей Колмогоров в 1941 году предложил статистическую теорию турбулентности, которая не пытается предсказать каждое завихрение, а описывает их в среднем. Он задался вопросом: Как распределяется энергия в турбулентном потоке между завихрениями разных размеров, по шакале от метров до мили-, микро-,- и т.д. метров?

Как распределяется энергия в турбулентном потоке между завихрениями разных размеров?

📐 Формула Колмогорова: 𝐸(𝑘) ∼ 𝑘⁻⁵⸍³
Здесь:
— 𝐸(𝑘) — энергетический спектр: сколько энергии содержится в завихрениях размера, соответствующего волновому числу k;
— 𝑘 — волновое число, обратно пропорциональное размеру вихря: чем больше k, тем мельче вихрь
— ∼ 𝑘⁻⁵⸍³ — энергия убывает с ростом k по степенному закону: чем мельче завихрение, тем меньше в нём энергии.
📉 Крупные вихри содержат больше энергии, и по мере распада потока на всё более мелкие — энергия «перетекает вниз». Это и есть энергетический каскад Колмогорова.

📌 Почему это важно?
Формула 𝐸(𝑘) ∼ 𝑘⁻⁵⸍³ — это золотой стандарт в турбулентности. Её подтверждали во множестве экспериментов: от потоков в трубах до атмосферных ветров.

📡 В спектре турбулентности вы реально видите "горку", убывающую как 𝑘⁻⁵⸍³, между зоной внешних сил (где поток "раскачивается") и зоной вязкости (где энергия гасится).

🤝 Колмогоров и Тао
Колмогоров предложил макроскопическую модель: что делает турбулентность в среднем. А Тао, десятилетия спустя, пытается понять:

А возможно ли, чтобы вся энергия сконцентрировалась в одной точке — чтобы вместо каскада вниз случился взрыв вверх, сингулярность?

🔍 Что сделал Тао:

1. Создал модифицированную модель Навье–Стокса
Тао предложил упрощённые версии уравнений — не настоящие Навье–Стокса, а их "игровые" аналоги. Он отключил некоторые физические ограничения, но сохранил важные структурные черты, чтобы изучить, возможен ли в принципе сценарий сингулярности.

2. Показал, что в этих уравнениях возможен blow-up
Он построил пример, где энергия жидкости стекается в одну точку всё быстрее и быстрее, пока не становится бесконечной за конечное время. Это — математическая модель сингулярности.

🧠 Главная идея:

Если слегка ослабленные уравнения могут "взорваться", значит, в оригинальных уравнениях такие механизмы где-то на грани — и, возможно, их можно "выдавить" или, наоборот, доказать, что они невозможны.

📈 Его идея: представить сценарий, где вихри в жидкости ведут себя как программа, которая самовоспроизводится — каждый раз в меньшем масштабе и с большей скоростью. Такая каскадная структура ведёт к тому, что вся энергия стягивается в одну точку, ускоряясь бесконечно — как жидкостная версия компьютера, с встроенным механизмом “взрыва”.

🤖 Тао даже сравнивает это с Тьюринг-машиной из жидкости — машиной, которая вычисляет собственную эволюцию, ускоряясь и масштабируясь вниз, пока не обрушится в математическую бесконечность.

В своём интервью он наглядно объясняет, как с помощью конструкции типа машины Тьюринга он перепрограммирует уравнения Навье-Стокса не на рассеивание энергии через механизмы транспорта и вязкости на отдельные вихри, а пускает энергию вниз по масштабам через вихри большего размера к вихрям меньшего и ещё меньшего и т.д. размера. Очень интересный метод. Мне понра и захотелось даже заглянуть в его оригинальную статью 2016-го года. Надо отметить что подобные темы мы уже разбирали тут и тут.

#NavierStockes #MilleniumPrize #Kolomogorov #Tao #MathPhysics

@easy_about_complex

Кстати, предлагаю всем посмотреть наконец-то переведённое с помошью ИИ на русский язык последнее интервью с Теренсом Тао:

https://www.youtube.com/watch?v=HUkBz-cdB-k