2/2. Продолжение. Начало тут


🧠 А что насчёт мозга и нейросетей?
Тут как раз интересно. В 90-х Сигельманн с коллегами показали, что:

Любая Тьюринговая машина — это частный случай рекуррентной нейросети.

Сеть с рациональными весами (всего 886 нейронов!) может вычислить все частично-рекурсивные функции 👉 ссылки на публикации тут

А если веса вещественные — вычислительная мощность может выйти за пределы Тьюринга (и при этом в модели не требуется бесконечная точность, достаточно линейной. Hо тут есть нюанс! Mожет быть обсудим на одном из следующих стримов).

📐 Ключевая идея:

непрерывность (вещественные числа и аналоговые процессы) может не просто приближать реальность, а давать качественно новые вычислительные возможности. Хотя на практике мы не можем задать числа с бесконечной точностью, сама природа, как кажется, оперирует реальными значениями (π, G, массы планет и т.д.) независимо от нашей способности их измерить.

📊 Исследования даже показали, что между рациональными и вещественными весами в нейросетях лежит целая иерархия вычислительных классов. Суть в информационной сложности чисел, которая измеряется через ресурсно-ограниченную колмогоровскую сложность.

📌 Вывод: Мы не знаем, вычислима ли физика. Возможно, вся Вселенная — гигантский алгоритм. А может, где-то в её глубинах живёт настоящая невычислимость, просто мы её ещё не нашли.

Так что, по состоянию на сейчас:
Физический мир может быть вполне вычислим. А может и нет. ¯\_(ツ)_/¯

Если найдут настоящий физический феномен, где вычисление результата принципиально невозможно — это будет просто бомба. А пока… можно только моделировать невычислимость внутри математики, но не в лаборатории.

#Decidability #Computability #Turing #Physics #Brain #Philosophy

1/2

Как доказывается невычислимость в физике?

Важно понимать: мы никогда не доказываем, что сама природа невычислима. Мы доказываем, что математическая модель, которая её описывает, может вести себя как Тьюринг-машина. Всё.

📌 Как это делается?

– Берётся дифференциальное уравнение (оно может быть вполне классическим — типа волнового или гамильтонова).
– В правую часть уравнения аккуратно вписывается "логика", как в программе.
– Подбираются крайне искусственные граничные или начальные условия — часто совсем не физические.
– В результате получается: система ведёт себя в точности как Тьюринг-машина.
– Следовательно, задаваясь вопросами о будущем её состояния, ты фактически решаешь проблему остановки — а она неразрешима.

То есть, строго говоря, мы не обнаруживаем невычислимость в природе — мы встраиваем её в модель.

📌 Пример: классическая работа Кристофера Мура (1990), "Unpredictability and Undecidability in Dynamical Systems", опубликована в Physical Review Letters.

Продолжение тут 👇

продолжение. начало тут.

Что показал Кристофер Мур:
— Система с тремя степенями свободы (например, частица в 3D-потенциале) может эмулировать Тьюринг-машину.
— Даже если начальные условия известны точно, всё равно невозможно ответить на многие вопросы о будущем поведения системы.
— Это не просто хаос (чувствительность к начальным данным), а глубинная невычислимость — фундаментальное ограничение, заложенное в математике.

🤯 Другими словами: можно построить закон движения, в котором "спрятана" неразрешимая задача, т.е. проблема остановки.

Формально — это уже физика, но физика, искусственно усложнённая до машины Тьюринга.

🌀 Теперь главный философский вопрос:

А если физика и вычислима, но вычисления займут больше времени, чем возраст Вселенной?

С практической точки зрения — это почти то же самое, что невозможность вообще. Модель может быть "вычислимой", но если тебе надо 10⁸⁰ шагов, чтобы узнать будет ли частица тут или там — на что тебе это знание?

То есть граница вычислимости — это не только "можно/нельзя", но и "успеть/не успеть".

📎 Вывод:

Физическая невычислимость пока строго доказана только в моделях, соответствие которых с физической реальностью очень спорно. Но даже если всё в природе формально вычислимо, это не значит, что мы когда-либо узнаем её будущее.

Возможно, законы Вселенной написаны на языке, который мы теоретически понимаем — но читать на нём практически невозможно.

#Decidability #Computability #Turing #Physics #Brain #Philosophy

Используете ли вы математику в повседневной жизни?

Ну, кто-то считает сдачу в магазине, а Роджер Пенроуз — определяет гомотопический класс своей прогулки.

Да-да, сэр Роджер не просто гуляет, а делает это топологически разнообразно.

Если на пути дерево — он каждый раз обходит его с другой стороны, чтобы маршрут был математически уникальным.

Вот такой вот спонтанный GPS для физиков-теоретиков: "Поверните направо, чтобы не повториться в топологическом пространстве".

К сожалению, после десятого дерева даже гению сложно вспомнить, с какой стороны он обходил эти деревья, ибо 2¹⁰ = 1024 путей...

#Complexity

1/2

Свежая теория сознания от Карла Фристона и коллег 🧠✨

Недавняя статья "Прекрасная петля: Теория сознания через активное предсказание" Карла Фристона и его коллег о теории сознания раскрывает подход, который они называют «Прекрасной петлёй».

Вкратце: чтобы сознание появилось, компьютер должен не просто циферки молотить, а как настоящий Шерлок Холмс – строить догадки и проверять их! 🕵️‍♂️🤖

Идея такова: компьютер или биологическая система, чтобы стать сознательной, должны не просто взаимодействовать с миром, а строить модель этого мира, потом моделировать себя в этом мире и, наконец, сомневаться в точности своих моделей. Этот процесс самоосознания становится глубже с каждым циклом, и чем больше он сомневается в точности своих прогнозов, тем ближе к сознанию. 🤔

2/2

Это по сути байесовский подход, при котором система строит вероятностные прогнозы о мире и обновляет их по мере получения новых данных. Мозг, возможно, работает точно так же — как супернавороченный байесовский вычислитель, постоянно пытающийся угадать, что происходит вокруг и внутри нас. Каждый новый опыт помогает ему уточнять свои прогнозы, а несоответствие между прогнозом и реальностью воспринимается как сигнал для корректировки модели. 🔄

Получается, то, что мы называем сознанием — процесс бесконечного самокорректирования и уточнения того, что мы знаем о себе и мире? 🌍 🧠

#Consciousness #BayesianOptimization

Бытует мнение (смеркалось), что это лучшая мотивационная речь в истории.

#НастроениеПятницы #ЧерныйЮмор

🔥 Следующий лайв-стрим — через две недели, в воскресенье 11.05.2025! Не пропустите!

На этот раз предварительно планируем разобрать темы:

1️⃣ Математика и ИИ — введение в теорию вычислимости и сложности вычислений + обзор результатов о вычислительной мощности искусственных нейронных сетей (см. тут и тут).

2️⃣ Математика и биология — введение в нейронауку и обсуждение книги Peter Dayan "Theoretical Neuroscience".

3️⃣ Философия - oткрытая дискуссия и дебаты.

🚀 Более подробный/окончательный анонс скоро появится здесь и в канале Hidden_heuristic!

Оставайтесь на связи и готовьте вопросы!

#LiveStream

Май в Мюнхене насыщен событиями.

#Culture #Munich

Вежливость — новая роскошь 🤔

Сэм Альтман недавно жаловался: «спасибо» и «пожалуйста» в запросах к ChatGPT — это десятки миллионов долларов расходов. 💸

На Hugging Face появился ChatUI-energy — чат, который не только отвечает, но и показывает, сколько электричества вы спалили на очередную глупость в запросе (на примере модели Qwen2.5-VL-7B-Instruct). 🔥

Например, доказать теорему Пифагора стоит чуть больше 1 Вт/ч. 👆


Это вообще сколько?

🔋 ~5,5% батареи среднестатистического современного смартфона
🔋 ~50 секунд работы ноутбука
🔋 ~4 секунды работы чайника

И это только один запрос. А теперь представьте миллиард таких «доказательств».

Другое дело, что в алгоритмах для языковых моделей (и трансформеров в частности) всё ещё полно неэффективности — и огромное поле для оптимизации. Работы здесь — непочатый край. 🚀

#AI #Energy #Economics #Physics

1/1

🧠 Сложность нейросетей: что это вообще значит?

Сегодня я хотел поговорить о вычислительной сложности нейросетей, но поймал себя на мысли:

стоп, а что вообще такое сложность?

Сложность по Шеннону? Колмогоровская сложность? Комбинаторная/асимптотическая сложность (по Тьюрингу)? Cложность собрать себя в понедельник утром на работу? 🤔

Решил разобраться с базовыми определениями, чтобы не получить ошибку вроде NullConceptException: понятие не определено.

📉 Энтропия по Шеннону — это мера неопределенности, когда не знаешь, что произойдёт.

Например, честная монета: → два равновероятных исхода — орел или решка → энтропия = 1 бит

Если монета всегда выпадает «орлом», энтропия будет 0 бит — никакой неожиданности.

📦 Колмогоровская сложность — это когда строку нельзя объяснить проще, чем просто запомнить.
Пример: 0101010101010101 — легко объяснить как «повтори 01 восемь раз», то есть низкая сложность.
0110101100101110 — тут уже нет очевидной схемы, сложность высокая.

2/2. продолжение. начало тут.

🧮 Сложность по Тьюрингу (асимптотическая/комбинаторная сложность)
Не будем забывать и об этом виде сложности, которая определяется в терминах машины Тьюринга. В этом контексте мы говорим о вычислительной сложности задачи, то есть о том, сколько ресурсов (время, память) нужно для решения задачи с помощью алгоритма.

Пример:

🎯 Число π — кажется, что оно абсолютно хаотичное: 3.1415926535… Цифры «равномерно раскиданы» (хотя это не доказано).
Энтропия — высокая, потому что предсказать, какие цифры пойдут дальше, сложно. Но! Это не случайность.
π можно сгенерировать по формуле, и мы знаем, как извлечь нужные цифры. Тут энтропия высокая, а Колмогоровская сложность низкая.

💡 Вывод:

📉 Энтропия — когда не знаешь, что дальше.
📦 Колмогоровская сложность — когда даже зная, не можешь объяснить проще.
🧮Тьюринг - а хватит ли нам ресурсов вселенной, шобы вообще вычислить?

📌 В следующий раз поговорим о том, как нейросети справляются с разными задачами и как они используют концепции сложности!

#LLM #Transformer #Complexity

@easy_about_complex

1/2

Когда кот — не просто мурлыка, а соавтор научной статьи

В 1975 году в престижном журнале Physical Review Letters вышла статья "Two-, Three-, and Four-Atom Exchange Effects in bcc ³He", оказавшая значительное влияние на науку. Под ней стояли два имени: Джек Хезерингтон и... Ф.Д.К. Уиллард.

На первый взгляд — ничего подозрительного...

2/2 Продолжение. Начало тут

Но, как выяснилось, одним из «авторов» оказался кот по кличке Честер. 😺

Дело в том, что Хезерингтон написал статью от первого лица множественного числа — «мы», «наш». Когда же редактор напомнил, что он числится как единственный автор, Джек, будучи человеком практичным, не стал перепечатывать весь текст. Ведь это были 70-е, а на печатных машинках не существовало волшебной функции «найти и заменить». Вместо этого он просто приписал в соавторы своего кота. Причём под изящным псевдонимом: F.D.C. Willard — от Felis domesticus Chester Willard. Шах и мат, грамматика.

Когда научное сообщество узнало об этом пушистом физике, кота даже пригласили «присоединиться» к кафедре на full time. К счастью, он не возражал. Главное — не трогайте его лазерную указку.

#Physics #Cats #НастроениеСреды

@easy_about_complex

1/2

🚀 Свежая продвижка в решении 6-й проблемы Гильберта 125 лет спустя — или что такое математическая строгость

Шестая проблема Гильберта — одна из 🧠 23 знаменитых математических задач, сформулированных Давидом Гильбертом в 1900 году на Международном математическом конгрессе в Париже.

📌 Гильберт поставил цель:

"Математическое обоснование тех наук, где математика играет важную роль, прежде всего физики, особенно аксиоматизация тех разделов физики, где господствует вероятностный и статистический подход."

🔬 Основной акцент- аксиоматизация физики, особенно:
- механики (включая статистическую),
- кинетической теории газов,
- теории вероятностей.

2/2. продолжение. начало тут.

🤔 В чём суть и сложность?
На рубеже XIX–XX веков у физиков были три уровня описания жидкостей и газов:

⚙️ Ньютоновская механика — точные уравнения движения для каждой молекулы.

🎲 Кинетическая теория Больцмана — вероятностные распределения частиц по скоростям.

🌊 Уравнения Эйлера / Навье–Стокса — конкретные значения плотности, давления, скорости в каждой точке.

Но вот проблема: описывать каждую молекулу по Ньютону — невозможно (их триллионы 😵). Больцман предложил статистический подход: описывать поведение газа не через каждую частицу, а через вероятностную плотность. Но и это приближение. В реальных инженерных задачах мы ещё сильнее упрощаем — используем уравнения Эйлера или Навье-Стокса, чтобы напрямую считать плотность, давление, скорость.

📉 Проблема в том, что все эти переходы — от микромира к макромиру — до недавнего времени оставались на уровне физической интуиции. Мы как бы «выводим» макроуравнения Эйлера и Навье-Стокса из Больцмана, а Больцмана из Ньютона — но без строгих математических гарантий.

🧩 Чтобы сделать всё по-настоящему строго, нужно:
-оценить погрешность между моделями,
-доказать существование решений на каждом уровне,
-и показать, что они действительно сходятся при предельных переходах.

📚 В этом и суть 6-й проблемы: построить строгий математический мост между механикой Ньютона, статистикой Больцмана и гидродинамикой Эйлера - от микроскопического молекулярного уровня к макроскопическому поведению жидкостей и газов в реальном мире.

💥 И вот, спустя 125 лет, в работе Yu Deng, Zaher Hani и Xiao Ma (2025) arXiv:2503.01800
эта программа, кажется, частично(!) реализована строго математически.

Однако, это лишь препринт! Работа находится в проверке!

P.S. вот тут тоже можно почитать.

#Physics #Math #Hilbert #Hilbert6 #Gasdynamics #Euler #NavierStokes #Newton #Boltsman

@easy_about_complex

Ну и немного сексуальных и развратных намёков. Весна же.

Кто не понял, поставьте 👎

Кто понял, поставьте 👍

Кто смог взять интеграл, но всё равно не понял, поставьте 😇

Кто не смог взять интеграл, но понял, поставьте 😈

#НастроениеПятницы #ПошлыйЮмор

@easy_about_complex