1/2

Свежая теория сознания от Карла Фристона и коллег 🧠✨

Недавняя статья "Прекрасная петля: Теория сознания через активное предсказание" Карла Фристона и его коллег о теории сознания раскрывает подход, который они называют «Прекрасной петлёй».

Вкратце: чтобы сознание появилось, компьютер должен не просто циферки молотить, а как настоящий Шерлок Холмс – строить догадки и проверять их! 🕵️‍♂️🤖

Идея такова: компьютер или биологическая система, чтобы стать сознательной, должны не просто взаимодействовать с миром, а строить модель этого мира, потом моделировать себя в этом мире и, наконец, сомневаться в точности своих моделей. Этот процесс самоосознания становится глубже с каждым циклом, и чем больше он сомневается в точности своих прогнозов, тем ближе к сознанию. 🤔

2/2

Это по сути байесовский подход, при котором система строит вероятностные прогнозы о мире и обновляет их по мере получения новых данных. Мозг, возможно, работает точно так же — как супернавороченный байесовский вычислитель, постоянно пытающийся угадать, что происходит вокруг и внутри нас. Каждый новый опыт помогает ему уточнять свои прогнозы, а несоответствие между прогнозом и реальностью воспринимается как сигнал для корректировки модели. 🔄

Получается, то, что мы называем сознанием — процесс бесконечного самокорректирования и уточнения того, что мы знаем о себе и мире? 🌍 🧠

#Consciousness #BayesianOptimization

Бытует мнение (смеркалось), что это лучшая мотивационная речь в истории.

#НастроениеПятницы #ЧерныйЮмор

🔥 Следующий лайв-стрим — через две недели, в воскресенье 11.05.2025! Не пропустите!

На этот раз предварительно планируем разобрать темы:

1️⃣ Математика и ИИ — введение в теорию вычислимости и сложности вычислений + обзор результатов о вычислительной мощности искусственных нейронных сетей (см. тут и тут).

2️⃣ Математика и биология — введение в нейронауку и обсуждение книги Peter Dayan "Theoretical Neuroscience".

3️⃣ Философия - oткрытая дискуссия и дебаты.

🚀 Более подробный/окончательный анонс скоро появится здесь и в канале Hidden_heuristic!

Оставайтесь на связи и готовьте вопросы!

#LiveStream

Май в Мюнхене насыщен событиями.

#Culture #Munich

Вежливость — новая роскошь 🤔

Сэм Альтман недавно жаловался: «спасибо» и «пожалуйста» в запросах к ChatGPT — это десятки миллионов долларов расходов. 💸

На Hugging Face появился ChatUI-energy — чат, который не только отвечает, но и показывает, сколько электричества вы спалили на очередную глупость в запросе (на примере модели Qwen2.5-VL-7B-Instruct). 🔥

Например, доказать теорему Пифагора стоит чуть больше 1 Вт/ч. 👆


Это вообще сколько?

🔋 ~5,5% батареи среднестатистического современного смартфона
🔋 ~50 секунд работы ноутбука
🔋 ~4 секунды работы чайника

И это только один запрос. А теперь представьте миллиард таких «доказательств».

Другое дело, что в алгоритмах для языковых моделей (и трансформеров в частности) всё ещё полно неэффективности — и огромное поле для оптимизации. Работы здесь — непочатый край. 🚀

#AI #Energy #Economics #Physics

1/1

🧠 Сложность нейросетей: что это вообще значит?

Сегодня я хотел поговорить о вычислительной сложности нейросетей, но поймал себя на мысли:

стоп, а что вообще такое сложность?

Сложность по Шеннону? Колмогоровская сложность? Комбинаторная/асимптотическая сложность (по Тьюрингу)? Cложность собрать себя в понедельник утром на работу? 🤔

Решил разобраться с базовыми определениями, чтобы не получить ошибку вроде NullConceptException: понятие не определено.

📉 Энтропия по Шеннону — это мера неопределенности, когда не знаешь, что произойдёт.

Например, честная монета: → два равновероятных исхода — орел или решка → энтропия = 1 бит

Если монета всегда выпадает «орлом», энтропия будет 0 бит — никакой неожиданности.

📦 Колмогоровская сложность — это когда строку нельзя объяснить проще, чем просто запомнить.
Пример: 0101010101010101 — легко объяснить как «повтори 01 восемь раз», то есть низкая сложность.
0110101100101110 — тут уже нет очевидной схемы, сложность высокая.

2/2. продолжение. начало тут.

🧮 Сложность по Тьюрингу (асимптотическая/комбинаторная сложность)
Не будем забывать и об этом виде сложности, которая определяется в терминах машины Тьюринга. В этом контексте мы говорим о вычислительной сложности задачи, то есть о том, сколько ресурсов (время, память) нужно для решения задачи с помощью алгоритма.

Пример:

🎯 Число π — кажется, что оно абсолютно хаотичное: 3.1415926535… Цифры «равномерно раскиданы» (хотя это не доказано).
Энтропия — высокая, потому что предсказать, какие цифры пойдут дальше, сложно. Но! Это не случайность.
π можно сгенерировать по формуле, и мы знаем, как извлечь нужные цифры. Тут энтропия высокая, а Колмогоровская сложность низкая.

💡 Вывод:

📉 Энтропия — когда не знаешь, что дальше.
📦 Колмогоровская сложность — когда даже зная, не можешь объяснить проще.
🧮Тьюринг - а хватит ли нам ресурсов вселенной, шобы вообще вычислить?

📌 В следующий раз поговорим о том, как нейросети справляются с разными задачами и как они используют концепции сложности!

#LLM #Transformer #Complexity

@easy_about_complex

1/2

Когда кот — не просто мурлыка, а соавтор научной статьи

В 1975 году в престижном журнале Physical Review Letters вышла статья "Two-, Three-, and Four-Atom Exchange Effects in bcc ³He", оказавшая значительное влияние на науку. Под ней стояли два имени: Джек Хезерингтон и... Ф.Д.К. Уиллард.

На первый взгляд — ничего подозрительного...

2/2 Продолжение. Начало тут

Но, как выяснилось, одним из «авторов» оказался кот по кличке Честер. 😺

Дело в том, что Хезерингтон написал статью от первого лица множественного числа — «мы», «наш». Когда же редактор напомнил, что он числится как единственный автор, Джек, будучи человеком практичным, не стал перепечатывать весь текст. Ведь это были 70-е, а на печатных машинках не существовало волшебной функции «найти и заменить». Вместо этого он просто приписал в соавторы своего кота. Причём под изящным псевдонимом: F.D.C. Willard — от Felis domesticus Chester Willard. Шах и мат, грамматика.

Когда научное сообщество узнало об этом пушистом физике, кота даже пригласили «присоединиться» к кафедре на full time. К счастью, он не возражал. Главное — не трогайте его лазерную указку.

#Physics #Cats #НастроениеСреды

@easy_about_complex

1/2

🚀 Свежая продвижка в решении 6-й проблемы Гильберта 125 лет спустя — или что такое математическая строгость

Шестая проблема Гильберта — одна из 🧠 23 знаменитых математических задач, сформулированных Давидом Гильбертом в 1900 году на Международном математическом конгрессе в Париже.

📌 Гильберт поставил цель:

"Математическое обоснование тех наук, где математика играет важную роль, прежде всего физики, особенно аксиоматизация тех разделов физики, где господствует вероятностный и статистический подход."

🔬 Основной акцент- аксиоматизация физики, особенно:
- механики (включая статистическую),
- кинетической теории газов,
- теории вероятностей.

2/2. продолжение. начало тут.

🤔 В чём суть и сложность?
На рубеже XIX–XX веков у физиков были три уровня описания жидкостей и газов:

⚙️ Ньютоновская механика — точные уравнения движения для каждой молекулы.

🎲 Кинетическая теория Больцмана — вероятностные распределения частиц по скоростям.

🌊 Уравнения Эйлера / Навье–Стокса — конкретные значения плотности, давления, скорости в каждой точке.

Но вот проблема: описывать каждую молекулу по Ньютону — невозможно (их триллионы 😵). Больцман предложил статистический подход: описывать поведение газа не через каждую частицу, а через вероятностную плотность. Но и это приближение. В реальных инженерных задачах мы ещё сильнее упрощаем — используем уравнения Эйлера или Навье-Стокса, чтобы напрямую считать плотность, давление, скорость.

📉 Проблема в том, что все эти переходы — от микромира к макромиру — до недавнего времени оставались на уровне физической интуиции. Мы как бы «выводим» макроуравнения Эйлера и Навье-Стокса из Больцмана, а Больцмана из Ньютона — но без строгих математических гарантий.

🧩 Чтобы сделать всё по-настоящему строго, нужно:
-оценить погрешность между моделями,
-доказать существование решений на каждом уровне,
-и показать, что они действительно сходятся при предельных переходах.

📚 В этом и суть 6-й проблемы: построить строгий математический мост между механикой Ньютона, статистикой Больцмана и гидродинамикой Эйлера - от микроскопического молекулярного уровня к макроскопическому поведению жидкостей и газов в реальном мире.

💥 И вот, спустя 125 лет, в работе Yu Deng, Zaher Hani и Xiao Ma (2025) arXiv:2503.01800
эта программа, кажется, частично(!) реализована строго математически.

Однако, это лишь препринт! Работа находится в проверке!

P.S. вот тут тоже можно почитать.

#Physics #Math #Hilbert #Hilbert6 #Gasdynamics #Euler #NavierStokes #Newton #Boltsman

@easy_about_complex

Ну и немного сексуальных и развратных намёков. Весна же.

Кто не понял, поставьте 👎

Кто понял, поставьте 👍

Кто смог взять интеграл, но всё равно не понял, поставьте 😇

Кто не смог взять интеграл, но понял, поставьте 😈

#НастроениеПятницы #ПошлыйЮмор

@easy_about_complex

📐 Интегралы, которые невозможно выразить в элементарных функциях

После этого поста стало очевидно, что дорогие читатели этого канала очень любят интегралы.

А вот знаете ли вы, что далеко не все интегралы можно выразить через "обычные" функции вроде синуса, экспоненты или логарифма? Например, классический интеграл

∫𝑒^{−𝑥^2}𝑑𝑥

не имеет выражения через элементарные функции. Его значение задаётся через специальную функцию — ошибку Гаусса (erf).

🔍 Это открытие уходит к работам Жозефа Лиувилля в 1830-х годах. Он доказал теорему существования первообразной в элементарных функциях для определённых видов подинтегральной функции. Но нам же мало знать, что интеграл можно взять? Мы хотим его вычислить алгоритмически!

🧠 В 1969 году Роберт Риш разработал алгоритм (ныне известный как алгоритм Риша), который позволяет автоматически определить, можно ли взять интеграл в элементарных функциях. Этот алгоритм лёг в основу современных систем компьютерной алгебры: Mathematica, Maple, Maxima.

📚 Среди других ключевых работ:
– Бронштейн (1997) — систематизация алгоритмических методов
– Барри Трейгер (1984) — интегралы от алгебраических функций
– Теория "fewnomials" Хованского — на стыке алгебры и анализа

💡 Примеры неэлементарных интегралов:
– ∫sin⁡(𝑥^2)𝑑𝑥
- ∫sin(𝑥)/𝑥𝑑𝑥
- ∫sqrt(1+𝑥^3)𝑑𝑥

Такие выражения требуют специальных функций — от Bessel до эллиптических, и создают мост между алгеброй, анализом и математической физикой.

✳️ Вывод: даже простые на вид интегралы могут скрывать глубокие слои математической теории.

#ODE #ComputerAlgebra #Computability #Algorithms

@easy_about_complex

🔥 Напомню, что следующий лайв-стрим — в воскресенье 11.05.2025! Не пропустите!

На этот раз предварительно планируем разобрать темы:

1️⃣ Математика и ИИ — введение в теорию вычислимости и сложности вычислений + обзор результатов о вычислительной мощности искусственных нейронных сетей (см. тут и тут).

2️⃣ Математика и биология — введение в нейронауку и обсуждение книги Peter Dayan "Theoretical Neuroscience".

3️⃣ Философия - oткрытая дискуссия и дебаты.

🚀 Более подробный/окончательный анонс скоро появится здесь и в канале Hidden_heuristic!

Оставайтесь на связи и готовьте вопросы!

#LiveStream

@easy_about_complex