Сегодня к стриму я не готовился, потому что за последние несколько месяцев накопилось столько всего интересного, что я мог показать сходу! Да и вообще, импровизация — это моя стихия, так что я рассчитывал, что зрители сами подскажут, что им интересно. В зависимости от того, кто прийдёт - будем показывать магию нейросетей по-разному. Было интересное для всех — от математиков (как чистых, так и прикладных), программистов до лингвистов и психологов.

От очень теоретических до совершенно прикладных аспектов, не требующих никакой подготовки...

Вот что могло бы быть сегодня на повестке:

- Как запускать код трансформеров и больших языковых моделей, чтобы понять, как они работают под капотом: Питон, юпитер-ноутбуки, Google Colab, HuggingFace — никаких установок, всё в браузере. 5 минут — и ты уже играешься с миллиардами нейронов и синапсов на языке программирования Питон. В голове — легкая паника, в ноутбуке — искусственный интеллект. 🧠💻

- Эмбеддинги и механизмы самовнимания: Два главных героя нейросетей, и как я их понял, если честно, с небольшой помощью ChatGPT и пару ночных сессий с кодом на Питоне. 🔍🔧

- Как учат большие языковые модели: Тут будет много трюков и хитростей, которые помогут наглядно представить себе процесс обучения «тупой железяки» и сделать его немного менее мистичным, чем когда ты впервые читаешь об этом. 📚⚙️

- Многомерные пространства эмбеддингов и многообразия в них, а так же при чём тут теория категорий?!: Как связаны между собой язык и математика, а также почему нейросети иногда ведут себя как загадочные философы, обсуждающие, что такое "всё это"… 🌐📐 Но суть в том, что они просто работают с числами, а мы пытаемся это понять через такие слова, как «многообразие». Попробуй не задуматься!

- Сходства и различия между искусственными нейросетями и мозгом: Какие загадки скрываются в человеческом мозге и в нейросетях, и в чём конкретно они схожи или различаются. 🤖🧠

Но так как никто не пришёл на стрим, я пошёл готовить ужин, что тоже оказалось очень замечательно! 🍽😊

Не переживайте, в следующее воскресенье я повторю попытку провести стрим, и надеюсь, что на этот раз будут хотя бы несколько вопросов (или хотя бы один человек, кто не боится смотреть, как я делаю вид, что понимаю, о чём говорю)! 😜😂

История науки по-пацански. Выпуск 13: «Учитель сказал!»

Давным-давно в одной научной галактике жил-был молодой человек, ищущий Путь. Папа его был профессором юриспруденции, дед - знатным теологом, всякие дядьи и прочие родственники - тоже в науке и преподавании. Вектор Пути был определен, нужно было только уточнить. Юноша учился в Максимилиановской гимназии в Мюнхене, стал первым учеником - и вот тут появился Учитель. Ну - пока что просто учитель математики, который таки показал юноше, что в математике и физике у него получается. Правда, получалось у него и в музыке - как в фортепиано, так и в вокале - но вот с композиторством не складывалось, посему юноша пошел в физику.

И тут пришел так уже Учитель. Профессор физики Филип Жолли. Юноша не хотел заниматься экспериментом - все ж с математикой ок - и спросил у профессора: Мастер, я хочу пойти в теоретическую физику, там нужны только мозг и карандаш. Ну и бумага, хотя если что - и парта сойдет. И стены в комнате есть еще. И Мастер говорит: ученик мой! Не порти жизнь себе, не губи научную карьеру, в теорфизике вот все-все уже открыто - ну пару вычислений доделать, пару темных углов дочистить, и все - сияющий храм теоретической физики готов. Все уже до тебя сделали, славы тебе не видать!

И вы таки думали, что вьюнош расстроился? Он возликовал: «Мне только того и надо! Скромные вычисления, уточнить расчеты - это по мне, Учитель!».

И задачка для юноши нашлась: мысленный эксперимент одного из преподавателей юноши, Густава Кирхгофа - абсолютно черное тело. Оно поглощает все падающее на него излучение и само излучает (к слову сказать, Солнце - хорошее приближение к абсолютно черному телу). В конце XIX века два будущих нобелевских лауреата, Вильгельм Вин и лорд Рэлей написали свои формулы спектра излучения того самого черного тела. Но они нифига не совпадали: формула Вина соответствовала реальности на коротких волнах, формула Рэлея - на длинных.

Наш герой - впрочем, уже не очень юноша, 40 с небольшим лет, берется за свой карандаш - снова уточнять. Но в итоге с неизбежностью вышло, что излучать абсолютно черное тело должно излучать порциями. Как и любое излучение должно испускаться порциями. Квантами.

«Твою ж мать» - подумал 42-летний юнош. «Твою ж мать» - подумали физики. Всю теорфизику переделывать теперь.

Да, кстати, вьюноша звали Макс Планк. Уточнил на свою голову.

На фото: Макс Планк

и свежее видео перед сном, академик РАН, нейрофизиолог Константин Анохин про продвижки в теории сознания и мышления. Вопросы Анохину задаёт проф. Татьяна Черниговская, критический пересмотр современной (когнитивной и нейро-) науки:

https://www.youtube.com/watch?v=xE3cRjERJUc

🧬 🧠💥 Что общего между эволюцией жизни, развитием Вселенной, неравновесной термодинамикой и нейросетями?

Интересные работы на стыке теории эволюции, физики и глубокого обучения, выполненные до начала масштабной экспансии нейросетей в 2022 году. Авторы предлагают рассматривать биологическую и космологическую эволюции как формы многоуровневого обучения.

🔗 Первая статья вводит ключевую идею:
эффективная эволюция требует наличия нескольких уровней обучаемости, где переменные на каждом уровне изменяются с различной скоростью, а между уровнями — существенные временные и структурные «разрывы», обеспечивающие стабильность и долговременную память. Это формализуется через аналогию с перенормировкой в физике: одни и те же принципы работают на разных масштабах.

💡Интересно, что нечто подобное мы наблюдаем и в современных искусственных нейросетях. Многоуровневая структура обучения возникает в них естественным образом: от слоёв с быстрыми обновлениями параметров до более инерционных механизмов, взаимодействующих между собой. Такое поведение подтверждает, что многоуровневое обучение — не просто абстрактная модель, а фундаментальный механизм, реализующийся и в естественных, и в искусственных системах.

🔗 Во второй статье развитие трактуется в терминах термодинамики: ключевые переходы в эволюции (origin of life, переход к многоклеточности и др.) — это фазовые переходы в физическом смысле. Такая интерпретация позволяет строго описывать эти события в рамках известных физических теорий.

💡 И здесь тоже есть интересный отклик в мире искусственных нейросетей. При обучении больших моделей часто наблюдаются нелинейные качественные скачки в поведении — когда, например, после определённого количества параметров или данных модель внезапно начинает "понимать" абстрактные связи, и появляются способности, которых раньше не было вовсе. Это очень напоминает фазовые переходы: небольшое внешнее изменение (масштаб, температура, давление — или число параметров/сложность данных) вызывает качественный сдвиг во внутренней организации системы.

Такие "эмерджентные свойства" больших моделей — вроде возникновения логических или пространственных представлений — можно рассматривать как аналог крупных эволюционных скачков, описанных в биологии: появление многоклеточности, языка, сознания.

Цитата:

"Для того, чтобы происходило эффективное обучение и формирование этих сложных систем, необходимо, чтобы было более одного уровня обучения (в реальности — более двух), и они бы взаимодействовали друг с другом, при этом соответствующие переменные менялись бы с разной скоростью. Более того, мы показываем, что эти уровни обучения и эволюции должны быть дискретными — между ними должны быть большие промежутки для того, чтобы система оставалась стабильной во времени, могла эволюционировать в течение длительных периодов и сохраняла бы долговременную память.

Всё это тесно связано с фундаментальным понятием в физике, которое называется перенормировкой. Суть его состоит в том, что процессы, протекающие на разных уровнях организаций, описываются одной и той же математикой. Это принципиальный момент, относящийся ко всем обучающимся и эволюционирующим системам.

Во второй работе мы рассматриваем всё это с точки зрения термодинамики и, в частности, описываем процесс основных переходов в эволюции (The Major Transitions in Evolution) — возникновение жизни, многоклеточных организмов и др. — как фазовые переходы в строгом смысле этого слова. И такие переходы, естественно, описываются в рамках термодинамической теории.

Кроме этого, стоило бы сказать, что в рамках теории многоуровневого обучения мы выводим то, что называется центральной догмой молекулярной биологии: информация передается от генома к фенотипу, от нуклеиновых кислот к белкам, а обратное движение происходит другими путями (за счет случайной изменчивости и селекции) и не является обращением процесса передачи информации от генома к фенотипу. Мы же выводим центральную догму как общий принцип обучающихся эволюционирующих систем.
"

🧠 Функции мозга и искусственный интеллект: чему искусственным нейросетиям ещё предстоит научиться?

Современные ИИ-системы, такие как большие языковые модели и автономные агенты на их основе, уже умеют много: понимать речь, распознавать изображения, планировать действия. Но что, если сравнить их с человеческим мозгом? 🤔

В этой статье, кроме прочего, обзор/сравнение между отделами мозга и текущим уровнем развития искусственных нейросетей.

Получилось 3 уровня:

🔹 Уровень 1 (L1) — уже хорошо реализовано в искусственных нейросетях: визуальное восприятие, речь, слух.
🔸 Уровень 2 (L2) — частично реализовано: планирование, внимание, пространственная ориентация.
🔴 Уровень 3 (L3) — почти не изучено: эмоции, мотивация, самоосознание, эмпатия.

📌 Особенно мало искусственные неросети понимают пока что про эмоции, интуицию и мотивацию — это функции лимбической системы, с которой в ИИ всё ещё очень сложно.

более детально в следующем сообщении 👇👇👇

#LLM #AI #AIAgents #Brain

🔹 Лобная доля — «директор» мозга
Это центр мышления, контроля и самосознания.
✔️ Что ИИ уже умеет:
планирование и принятие решений (L2) — как в шахматах или логистике;
логическое мышление и рабочая память (L2) — реализовано в трансформерах, таких как GPT.
⚠️ А вот что пока плохо реализовано:
самосознание (L3), когнитивная гибкость (L3), торможение импульсов (L3).
ИИ всё ещё не способен по-настоящему «понимать себя» или менять поведение вне заранее заданных сценариев. Эти функции пока находятся за пределами машинного интеллекта.

🔸 Теменная доля — ориентация и внимание
Интеграция ощущений и работа с пространством.
✔️ Частично реализовано в роботах и навигации (SLAM): внимание, ориентация, координация (L2).
❗️Но детальная тактильная чувствительность (L3) и слияние разных сенсорных каналов пока — слабое место ИИ.

🔹 Затылочная доля — зрение
ИИ здесь почти на уровне человека!
✔️ Распознавание объектов, лиц, сцен — (L1) реализовано в глубинных нейросетях.
⚠️ Но контекстное понимание сцены и абстрактное визуальное мышление (L2) — пока лишь в разработке.

🔸 Височная доля — язык, слух и память
Именно здесь у нас живёт понимание речи и воспоминания.
✔️ ИИ умеет понимать и генерировать язык (L1), в том числе с речью.
⚠️ Но долговременная память, обучение на протяжении всей жизни (L2), а также глубинное семантическое понимание — всё ещё в разработке. Часто ИИ «забывает» старое, когда учится новому — это называется катастрофическим забыванием.

🔹 Мозжечок — координация и моторика
ИИ в робототехнике уже кое-что умеет:
✔️ Обучение навыкам и координация движений (L2) — реализуются через RL и метаобучение.
⚠️ Но адаптация в реальном времени и предсказание действий (L3) пока остаются сложной задачей.

🔸 Ствол мозга — автоматические реакции
✔️ ИИ умеет реагировать — например, экстренное торможение в авто (L1).
⚠️ Но автономная регуляция (сон, бодрствование, арousal-состояния — L3) ему пока недоступна. Это слишком «живые» и биологически встроенные функции.

❤️ Лимбическая система — эмоции, мотивация, эмпатия
Здесь ИИ пока в самом начале пути:
✔️ ИИ умеет обучаться на вознаграждении (L2), как в играх.
⚠️ Но эмоции, стресс, мотивация, эмпатия (L3) — это пока terra incognita. Тут встают не только технические, но и этические вопросы: можно ли машине «чувствовать» и стоит ли это развивать?

🎯 Зачем всё это? Не чтобы скопировать мозг человека, а чтобы вдохновиться его модульностью и интеграцией. Мозг — это сеть взаимосвязанных подсистем: восприятие, память, эмоции, логика работают вместе

#LLM #AI #AIAgents #Brain

Рекуррентность vs. Самовнимание:
Битва за обладание разумом
или
Эволюция обработки последовательностей 🤯

В классических рекуррентных нейросетях обработка текста или других последовательностей происходит шаг за шагом. На каждом этапе обучения модель учитывает текущее слово и внутреннее состояние, переданное с предыдущего шага. Это похоже на краткосрочную память: чтобы понять текущее слово, нужно помнить, что было до этого.

Такой подход рабочий, но плохо масштабируется:
-сложно учитывать дальние связи,
-обучение затруднено,
-обработка — строго последовательная и медленная.

Self-Attention, предложенный в архитектуре Transformer, — принципиально другой подход.
Здесь каждый элемент «смотрит» на все остальные в последовательности одновременно.
Модель сама решает, что важно, и распределяет внимание по всей цепочке.

👇Это позволяет:
➡️ учитывать длинные зависимости,
➡️ обучаться параллельно,
➡️ достигать высокой точности.

#AI #ML #Transformers #RNN #LLM #Нейросети #Attention

🧠 Если сравнивать с мозгом:
Рекуррентность — это последовательное мышление: пересказ истории по порядку.
Self-Attention — стратегическое мышление: ты сразу держишь в голове всю картину.

📌 Именно Self-attention стал основой моделей вроде GPT, BERT, T5 и других трансформеров.

А теперь немного образов:
Ты читаешь книгу.
Один герой что-то сказал на 3-й странице, а на 10-й про него снова упомянули.

🧓 Если ты обычный человек:

"Так, а кто это вообще был?.. Сейчас, ща вспомню..."
Это — рекуррентность. Как старенький дедушка из анекдота: читаешь по порядку, иногда забываешь, кто где и что делал 😅

🕵️ А если ты — Шерлок Холмс:

"Ага, он упомянул Лору, Лора была в 3-й главе с зонтом, а зонт фигурировал ещё в прологе!"
Это уже самовнимание (self-attention). Всё держишь в голове, всё связываешь — как гений.

🧠 Рекуррентность — как думать в строчку.
⚡️ Self-Attention — как видеть сразу всю карту мыслей.

📍 Поэтому трансформеры, основанные на Self-attention, заменили старые модели. Они мощнее, быстрее, умнее. Это как перейти с кнопочного телефона на нейро-iPhone.

А ты кто по жизни — RNN или трансформер? 😄

#AI #ML #Transformers #RNN #LLM #Нейросети

В вчерашнем опросе, что бы вы хотели вместе обсудить на следующем лайв-стриме, довольно много людей (в процентном соотношении) попросило на один из следующих стримов в формате живой дискуссии теоретическую тему: многомерные пространства эмбеддингов и многообразия в них.

Напишу сюда уже шо это такое.

🧠 Обзор: Что такое «геометрия эмбеддингов» и зачем это важно?

Геометрия эмбеддингов — это изучение того, как представления (вектора) слов, предложений или текстов структурированы в многомерном пространстве, которое создаёт языковая модель (например, BERT или GPT). Это включает:

💧Метрические свойства: расстояния между векторами, углы, плотность и распределение.
💧Линейные свойства: наличие линейных отношений, таких как аналогии.
💧Изменения по слоям: как трансформируется представление от слоя к слою модели.
💧Роль позиционного кодирования и архитектуры внимания в формировании этих представлений.

Глубокое понимание этой геометрии помогает:
- выявлять слабости и предвзятости модели,
- улучшать интерпретируемость,
- адаптировать модель к downstream-задачам.

В принципе это то, с чего я и планировал начать стрим на очень простых примерах, но глубокое изучении многомерных (дискретных) многообразий эмбеддингов - это отдельная тема.

Сохраню тут подборку литературы по этой теме, чтобы не потерять 👇👇👇

📚 Подборка ключевых исследований

1. Zi Yin and Yuanyuan Shen (2108). On the Dimensionality of Word Embedding
🔗 PDF
🔍 Обьясняет оптимальный выбор размерностей эмбеддингов

2. Ethayarajh, K. (2019). How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT.
ACL 2019
🔗 PDF
🔍 Исследуется анизотропность эмбеддингов: они концентрируются в узком подпространстве. В частности, автор показывает, что представления BERT становятся менее контекстуализированными на более глубоких слоях.

3. Mickus, T., & Wauquier, L. (2020). What do you mean, BERT? Assessing BERT embeddings with frequency and syntactic distribution.
LREC 2020
🔗 PDF
🔍 Анализирует влияние синтаксиса и частотности на геометрию BERT-эмбеддингов.

3. Kovaleva, O., Romanov, A., Rogers, A., & Rumshisky, A. (2019). Revealing the Dark Secrets of BERT.
EMNLP 2019
🔗 PDF
🔍 Метаанализ активаций слоёв и внимания в BERT. Обнаружено, что некоторые головы внимания избыточны и не вносят значимый вклад.

4. Gao, L., et al. (2021). SimCSE: Simple Contrastive Learning of Sentence Embeddings.
EMNLP 2021
🔗 PDF
🔍 Один из ключевых подходов к улучшению геометрии эмбеддингов — контрастивное обучение. SimCSE делает эмбеддинги более изотропными, облегчая использование в downstream-задачах.

5. Reif, E., et al. (2019). Visualizing and Measuring the Geometry of BERT.
NeurIPS Workshop
🔗 PDF
🔍 Один из первых визуальных анализов внутренних представлений BERT. Используются PCA и центроидный анализ.

6. Durrani, N., et al. (2021). Analyzing Individual Neurons in Transformers.
ACL 2021
🔗 PDF
🔍 Вклад отдельных нейронов в формирование семантической геометрии.

7.Mary Phuong, et l. (2021). Understanding the Geometry of Knowledge Distillation.
ICLR 2021
🔗 PDF
🔍 Исследуется, как дистилляция влияет на геометрию скрытого пространства. Модели-ученики могут иметь совершенно иные структуры.

📌 Геометрия эмбеддингов — это не просто визуализация точек в пространстве, а важный аспект интерпретируемости, эффективности и надёжности современных трансформеров. Последние исследования показывают, что:

🍒 Эмбеддинги BERT часто анизотропны;
🍒 Контекстуализация сильно зависит от слоя и позиции токена;
🍒 Есть способы улучшения геометрии (SimCSE, dynaEval, Linear Probing);
🍒 Новые модели (LLM) требуют ещё более глубокого анализа из-за огромного числа параметров.

#LLM #Transformers #Embeddings #TransofermersGeometry

Чарльз Доджсон, более известный как Льюис Кэрролл, увлекался математикой с детства. В отличие от сверстников, для которых цифры были скучными, он видел в них увлекательную игру. В своей книге «История с узелками» он искусно вплетал математические задачи, чтобы развлечь и, возможно, чему-то научить читателей.

Кэрролл был не только писателем, но и изобретателем. Ему приписывают создание книжной суперобложки, дорожных шахмат, трехколесного велосипеда, электрической ручки и системы для запоминания имен и дат. Также он придумал никтографию — метод письма в темноте. Для этого он изобрел специальную карточку с сеткой из 16 отверстий, через которые наносились символы с помощью точек и штрихов, всегда начиная с точки в левом верхнем углу.

Это изобретение было особенно полезно для Кэрролла, поскольку он страдал бессонницей. Чтобы отвлечься от тревожных мыслей и заснуть, он придумывал математические головоломки и сам их решал. Так появился его сборник «Полуночные задачи», включающий 72 задачи по тригонометрии, алгебре и геометрии.

🕵️ План на следующие лайв-стримы примерно такие, если кому интересно:

1) Я покажу какие-то интересные примеры с кодом чего могут достигать маленькие нейросети, сделаю введениe

2) Нейробилоги расскажут как они это видят (@Sauforn, @lebedevmikhaila вы как, есть время в воскресенье, когда?)

3) @RealOsteo, интересно было бы и из твоей медицинской практики услышать фидбек к этим темам. когда у тебя есть время?

4) @felixg_haifa, с точки зрения социальных наук на это посмотреть тоже очень интересно. когда у тебя есть время?

5) Если чистые, а не прикладные математики присоединятся - будет вообще круто @Empty_Universum, @mathinggoesinsane

6) Свободная дискуссия
🕵️

И снова новости то ли спорта, то ли бизнеса, то ли шоу-бизнеса👇👇👇

Какие новости, коллеги! Мы удивлены! (нет)

Абсолютный чемпион мира в полутяжелом весе Дмитрий Бивол уведомил WBC об отказе от чемпионского пояса в связи с обязательством провести третий бой против Артура Бетербиева и невозможностью провести обязательную защиту против Дэвида Бенавидеса.

Представители Бивола направили письмо WBC:

«Всем в боксе известно, что есть обязательство по третьему бою с Артуром Бетербиевым… мы работаем над проведением этого боя, — сообщил представитель Бивола Пэт Инглиш в письме WBC, которое цитирует The Ring. — Кроме того, мы обеспокоены неспособностью рейтинговых организаций придерживаться системы ротации [обязательных защит по разным версиям], созданной много лет назад. Вам известно, что у IBF были основания требовать следующей обязательной защиты от Бивола».

Глава WBC Маурисио Сулейман сообщил в соцсетях:

«Я получил холодное и обезличенное уведомление от представителя Дмитрия Бивола Пэта Инглиша с аргументами настолько абсурдными, что я предпочту их не обсуждать, о том, что Дмитрий Бивол решил отказаться от титула чемпиона WBC в полутяжелом весе. Мы желаем Биволу успеха и настоящим подтверждаем, что Дэвид Бенавидес является чемпионом WBC в полутяжелом весе», — написал Сулейман.

Когда не хочешь обсуждать аргументы — нужно назвать их абсурдными, всего-то делов. Надо запомнить на случай важных переговоров.

Но напомним хронологию:

После победы в реванше над Бетербиевым в феврале Бивол получил статус абсолютного чемпиона в полутяжелом весе, включая титул WBC.

Уже в марте Турки Аль аш-Шейх, глава Riyadh Season, организовавший первые два боя Бивол-Бетербиев, обеспечив им рекордные гонорары, объявил, что не заинтересован в поединке Бивол-Бенавидес, раскритиковав WBC за давление на боксера: «Бивол знает, кто его предал, а кто остался с ним».

Несмотря на это WBC потребовал от Бивола провести обязательную защиту против Дэвида Бенавидеса (30-0, 24 КО) и назначил дату торгов на 8 апреля, игнорируя не только слова Турки о третьем бое, но и систему ротации обязательных защит. По правилам, Бивол сначала должен был встретиться с претендентами IBF (Михаэль Айферт), который давно ждет, и WBO (Каллум Смит).

Итог: команда Бивола назвала требования WBC «нелепыми» и отказалась от пояса.

Если у кого-то из коллег на этом месте возникнет чувство, что WBC действует в рамках жестких правил, то спешим вас удивить, сказав, что никаких правил у них, конечно, нет, а решения продиктованы сугубо финансовыми интересами, а не спортивной справедливостью.

В подтверждение небольшая историческая справка, как один боксер их по миру не пустил (жаль, что не стал):

В 1998 году немецкий боксер Грациано Рокиджани выиграл бой за вакантный титул WBC в полутяжелом весе, победив Майкла Нанна. Однако WBC аннулировал его чемпионский статус, когда предыдущий чемпион Рой Джонс, ранее отказавшийся от пояса, решил вернуться в категорию. Организация восстановила Джонса в статусе чемпиона, лишив Рокиджани прав на титул без внятного объяснения.

WBC попыталась оправдать свои действия, заявив, что Рокиджани выиграл лишь «временный» титул, хотя официальные документы подтверждали полноценный чемпионский статус. Рокиджани, имевший репутацию «неудобного» боксера с буйным характером, подал иск в суд Нью-Йорка, обвинив организацию в нарушении договорных обязательств.

В 2002 году суд, раскусив схему, обязал WBC выплатить Рокиджани $31 млн, но WBC был бы не WBC, не заявив, что они — некоммерческая организация и таких денег у них нет.

В 2004 году WBC объявил о банкротстве, так как не смог выплатить требуемую сумму. Организация предложила Рокиджани компромисс: 100–250 тыс. в течение 20 лет, но тот отказался.

В итоге стороны достигли договоренности, позволившей WBC избежать ликвидации. Точные условия не раскрывались, но, по некоторым данным, Рокиджани получил около $4 млн, а организация сохранила структуру и рейтинги, сменив штаб-квартиру.

Дело Рокиджани стало символом коррупции и непрозрачности в боксерских организациях.

С тех пор, как мы видим, если что и изменилось, то в худшую сторону, поэтому столько времени и говорим про полный демонтаж

🧠 Может ли человеческий мозг быть супер-Тьюринг-машиной?

Это один из самых захватывающих вопросов на стыке нейронаук и теории вычислений. Классические компьютеры ограничены моделью Тьюринга — любой алгоритм, который можно реализовать, подчиняется её правилам. Но что, если мозг способен на большее?

📌 Что такое модель Тьюринга (простыми словами):
Это математическая идея, которая описывает всё, что можно вычислить на любом компьютере — неважно, насколько он мощный или современный.
Если задачу можно формализовать как алгоритм, её можно решить в рамках модели Тьюринга. Это как фундамент всех программ и цифровых вычислений.

🧠 Но вот главный вопрос:
А может ли человеческий мозг решать задачи, которые невозможно выразить как алгоритм, т.е. которые нерешаемы в моделе Тьюринга?
Может ли он быть сильнее, чем любая возможная программа или компьютер?

📌 Хава Зигельман (Hava T. Siegelmann) предложила модель нейронных сетей, которые при использовании вещественных (реальных) весов могут решать задачи, не поддающиеся алгоритмизации. Это явление называется супер-Тьюринговыми вычислениями.

💡 Ключевой момент: предполагается, что мозг благодаря своей аналоговости оперирует вещественными числами с бесконечной точностью. Тогда да, тогда мозг может быть супер-Тьюринговым (но это необходимое условие, а не достаточное).

🔍 В научном сообществе идут активные споры:

💡 Сторонники утверждают:

- Мозг обрабатывает информацию непрерывно/аналогово, посему может выполнять вычисления над вещественными числами с бесконечной точностью.
- Реальные нейронные сети могут реализовать более мощные модели, чем цифровые алгоритмы.
- Супер-Тьюринг-сети приближают нас к пониманию настоящего мышления.

⚠️ Скептики возражают:

- Вещественные числа нельзя физически представить с бесконечной точностью.
- Мозг работает в условиях шума и ограниченности.
- Пока нет доказательств, что биология способна выйти за пределы модели Тьюринга.

📚 Если интересно глубже — вот несколько ключевых работ:

Siegelmann (2003): Нейронные и супер-Тьюринговые вычисления
Wiedermann (2012): Аргумент против сверхинтеллекта
Cabessa & Siegelmann (2014): Супер-Тьюринг нейронные сети

🧩 Вывод:
Если мозг действительно способен на супер-Тьюринговые вычисления — это может полностью изменить наши представления о разуме и искусственном интеллекте. Но пока это — гипотеза, ожидающая доказательств.

✍️ А вы что думаете? Можем ли мы мыслить за пределами алгоритмов?

✍️ пару выдержек из этих работ оставлю в комментариях, чтобы не потерять

#Computation #Computability #Complexity #Turing #Brain

@easy_about_complex

🧠 Есть и другой смысл в невычислимости по Тьюрингу…

Когда говорят, что задача неразрешима по Тьюрингу, часто представляют себе нечто абсолютно непостижимое. Но на самом деле речь идёт не об одной задаче, а о целых классах задач.

⚠️ Например, говорят: "Проблема остановки неразрешима."
Что это значит?

💡 Что такое проблема остановки?
Допустим, у нас есть любая программа и входные данные. Вопрос:
📍 Остановится ли программа, или будет работать вечно?

Звучит просто. Но Тьюринг доказал, что не существует универсального алгоритма, который сможет дать правильный ответ для всех возможных программ и входов.

⚠️ Нюанс: это не значит, что все случаи неразрешимы!
- Есть много программ, для которых можно сказать, остановятся они или нет.
- Есть даже целые подмножества, где эта задача решается легко(например, программа без циклов).

👉 Невычислимость — это свойство класса, а не каждого конкретного случая. То есть не существует одного алгоритма, который сработает всегда.

🧠 И вот в чём суть:
Может ли мозг решать задачи по одной, интуитивно, без универсального алгоритма?
Если да — может ли он выйти за пределы Тьюринга?

Отмечу, что человек решает конкретные задачи из классов, которые невычислимы по Тьюрингу...

Интересно? Глубже разберём в следующих постах.

#Computation #Computability #Complexity #Turing #Brain

🎙️ СТРИМ / ДИСКУССИЯ — это воскресенье!

📅 Когда:
🕐 Воскресенье, 13:00 по Центральноевропейскому времени
🕑 (14:00 по Москве)

📌 Формат:
Неформальная дискуссия об искусственных и естественных нейросетях — от больших языковых моделей до нейрофизиологии мозга. Всё зависит от того, кто придёт и какие темы захочет поднять.

💡 Планирую короткое вводное (буквально на 10–20 минут):
- как работают большие языковые модели (LLM),
- что такое эмбеддинги и механизмы самовнимания,
- интерпретируемость в нейросетях.

Дальнейшие темы, которые мы попробуем обсудить в разумных временных рамках на стрим 🧠⚡️🤖

Нейроны: биология vs кремний.
Сравним, как кодируется и обрабатывается информация в мозге и в искусственных нейросетях (ИНС). Так ли важно точное моделирование биологических нейронов?

Алгоритмы обучения: от синапса до сети.
Как мозг учится на уровне связей (Хебб, STDP) и как это соотносится с Backpropagation? Заглянем в биоправдоподобные подходы вроде Predictive Coding и Energy-Based Models.

Мозг vs ИИ: общая картина.
Разберем ключевые различия: скорость обучения, память (привет, гиппокамп!), катастрофическое забывание и архитектура сетей.

Модели, вдохновленные мозгом.
От классики CNN до современных Трансформеров и Reinforcement Learning – как ИИ "подсматривает" за природой?

На пути к AGI.
Какие вызовы стоят перед созданием ИИ уровня мозга? Роль Meta-Learning, World Models, иерархического RL и online-обучения.

Сознание у ИИ?
Самый сложный вопрос: может ли ИИ, особенно LLM, обрести сознание? Поговорим об аргументах, ограничениях и философии.

Ожидаемый уровень аудитории:
от специалистов до всех интересующихся. Разговор будет идти на уровне общих неформальных идей.

🎥 Трансляци в канале, вверху будет кнопочка "Присоединиться к стриму"

📣 Приходи с вопросами, мыслями и интересом — будем думать вслух!