🧠 Может ли человеческий мозг быть супер-Тьюринг-машиной?

Это один из самых захватывающих вопросов на стыке нейронаук и теории вычислений. Классические компьютеры ограничены моделью Тьюринга — любой алгоритм, который можно реализовать, подчиняется её правилам. Но что, если мозг способен на большее?

📌 Что такое модель Тьюринга (простыми словами):
Это математическая идея, которая описывает всё, что можно вычислить на любом компьютере — неважно, насколько он мощный или современный.
Если задачу можно формализовать как алгоритм, её можно решить в рамках модели Тьюринга. Это как фундамент всех программ и цифровых вычислений.

🧠 Но вот главный вопрос:
А может ли человеческий мозг решать задачи, которые невозможно выразить как алгоритм, т.е. которые нерешаемы в моделе Тьюринга?
Может ли он быть сильнее, чем любая возможная программа или компьютер?

📌 Хава Зигельман (Hava T. Siegelmann) предложила модель нейронных сетей, которые при использовании вещественных (реальных) весов могут решать задачи, не поддающиеся алгоритмизации. Это явление называется супер-Тьюринговыми вычислениями.

💡 Ключевой момент: предполагается, что мозг благодаря своей аналоговости оперирует вещественными числами с бесконечной точностью. Тогда да, тогда мозг может быть супер-Тьюринговым (но это необходимое условие, а не достаточное).

🔍 В научном сообществе идут активные споры:

💡 Сторонники утверждают:

- Мозг обрабатывает информацию непрерывно/аналогово, посему может выполнять вычисления над вещественными числами с бесконечной точностью.
- Реальные нейронные сети могут реализовать более мощные модели, чем цифровые алгоритмы.
- Супер-Тьюринг-сети приближают нас к пониманию настоящего мышления.

⚠️ Скептики возражают:

- Вещественные числа нельзя физически представить с бесконечной точностью.
- Мозг работает в условиях шума и ограниченности.
- Пока нет доказательств, что биология способна выйти за пределы модели Тьюринга.

📚 Если интересно глубже — вот несколько ключевых работ:

Siegelmann (2003): Нейронные и супер-Тьюринговые вычисления
Wiedermann (2012): Аргумент против сверхинтеллекта
Cabessa & Siegelmann (2014): Супер-Тьюринг нейронные сети

🧩 Вывод:
Если мозг действительно способен на супер-Тьюринговые вычисления — это может полностью изменить наши представления о разуме и искусственном интеллекте. Но пока это — гипотеза, ожидающая доказательств.

✍️ А вы что думаете? Можем ли мы мыслить за пределами алгоритмов?

✍️ пару выдержек из этих работ оставлю в комментариях, чтобы не потерять

#Computation #Computability #Complexity #Turing #Brain

@easy_about_complex

🧠 Есть и другой смысл в невычислимости по Тьюрингу…

Когда говорят, что задача неразрешима по Тьюрингу, часто представляют себе нечто абсолютно непостижимое. Но на самом деле речь идёт не об одной задаче, а о целых классах задач.

⚠️ Например, говорят: "Проблема остановки неразрешима."
Что это значит?

💡 Что такое проблема остановки?
Допустим, у нас есть любая программа и входные данные. Вопрос:
📍 Остановится ли программа, или будет работать вечно?

Звучит просто. Но Тьюринг доказал, что не существует универсального алгоритма, который сможет дать правильный ответ для всех возможных программ и входов.

⚠️ Нюанс: это не значит, что все случаи неразрешимы!
- Есть много программ, для которых можно сказать, остановятся они или нет.
- Есть даже целые подмножества, где эта задача решается легко(например, программа без циклов).

👉 Невычислимость — это свойство класса, а не каждого конкретного случая. То есть не существует одного алгоритма, который сработает всегда.

🧠 И вот в чём суть:
Может ли мозг решать задачи по одной, интуитивно, без универсального алгоритма?
Если да — может ли он выйти за пределы Тьюринга?

Отмечу, что человек решает конкретные задачи из классов, которые невычислимы по Тьюрингу...

Интересно? Глубже разберём в следующих постах.

#Computation #Computability #Complexity #Turing #Brain

🎙️ СТРИМ / ДИСКУССИЯ — это воскресенье!

📅 Когда:
🕐 Воскресенье, 13:00 по Центральноевропейскому времени
🕑 (14:00 по Москве)

📌 Формат:
Неформальная дискуссия об искусственных и естественных нейросетях — от больших языковых моделей до нейрофизиологии мозга. Всё зависит от того, кто придёт и какие темы захочет поднять.

💡 Планирую короткое вводное (буквально на 10–20 минут):
- как работают большие языковые модели (LLM),
- что такое эмбеддинги и механизмы самовнимания,
- интерпретируемость в нейросетях.

Дальнейшие темы, которые мы попробуем обсудить в разумных временных рамках на стрим 🧠⚡️🤖

Нейроны: биология vs кремний.
Сравним, как кодируется и обрабатывается информация в мозге и в искусственных нейросетях (ИНС). Так ли важно точное моделирование биологических нейронов?

Алгоритмы обучения: от синапса до сети.
Как мозг учится на уровне связей (Хебб, STDP) и как это соотносится с Backpropagation? Заглянем в биоправдоподобные подходы вроде Predictive Coding и Energy-Based Models.

Мозг vs ИИ: общая картина.
Разберем ключевые различия: скорость обучения, память (привет, гиппокамп!), катастрофическое забывание и архитектура сетей.

Модели, вдохновленные мозгом.
От классики CNN до современных Трансформеров и Reinforcement Learning – как ИИ "подсматривает" за природой?

На пути к AGI.
Какие вызовы стоят перед созданием ИИ уровня мозга? Роль Meta-Learning, World Models, иерархического RL и online-обучения.

Сознание у ИИ?
Самый сложный вопрос: может ли ИИ, особенно LLM, обрести сознание? Поговорим об аргументах, ограничениях и философии.

Ожидаемый уровень аудитории:
от специалистов до всех интересующихся. Разговор будет идти на уровне общих неформальных идей.

🎥 Трансляци в канале, вверху будет кнопочка "Присоединиться к стриму"

📣 Приходи с вопросами, мыслями и интересом — будем думать вслух!

Перепост из чата по ML. Вырываю из контекста, поэтому объясню о чем речь - обсуждается свежая статья про интерпретируемость искусственных нейросетей, поиск структуры в работе сотен миллиардов нейронов 👇👇👇

Кстати, на стриме в это воскресенье предварительно планирую с помощью примеров кода моих экспериментов с этим подвести к тому а как же у нас в мозгу с интерпретируемостью работы нейросетей и дать слово людям, которые разбираются как работает естественный мозг

Это очередная крайне наивная попытка узнать "как нейросети работают внутри", еще лучше "какая же структура нейросети?"

Да никакая. Таких исследований ведется много, но все они кончаются обычно Эпик Фейлом и есть только элементы интерпретируемости при снижении размерности до 12 слоев с 60-100 слоев реальных GPT и измерений векторов до 500 с 10.000+ в реальных GPT. Просто в силу "зажатости" тут получается небольшая специализация у нейросети.
Тут такая же очередная ахинея с малышом как Gemma.

Даже не думайте, что крупная нейросеть как Gemini имеет хоть 0,1% того, что горе исследователи увидели в Gemma

Даже в малой нейросети в 12 слоев полифукнциональность бьет ключом и 95% головок внимания НЕ ИМЕЮТ закрепленной функции или смысла, а работают ВСЕ ВМЕСТЕ ПО ВСЕМ СЛОЯМ.

Принципиальную вещь которую нужно понять, что все такие исследования маргинальные. Для ученого очевидно, что крупные нейросети бесструктурные и искать там смысл элемента часто может идиот. Просто вычисление "размазывается" по всей нейросети. Также размазывается семантика вектора по всем измерениям и отдельные измерения векторов крупной нейросети не имеют интерпретаций.

Измерения крупной нейросети на деле имеют свойства как:
1. Ортогональность почти любого вектора "не имеющего отношения к делу" к текущему вектору, поэтому 10.000 измерений сделано для этого на деле - чтобы не было глюков корреляции и ложных срабатываний
2. Векторное пространство GPT позволяет линейным преобразованием в механизме внимания и нелинейным в перцептроне получить всегда новый вектора, т.е. если вектор V1 и V2 коррелируют, то можно сделать V3=перцептрон(a1*V1+a2*V2) Это упрощенно без SoftMax

Мне просто интересно когда даже до ученых-маргиналов наконец дойдет научный консенсус, что нейросети принципиально бесструктурные по природе и искать там функциональные части бесперспективно, а что видно на мелких нейросетках не видно вообще никак на крупных, где зажатия нет у GPT

История науки по-пацански. Выпуск 5: как срач привел к появлению науки. Часть первая.

Давным давно, в одной научной галактике… Не, правда очен-очень давно - четыре века назад - люди игрались со стеклом и придумали микроскоп. Точнее - со стеклами, отец и сын Янсены, которые делали очки, сложили вместе пару линз и сделали то, что увеличивало мелкие детали.

Потом микроскоп делали многие - тот же Галилей не только телескоп сотворил, но и микроскопами баловался (правда, слова такого не было, он называл его оккиолино - «глазок», но потом появились белорусы, картошка и глазки начали вырезать). Однако до британца Роберта Гука микроскопы считались баловством и были не очень популярны. Гук же стал рассматривать в микроскоп живое - все, что попадалось под руку, и описал это в своей книжке «Микрография».

Тогда это было сильно круче порносайтов, ибо секс тогда в Британии уже был, чай не СССР, а огромной блохи или вши, или кратеров Луны (Гук и телесопами баловался) - нет. Но для нас главное то, что Гук посмотрел в микроскоп и на обычную пробку. И увидел, шо и там жизнь - карцер или зоопарк, потому что все состоит из клеток (сеlla). Кстати, русское слово келья - однокоренное, ну а что за жизнь в монастыре.

Прошли годы. Много лет, почти двести. Три немца - сначала Маттиас Шлейден, ботаник и Теодор Шванн, гистолог, а затем и великий Рудольф Вирхов (который сначала произвел революцию в физиологии, а потом мешал другим это делать в медицине - гнобил Коха за его теорию инфекционных заболеваний) - придумали клеточную теорию. Типа, шо все живое состоит из клеток, и всякая клетка происходит от клетки. Вирусы, конечно, громко смеялись, когда услышали, но в целом это была мировая рррреволюция, как говорил товарищ Ленин. Пусть только в физиологии, но тоже хорошо - и главное, бескровно.

Но потом началась проблема с мозгом. Не, проблемы с мозгами были у многих и всегда, но вот с точки зрения клеточной теории возникла проблема: есть ли клетки и в мозге. Понятно, шо тогда современных учебников биологии не было, и слова «нейрон» никто не слышал. Другие клетки - глию - видели, Вирхов их и открыл, но кому они были интересны тогда. Это сейчас с них нейробиологи кипятком писают, но это - другая история. Но то, чем мы думаем - оно как? Там клетки есть? Казалось бы, в чем вопрос, какая тут может быть проблема

А проблема была такая. Мы сейчас, конечно, привыкли, к красивым картинкам конкурса Nikon Small World, конфокальной микроскопии и все такое. Но если вы сейчас возьмете ближнего своего, вскроете ему череп, вытащите мозг (не повторяйте это дома, это мысленный эксперимент), нарежете то, шо найдете под черепом на тонкие слайсы - как современный ученый работу по гранту РНФ на публикации в ку раз и ку два - и засунете под микроскоп - то вы нихрена такого красивого не увидите. Оно там все прозрачное почти, шо твоя инфузория-тапочка, только не движется. Видели самую первую зарисовку нейрона? Запятая и запятая. Или игольное ушко

Отсюда вопрос: а что там в мозге таки есть? Есть ли отдельные клетки, или все представляет одну сеть?

Был такой клевый итальянский чувак, Камилло Гольджи. Великий гистолог (и не только - например, он подтвердил, что малярия передается посредством комаров, а еще страдал комплексами - в смысле, увидел в микроскоп странную структуру в клетке, которую потом никто не видел и назвали ее комплексом Гольджи. Но потом выяснилось, шо все - лохи, а Гольджи - молодец, а комплекс или аппарат Гольджи нужен, чтоб вещества, синтезированные в эндоплазматическом ретикулуме выводить) догадался, шо если полить мозг бихроматом аммония и нитратом серебра, то в нейронах (которых тогда никто не знал) начинается великое бурление, они окрашиваются в черно-коричневый цвет - и ура - все видно. Назвали это все la reazione nera - «черная реакция». Знай, смотри себе одним глазом в микроскоп, другим - в рабочую тетрадь, и зарисовывай.

Казалось бы, должно было все разрешиться. Но - ученый это ж художник, и «я художник, я так вижу». И разразился великий срач на много лет. А потом - еще один. О них - во второй и третьей частях выпуска, поскольку это уже чуть другая история. И не одна.

На рисунках: Роберт Гук, его «Микрография» и рисунки из нее, Рудольф Вирхов, первое изображение нейрона, Камилло Гольджи и нейрон, окрашенный по его методу.

Не пропустите в это воскресенье! 👇👇👇

🎙️ СТРИМ / ДИСКУССИЯ — это воскресенье!

📅 Когда:
🕐 Воскресенье, 13:00 по Центральноевропейскому времени
🕑 (14:00 по Москве)

📌 Формат:
Неформальная дискуссия об искусственных и естественных нейросетях — от больших языковых моделей до нейрофизиологии мозга. Всё зависит от того, кто придёт и какие темы захочет поднять.

💡 Планирую короткое вводное (буквально на 10–20 минут):
- как работают большие языковые модели (LLM),
- что такое эмбеддинги и механизмы самовнимания,
- интерпретируемость в нейросетях.

Дальнейшие темы, которые мы попробуем обсудить или хотя бы затронуть совместно с нейробиологами и специалистами по ИИ (в разумных временных рамках на стрим) 🧠⚡️🤖

Нейроны: биология vs кремний.
Сравним, как кодируется и обрабатывается информация в мозге и в искусственных нейросетях (ИНС). Так ли важно точное моделирование биологических нейронов?

Алгоритмы обучения: от синапса до сети.
Как мозг учится на уровне связей (Хебб, STDP) и как это соотносится с Backpropagation? Заглянем в биоправдоподобные подходы вроде Predictive Coding и Energy-Based Models.

Мозг vs ИИ: общая картина. Разберем ключевые различия: скорость обучения, память (привет, гиппокамп!), катастрофическое забывание и архитектура сетей.

Модели, вдохновленные мозгом.
От классики CNN до современных Трансформеров и Reinforcement Learning – как ИИ "подсматривает" за природой?

На пути к AGI.
Какие вызовы стоят перед созданием ИИ уровня мозга? Роль Meta-Learning, World Models, иерархического RL и online-обучения.

Сознание у ИИ?
Самый сложный вопрос: может ли ИИ, особенно LLM, обрести сознание? Поговорим об аргументах, ограничениях и философии.

Ожидаемый уровень аудитории:
от специалистов до всех интересующихся. Разговор будет идти на уровне общих неформальных идей.

🎥 Трансляци в канале, вверху будет кнопочка "Присоединиться к стриму"

📣 Приходи с вопросами, мыслями и интересом — будем думать вслух!

🧠 Как впихнуть нейросеть в тостер — квантизация

Короче, нейросети огромные, а памяти мало, грустно.

Чтобы всё это хоть как-то работало на обычных устройствах, придумали квантизацию — берём большие весёлые 32-битные числа и сжимаем их до унылых 4-8 бит.

Типа была модель на стероидах — стала на диете. Если подходить к этому с умом, то работает почти так же, зато влезает в память.

📚 Классный визуальный гайд по теме — прям с картинками и всё понятно:
👉 https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-quantization


#LLM #Transformer #Quantization #Efficiency