А как вы планируете свои выходные? Успеваете за выходные реализовать все задуманное?

У меня на эти выходные были наполеоновские планы. Хотел сделать две вещи:

1) дообучить большую языковую модель (нейросеть) на дигитализированных психологических тестах и проверить утверждение авторов статьи о том, что, как только модель дообучается на поведении человека, а не на текстах, написанных людьми, нейронная активность этой искусственной сети начинает походить на нейронную активность человеческого мозга — как её показывает магнитно-резонансная томография:

https://marcelbinz.github.io/imgs/Centaur__preprint_.pdf

2) прочитать и разобраться со статьей о нейронных и сверх-Тьюринговых вычислениях:

https://www.researchgate.net/publication/226092479_Neural_and_Super-Turing_Computing

В итоге не успел ничего. Затык произошёл на первом пункте: открытая модель LLaMA с 70 миллиардами обучаемых параметров (синапсов) просто не поместилась в 32 гигабайта оперативной памяти на моём ноуте. Авторы, конечно, писали, что нужно 160 ГБ, но кто же читает документацию? 😅 Чтение документации — для слабаков! Ну что ж, возьму модель поменьше на следующие выходные.

P.S. Если у кого-то сложилось впечатление, что я разбираюсь в нейросетях и искусственном интеллекте — это ошибочно. Я только начал интересоваться и просто пробую «поиграться» с этими новомодными игрушками.

P.P.S. Может кто знает: а разве современные операционные системы не виртуализируют память? Ведь 160 ГБ можно адресовать в 64-битном адресном пространстве. Понятно, что будет медленно, и, возможно, я сейчас жёстко туплю, но я всю жизнь исходил из того, что всё, что требует памяти, адресуемой 64 битами, можно запустить на Windows или macOS?

#LLM #Turing #Computation

🧠 Может ли человеческий мозг быть супер-Тьюринг-машиной?

Это один из самых захватывающих вопросов на стыке нейронаук и теории вычислений. Классические компьютеры ограничены моделью Тьюринга — любой алгоритм, который можно реализовать, подчиняется её правилам. Но что, если мозг способен на большее?

📌 Что такое модель Тьюринга (простыми словами):
Это математическая идея, которая описывает всё, что можно вычислить на любом компьютере — неважно, насколько он мощный или современный.
Если задачу можно формализовать как алгоритм, её можно решить в рамках модели Тьюринга. Это как фундамент всех программ и цифровых вычислений.

🧠 Но вот главный вопрос:
А может ли человеческий мозг решать задачи, которые невозможно выразить как алгоритм, т.е. которые нерешаемы в моделе Тьюринга?
Может ли он быть сильнее, чем любая возможная программа или компьютер?

📌 Хава Зигельман (Hava T. Siegelmann) предложила модель нейронных сетей, которые при использовании вещественных (реальных) весов могут решать задачи, не поддающиеся алгоритмизации. Это явление называется супер-Тьюринговыми вычислениями.

💡 Ключевой момент: предполагается, что мозг благодаря своей аналоговости оперирует вещественными числами с бесконечной точностью. Тогда да, тогда мозг может быть супер-Тьюринговым (но это необходимое условие, а не достаточное).

🔍 В научном сообществе идут активные споры:

💡 Сторонники утверждают:

- Мозг обрабатывает информацию непрерывно/аналогово, посему может выполнять вычисления над вещественными числами с бесконечной точностью.
- Реальные нейронные сети могут реализовать более мощные модели, чем цифровые алгоритмы.
- Супер-Тьюринг-сети приближают нас к пониманию настоящего мышления.

⚠️ Скептики возражают:

- Вещественные числа нельзя физически представить с бесконечной точностью.
- Мозг работает в условиях шума и ограниченности.
- Пока нет доказательств, что биология способна выйти за пределы модели Тьюринга.

📚 Если интересно глубже — вот несколько ключевых работ:

Siegelmann (2003): Нейронные и супер-Тьюринговые вычисления
Wiedermann (2012): Аргумент против сверхинтеллекта
Cabessa & Siegelmann (2014): Супер-Тьюринг нейронные сети

🧩 Вывод:
Если мозг действительно способен на супер-Тьюринговые вычисления — это может полностью изменить наши представления о разуме и искусственном интеллекте. Но пока это — гипотеза, ожидающая доказательств.

✍️ А вы что думаете? Можем ли мы мыслить за пределами алгоритмов?

✍️ пару выдержек из этих работ оставлю в комментариях, чтобы не потерять

#Computation #Computability #Complexity #Turing #Brain

@easy_about_complex

🧠 Есть и другой смысл в невычислимости по Тьюрингу…

Когда говорят, что задача неразрешима по Тьюрингу, часто представляют себе нечто абсолютно непостижимое. Но на самом деле речь идёт не об одной задаче, а о целых классах задач.

⚠️ Например, говорят: "Проблема остановки неразрешима."
Что это значит?

💡 Что такое проблема остановки?
Допустим, у нас есть любая программа и входные данные. Вопрос:
📍 Остановится ли программа, или будет работать вечно?

Звучит просто. Но Тьюринг доказал, что не существует универсального алгоритма, который сможет дать правильный ответ для всех возможных программ и входов.

⚠️ Нюанс: это не значит, что все случаи неразрешимы!
- Есть много программ, для которых можно сказать, остановятся они или нет.
- Есть даже целые подмножества, где эта задача решается легко(например, программа без циклов).

👉 Невычислимость — это свойство класса, а не каждого конкретного случая. То есть не существует одного алгоритма, который сработает всегда.

🧠 И вот в чём суть:
Может ли мозг решать задачи по одной, интуитивно, без универсального алгоритма?
Если да — может ли он выйти за пределы Тьюринга?

Отмечу, что человек решает конкретные задачи из классов, которые невычислимы по Тьюрингу...

Интересно? Глубже разберём в следующих постах.

#Computation #Computability #Complexity #Turing #Brain