👆👆👆

Все любят гадать, каким будет искусственный интеллект через 5, 10 или 50 лет. вверху 👆👆👆, например, любопытный и в тоже время довольно устрашающий прогноз от очень крутых чуваков — что думаете?

И, кстати, посмотрите, кто авторы прогноза.

Я, кстати, не считаю его совсем уж оторванным от реальности. Посмотрите, что происходит: гонка за электроэнергию, безумные инвестиции в дата-центры, битва за вычислительные мощности. Всё это — признаки масштабных перемен, о которых я уже писал в денежных оценках (ссылка 👈👇).

Но какими бы глобальными ни были эти процессы, в ближайшее воскресенье мы займёмся чем-то не менее интересным — будем заглядывать в мозг ИИ на стриме. Присоединяйтесь! 🚀

Кто из Мюнхена: завтра в 11:00 тренируемся на спортплощадке возле Изара. Кто хочет прийти - пишите в личку или в комментарии

https://maps.app.goo.gl/QaymUV67JiTDcqGS9

#Munich #Sport #Boxing

Был сегодня на Дне балканской культуры в Мюнхене.

Очень круто было там всё организовано и устроено!

Меня туда пригласили, так как я пол года назад писал статью про ИИ в искусстве для хорватско-словенского журнала по культуре.

Сегодня обсудили планы дальнейшего международного сотрудничества и, главное, меня там вкусно накормили. Ибо культура - это здорово, но обед по расписанию 🤣 🤣

#Munich #Balkan #Culture

Напоминаю, сегодня в 18:00 по центральному европейскому времени стрим по большим языковым моделям:

https://t.iss.one/simple_about_complex/818

стрим в телеграм-канале. вверху будет кнопочка "присоединиться к стриму" или что-то такое...

Стрим запущен, присоединяйтесь

Сегодня к стриму я не готовился, потому что за последние несколько месяцев накопилось столько всего интересного, что я мог показать сходу! Да и вообще, импровизация — это моя стихия, так что я рассчитывал, что зрители сами подскажут, что им интересно. В зависимости от того, кто прийдёт - будем показывать магию нейросетей по-разному. Было интересное для всех — от математиков (как чистых, так и прикладных), программистов до лингвистов и психологов.

От очень теоретических до совершенно прикладных аспектов, не требующих никакой подготовки...

Вот что могло бы быть сегодня на повестке:

- Как запускать код трансформеров и больших языковых моделей, чтобы понять, как они работают под капотом: Питон, юпитер-ноутбуки, Google Colab, HuggingFace — никаких установок, всё в браузере. 5 минут — и ты уже играешься с миллиардами нейронов и синапсов на языке программирования Питон. В голове — легкая паника, в ноутбуке — искусственный интеллект. 🧠💻

- Эмбеддинги и механизмы самовнимания: Два главных героя нейросетей, и как я их понял, если честно, с небольшой помощью ChatGPT и пару ночных сессий с кодом на Питоне. 🔍🔧

- Как учат большие языковые модели: Тут будет много трюков и хитростей, которые помогут наглядно представить себе процесс обучения «тупой железяки» и сделать его немного менее мистичным, чем когда ты впервые читаешь об этом. 📚⚙️

- Многомерные пространства эмбеддингов и многообразия в них, а так же при чём тут теория категорий?!: Как связаны между собой язык и математика, а также почему нейросети иногда ведут себя как загадочные философы, обсуждающие, что такое "всё это"… 🌐📐 Но суть в том, что они просто работают с числами, а мы пытаемся это понять через такие слова, как «многообразие». Попробуй не задуматься!

- Сходства и различия между искусственными нейросетями и мозгом: Какие загадки скрываются в человеческом мозге и в нейросетях, и в чём конкретно они схожи или различаются. 🤖🧠

Но так как никто не пришёл на стрим, я пошёл готовить ужин, что тоже оказалось очень замечательно! 🍽😊

Не переживайте, в следующее воскресенье я повторю попытку провести стрим, и надеюсь, что на этот раз будут хотя бы несколько вопросов (или хотя бы один человек, кто не боится смотреть, как я делаю вид, что понимаю, о чём говорю)! 😜😂

История науки по-пацански. Выпуск 13: «Учитель сказал!»

Давным-давно в одной научной галактике жил-был молодой человек, ищущий Путь. Папа его был профессором юриспруденции, дед - знатным теологом, всякие дядьи и прочие родственники - тоже в науке и преподавании. Вектор Пути был определен, нужно было только уточнить. Юноша учился в Максимилиановской гимназии в Мюнхене, стал первым учеником - и вот тут появился Учитель. Ну - пока что просто учитель математики, который таки показал юноше, что в математике и физике у него получается. Правда, получалось у него и в музыке - как в фортепиано, так и в вокале - но вот с композиторством не складывалось, посему юноша пошел в физику.

И тут пришел так уже Учитель. Профессор физики Филип Жолли. Юноша не хотел заниматься экспериментом - все ж с математикой ок - и спросил у профессора: Мастер, я хочу пойти в теоретическую физику, там нужны только мозг и карандаш. Ну и бумага, хотя если что - и парта сойдет. И стены в комнате есть еще. И Мастер говорит: ученик мой! Не порти жизнь себе, не губи научную карьеру, в теорфизике вот все-все уже открыто - ну пару вычислений доделать, пару темных углов дочистить, и все - сияющий храм теоретической физики готов. Все уже до тебя сделали, славы тебе не видать!

И вы таки думали, что вьюнош расстроился? Он возликовал: «Мне только того и надо! Скромные вычисления, уточнить расчеты - это по мне, Учитель!».

И задачка для юноши нашлась: мысленный эксперимент одного из преподавателей юноши, Густава Кирхгофа - абсолютно черное тело. Оно поглощает все падающее на него излучение и само излучает (к слову сказать, Солнце - хорошее приближение к абсолютно черному телу). В конце XIX века два будущих нобелевских лауреата, Вильгельм Вин и лорд Рэлей написали свои формулы спектра излучения того самого черного тела. Но они нифига не совпадали: формула Вина соответствовала реальности на коротких волнах, формула Рэлея - на длинных.

Наш герой - впрочем, уже не очень юноша, 40 с небольшим лет, берется за свой карандаш - снова уточнять. Но в итоге с неизбежностью вышло, что излучать абсолютно черное тело должно излучать порциями. Как и любое излучение должно испускаться порциями. Квантами.

«Твою ж мать» - подумал 42-летний юнош. «Твою ж мать» - подумали физики. Всю теорфизику переделывать теперь.

Да, кстати, вьюноша звали Макс Планк. Уточнил на свою голову.

На фото: Макс Планк

и свежее видео перед сном, академик РАН, нейрофизиолог Константин Анохин про продвижки в теории сознания и мышления. Вопросы Анохину задаёт проф. Татьяна Черниговская, критический пересмотр современной (когнитивной и нейро-) науки:

https://www.youtube.com/watch?v=xE3cRjERJUc

🧬 🧠💥 Что общего между эволюцией жизни, развитием Вселенной, неравновесной термодинамикой и нейросетями?

Интересные работы на стыке теории эволюции, физики и глубокого обучения, выполненные до начала масштабной экспансии нейросетей в 2022 году. Авторы предлагают рассматривать биологическую и космологическую эволюции как формы многоуровневого обучения.

🔗 Первая статья вводит ключевую идею:
эффективная эволюция требует наличия нескольких уровней обучаемости, где переменные на каждом уровне изменяются с различной скоростью, а между уровнями — существенные временные и структурные «разрывы», обеспечивающие стабильность и долговременную память. Это формализуется через аналогию с перенормировкой в физике: одни и те же принципы работают на разных масштабах.

💡Интересно, что нечто подобное мы наблюдаем и в современных искусственных нейросетях. Многоуровневая структура обучения возникает в них естественным образом: от слоёв с быстрыми обновлениями параметров до более инерционных механизмов, взаимодействующих между собой. Такое поведение подтверждает, что многоуровневое обучение — не просто абстрактная модель, а фундаментальный механизм, реализующийся и в естественных, и в искусственных системах.

🔗 Во второй статье развитие трактуется в терминах термодинамики: ключевые переходы в эволюции (origin of life, переход к многоклеточности и др.) — это фазовые переходы в физическом смысле. Такая интерпретация позволяет строго описывать эти события в рамках известных физических теорий.

💡 И здесь тоже есть интересный отклик в мире искусственных нейросетей. При обучении больших моделей часто наблюдаются нелинейные качественные скачки в поведении — когда, например, после определённого количества параметров или данных модель внезапно начинает "понимать" абстрактные связи, и появляются способности, которых раньше не было вовсе. Это очень напоминает фазовые переходы: небольшое внешнее изменение (масштаб, температура, давление — или число параметров/сложность данных) вызывает качественный сдвиг во внутренней организации системы.

Такие "эмерджентные свойства" больших моделей — вроде возникновения логических или пространственных представлений — можно рассматривать как аналог крупных эволюционных скачков, описанных в биологии: появление многоклеточности, языка, сознания.

Цитата:

"Для того, чтобы происходило эффективное обучение и формирование этих сложных систем, необходимо, чтобы было более одного уровня обучения (в реальности — более двух), и они бы взаимодействовали друг с другом, при этом соответствующие переменные менялись бы с разной скоростью. Более того, мы показываем, что эти уровни обучения и эволюции должны быть дискретными — между ними должны быть большие промежутки для того, чтобы система оставалась стабильной во времени, могла эволюционировать в течение длительных периодов и сохраняла бы долговременную память.

Всё это тесно связано с фундаментальным понятием в физике, которое называется перенормировкой. Суть его состоит в том, что процессы, протекающие на разных уровнях организаций, описываются одной и той же математикой. Это принципиальный момент, относящийся ко всем обучающимся и эволюционирующим системам.

Во второй работе мы рассматриваем всё это с точки зрения термодинамики и, в частности, описываем процесс основных переходов в эволюции (The Major Transitions in Evolution) — возникновение жизни, многоклеточных организмов и др. — как фазовые переходы в строгом смысле этого слова. И такие переходы, естественно, описываются в рамках термодинамической теории.

Кроме этого, стоило бы сказать, что в рамках теории многоуровневого обучения мы выводим то, что называется центральной догмой молекулярной биологии: информация передается от генома к фенотипу, от нуклеиновых кислот к белкам, а обратное движение происходит другими путями (за счет случайной изменчивости и селекции) и не является обращением процесса передачи информации от генома к фенотипу. Мы же выводим центральную догму как общий принцип обучающихся эволюционирующих систем.
"

🧠 Функции мозга и искусственный интеллект: чему искусственным нейросетиям ещё предстоит научиться?

Современные ИИ-системы, такие как большие языковые модели и автономные агенты на их основе, уже умеют много: понимать речь, распознавать изображения, планировать действия. Но что, если сравнить их с человеческим мозгом? 🤔

В этой статье, кроме прочего, обзор/сравнение между отделами мозга и текущим уровнем развития искусственных нейросетей.

Получилось 3 уровня:

🔹 Уровень 1 (L1) — уже хорошо реализовано в искусственных нейросетях: визуальное восприятие, речь, слух.
🔸 Уровень 2 (L2) — частично реализовано: планирование, внимание, пространственная ориентация.
🔴 Уровень 3 (L3) — почти не изучено: эмоции, мотивация, самоосознание, эмпатия.

📌 Особенно мало искусственные неросети понимают пока что про эмоции, интуицию и мотивацию — это функции лимбической системы, с которой в ИИ всё ещё очень сложно.

более детально в следующем сообщении 👇👇👇

#LLM #AI #AIAgents #Brain