Кто из Мюнхена: завтра в 11:00 тренируемся на спортплощадке возле Изара. Кто хочет прийти - пишите в личку или в комментарии

https://maps.app.goo.gl/QaymUV67JiTDcqGS9

#Munich #Sport #Boxing

Был сегодня на Дне балканской культуры в Мюнхене.

Очень круто было там всё организовано и устроено!

Меня туда пригласили, так как я пол года назад писал статью про ИИ в искусстве для хорватско-словенского журнала по культуре.

Сегодня обсудили планы дальнейшего международного сотрудничества и, главное, меня там вкусно накормили. Ибо культура - это здорово, но обед по расписанию 🤣 🤣

#Munich #Balkan #Culture

Напоминаю, сегодня в 18:00 по центральному европейскому времени стрим по большим языковым моделям:

https://t.iss.one/simple_about_complex/818

стрим в телеграм-канале. вверху будет кнопочка "присоединиться к стриму" или что-то такое...

Стрим запущен, присоединяйтесь

Сегодня к стриму я не готовился, потому что за последние несколько месяцев накопилось столько всего интересного, что я мог показать сходу! Да и вообще, импровизация — это моя стихия, так что я рассчитывал, что зрители сами подскажут, что им интересно. В зависимости от того, кто прийдёт - будем показывать магию нейросетей по-разному. Было интересное для всех — от математиков (как чистых, так и прикладных), программистов до лингвистов и психологов.

От очень теоретических до совершенно прикладных аспектов, не требующих никакой подготовки...

Вот что могло бы быть сегодня на повестке:

- Как запускать код трансформеров и больших языковых моделей, чтобы понять, как они работают под капотом: Питон, юпитер-ноутбуки, Google Colab, HuggingFace — никаких установок, всё в браузере. 5 минут — и ты уже играешься с миллиардами нейронов и синапсов на языке программирования Питон. В голове — легкая паника, в ноутбуке — искусственный интеллект. 🧠💻

- Эмбеддинги и механизмы самовнимания: Два главных героя нейросетей, и как я их понял, если честно, с небольшой помощью ChatGPT и пару ночных сессий с кодом на Питоне. 🔍🔧

- Как учат большие языковые модели: Тут будет много трюков и хитростей, которые помогут наглядно представить себе процесс обучения «тупой железяки» и сделать его немного менее мистичным, чем когда ты впервые читаешь об этом. 📚⚙️

- Многомерные пространства эмбеддингов и многообразия в них, а так же при чём тут теория категорий?!: Как связаны между собой язык и математика, а также почему нейросети иногда ведут себя как загадочные философы, обсуждающие, что такое "всё это"… 🌐📐 Но суть в том, что они просто работают с числами, а мы пытаемся это понять через такие слова, как «многообразие». Попробуй не задуматься!

- Сходства и различия между искусственными нейросетями и мозгом: Какие загадки скрываются в человеческом мозге и в нейросетях, и в чём конкретно они схожи или различаются. 🤖🧠

Но так как никто не пришёл на стрим, я пошёл готовить ужин, что тоже оказалось очень замечательно! 🍽😊

Не переживайте, в следующее воскресенье я повторю попытку провести стрим, и надеюсь, что на этот раз будут хотя бы несколько вопросов (или хотя бы один человек, кто не боится смотреть, как я делаю вид, что понимаю, о чём говорю)! 😜😂

История науки по-пацански. Выпуск 13: «Учитель сказал!»

Давным-давно в одной научной галактике жил-был молодой человек, ищущий Путь. Папа его был профессором юриспруденции, дед - знатным теологом, всякие дядьи и прочие родственники - тоже в науке и преподавании. Вектор Пути был определен, нужно было только уточнить. Юноша учился в Максимилиановской гимназии в Мюнхене, стал первым учеником - и вот тут появился Учитель. Ну - пока что просто учитель математики, который таки показал юноше, что в математике и физике у него получается. Правда, получалось у него и в музыке - как в фортепиано, так и в вокале - но вот с композиторством не складывалось, посему юноша пошел в физику.

И тут пришел так уже Учитель. Профессор физики Филип Жолли. Юноша не хотел заниматься экспериментом - все ж с математикой ок - и спросил у профессора: Мастер, я хочу пойти в теоретическую физику, там нужны только мозг и карандаш. Ну и бумага, хотя если что - и парта сойдет. И стены в комнате есть еще. И Мастер говорит: ученик мой! Не порти жизнь себе, не губи научную карьеру, в теорфизике вот все-все уже открыто - ну пару вычислений доделать, пару темных углов дочистить, и все - сияющий храм теоретической физики готов. Все уже до тебя сделали, славы тебе не видать!

И вы таки думали, что вьюнош расстроился? Он возликовал: «Мне только того и надо! Скромные вычисления, уточнить расчеты - это по мне, Учитель!».

И задачка для юноши нашлась: мысленный эксперимент одного из преподавателей юноши, Густава Кирхгофа - абсолютно черное тело. Оно поглощает все падающее на него излучение и само излучает (к слову сказать, Солнце - хорошее приближение к абсолютно черному телу). В конце XIX века два будущих нобелевских лауреата, Вильгельм Вин и лорд Рэлей написали свои формулы спектра излучения того самого черного тела. Но они нифига не совпадали: формула Вина соответствовала реальности на коротких волнах, формула Рэлея - на длинных.

Наш герой - впрочем, уже не очень юноша, 40 с небольшим лет, берется за свой карандаш - снова уточнять. Но в итоге с неизбежностью вышло, что излучать абсолютно черное тело должно излучать порциями. Как и любое излучение должно испускаться порциями. Квантами.

«Твою ж мать» - подумал 42-летний юнош. «Твою ж мать» - подумали физики. Всю теорфизику переделывать теперь.

Да, кстати, вьюноша звали Макс Планк. Уточнил на свою голову.

На фото: Макс Планк

и свежее видео перед сном, академик РАН, нейрофизиолог Константин Анохин про продвижки в теории сознания и мышления. Вопросы Анохину задаёт проф. Татьяна Черниговская, критический пересмотр современной (когнитивной и нейро-) науки:

https://www.youtube.com/watch?v=xE3cRjERJUc

🧬 🧠💥 Что общего между эволюцией жизни, развитием Вселенной, неравновесной термодинамикой и нейросетями?

Интересные работы на стыке теории эволюции, физики и глубокого обучения, выполненные до начала масштабной экспансии нейросетей в 2022 году. Авторы предлагают рассматривать биологическую и космологическую эволюции как формы многоуровневого обучения.

🔗 Первая статья вводит ключевую идею:
эффективная эволюция требует наличия нескольких уровней обучаемости, где переменные на каждом уровне изменяются с различной скоростью, а между уровнями — существенные временные и структурные «разрывы», обеспечивающие стабильность и долговременную память. Это формализуется через аналогию с перенормировкой в физике: одни и те же принципы работают на разных масштабах.

💡Интересно, что нечто подобное мы наблюдаем и в современных искусственных нейросетях. Многоуровневая структура обучения возникает в них естественным образом: от слоёв с быстрыми обновлениями параметров до более инерционных механизмов, взаимодействующих между собой. Такое поведение подтверждает, что многоуровневое обучение — не просто абстрактная модель, а фундаментальный механизм, реализующийся и в естественных, и в искусственных системах.

🔗 Во второй статье развитие трактуется в терминах термодинамики: ключевые переходы в эволюции (origin of life, переход к многоклеточности и др.) — это фазовые переходы в физическом смысле. Такая интерпретация позволяет строго описывать эти события в рамках известных физических теорий.

💡 И здесь тоже есть интересный отклик в мире искусственных нейросетей. При обучении больших моделей часто наблюдаются нелинейные качественные скачки в поведении — когда, например, после определённого количества параметров или данных модель внезапно начинает "понимать" абстрактные связи, и появляются способности, которых раньше не было вовсе. Это очень напоминает фазовые переходы: небольшое внешнее изменение (масштаб, температура, давление — или число параметров/сложность данных) вызывает качественный сдвиг во внутренней организации системы.

Такие "эмерджентные свойства" больших моделей — вроде возникновения логических или пространственных представлений — можно рассматривать как аналог крупных эволюционных скачков, описанных в биологии: появление многоклеточности, языка, сознания.

Цитата:

"Для того, чтобы происходило эффективное обучение и формирование этих сложных систем, необходимо, чтобы было более одного уровня обучения (в реальности — более двух), и они бы взаимодействовали друг с другом, при этом соответствующие переменные менялись бы с разной скоростью. Более того, мы показываем, что эти уровни обучения и эволюции должны быть дискретными — между ними должны быть большие промежутки для того, чтобы система оставалась стабильной во времени, могла эволюционировать в течение длительных периодов и сохраняла бы долговременную память.

Всё это тесно связано с фундаментальным понятием в физике, которое называется перенормировкой. Суть его состоит в том, что процессы, протекающие на разных уровнях организаций, описываются одной и той же математикой. Это принципиальный момент, относящийся ко всем обучающимся и эволюционирующим системам.

Во второй работе мы рассматриваем всё это с точки зрения термодинамики и, в частности, описываем процесс основных переходов в эволюции (The Major Transitions in Evolution) — возникновение жизни, многоклеточных организмов и др. — как фазовые переходы в строгом смысле этого слова. И такие переходы, естественно, описываются в рамках термодинамической теории.

Кроме этого, стоило бы сказать, что в рамках теории многоуровневого обучения мы выводим то, что называется центральной догмой молекулярной биологии: информация передается от генома к фенотипу, от нуклеиновых кислот к белкам, а обратное движение происходит другими путями (за счет случайной изменчивости и селекции) и не является обращением процесса передачи информации от генома к фенотипу. Мы же выводим центральную догму как общий принцип обучающихся эволюционирующих систем.
"

🧠 Функции мозга и искусственный интеллект: чему искусственным нейросетиям ещё предстоит научиться?

Современные ИИ-системы, такие как большие языковые модели и автономные агенты на их основе, уже умеют много: понимать речь, распознавать изображения, планировать действия. Но что, если сравнить их с человеческим мозгом? 🤔

В этой статье, кроме прочего, обзор/сравнение между отделами мозга и текущим уровнем развития искусственных нейросетей.

Получилось 3 уровня:

🔹 Уровень 1 (L1) — уже хорошо реализовано в искусственных нейросетях: визуальное восприятие, речь, слух.
🔸 Уровень 2 (L2) — частично реализовано: планирование, внимание, пространственная ориентация.
🔴 Уровень 3 (L3) — почти не изучено: эмоции, мотивация, самоосознание, эмпатия.

📌 Особенно мало искусственные неросети понимают пока что про эмоции, интуицию и мотивацию — это функции лимбической системы, с которой в ИИ всё ещё очень сложно.

более детально в следующем сообщении 👇👇👇

#LLM #AI #AIAgents #Brain

🔹 Лобная доля — «директор» мозга
Это центр мышления, контроля и самосознания.
✔️ Что ИИ уже умеет:
планирование и принятие решений (L2) — как в шахматах или логистике;
логическое мышление и рабочая память (L2) — реализовано в трансформерах, таких как GPT.
⚠️ А вот что пока плохо реализовано:
самосознание (L3), когнитивная гибкость (L3), торможение импульсов (L3).
ИИ всё ещё не способен по-настоящему «понимать себя» или менять поведение вне заранее заданных сценариев. Эти функции пока находятся за пределами машинного интеллекта.

🔸 Теменная доля — ориентация и внимание
Интеграция ощущений и работа с пространством.
✔️ Частично реализовано в роботах и навигации (SLAM): внимание, ориентация, координация (L2).
❗️Но детальная тактильная чувствительность (L3) и слияние разных сенсорных каналов пока — слабое место ИИ.

🔹 Затылочная доля — зрение
ИИ здесь почти на уровне человека!
✔️ Распознавание объектов, лиц, сцен — (L1) реализовано в глубинных нейросетях.
⚠️ Но контекстное понимание сцены и абстрактное визуальное мышление (L2) — пока лишь в разработке.

🔸 Височная доля — язык, слух и память
Именно здесь у нас живёт понимание речи и воспоминания.
✔️ ИИ умеет понимать и генерировать язык (L1), в том числе с речью.
⚠️ Но долговременная память, обучение на протяжении всей жизни (L2), а также глубинное семантическое понимание — всё ещё в разработке. Часто ИИ «забывает» старое, когда учится новому — это называется катастрофическим забыванием.

🔹 Мозжечок — координация и моторика
ИИ в робототехнике уже кое-что умеет:
✔️ Обучение навыкам и координация движений (L2) — реализуются через RL и метаобучение.
⚠️ Но адаптация в реальном времени и предсказание действий (L3) пока остаются сложной задачей.

🔸 Ствол мозга — автоматические реакции
✔️ ИИ умеет реагировать — например, экстренное торможение в авто (L1).
⚠️ Но автономная регуляция (сон, бодрствование, арousal-состояния — L3) ему пока недоступна. Это слишком «живые» и биологически встроенные функции.

❤️ Лимбическая система — эмоции, мотивация, эмпатия
Здесь ИИ пока в самом начале пути:
✔️ ИИ умеет обучаться на вознаграждении (L2), как в играх.
⚠️ Но эмоции, стресс, мотивация, эмпатия (L3) — это пока terra incognita. Тут встают не только технические, но и этические вопросы: можно ли машине «чувствовать» и стоит ли это развивать?

🎯 Зачем всё это? Не чтобы скопировать мозг человека, а чтобы вдохновиться его модульностью и интеграцией. Мозг — это сеть взаимосвязанных подсистем: восприятие, память, эмоции, логика работают вместе

#LLM #AI #AIAgents #Brain

Рекуррентность vs. Самовнимание:
Битва за обладание разумом
или
Эволюция обработки последовательностей 🤯

В классических рекуррентных нейросетях обработка текста или других последовательностей происходит шаг за шагом. На каждом этапе обучения модель учитывает текущее слово и внутреннее состояние, переданное с предыдущего шага. Это похоже на краткосрочную память: чтобы понять текущее слово, нужно помнить, что было до этого.

Такой подход рабочий, но плохо масштабируется:
-сложно учитывать дальние связи,
-обучение затруднено,
-обработка — строго последовательная и медленная.

Self-Attention, предложенный в архитектуре Transformer, — принципиально другой подход.
Здесь каждый элемент «смотрит» на все остальные в последовательности одновременно.
Модель сама решает, что важно, и распределяет внимание по всей цепочке.

👇Это позволяет:
➡️ учитывать длинные зависимости,
➡️ обучаться параллельно,
➡️ достигать высокой точности.

#AI #ML #Transformers #RNN #LLM #Нейросети #Attention

🧠 Если сравнивать с мозгом:
Рекуррентность — это последовательное мышление: пересказ истории по порядку.
Self-Attention — стратегическое мышление: ты сразу держишь в голове всю картину.

📌 Именно Self-attention стал основой моделей вроде GPT, BERT, T5 и других трансформеров.

А теперь немного образов:
Ты читаешь книгу.
Один герой что-то сказал на 3-й странице, а на 10-й про него снова упомянули.

🧓 Если ты обычный человек:

"Так, а кто это вообще был?.. Сейчас, ща вспомню..."
Это — рекуррентность. Как старенький дедушка из анекдота: читаешь по порядку, иногда забываешь, кто где и что делал 😅

🕵️ А если ты — Шерлок Холмс:

"Ага, он упомянул Лору, Лора была в 3-й главе с зонтом, а зонт фигурировал ещё в прологе!"
Это уже самовнимание (self-attention). Всё держишь в голове, всё связываешь — как гений.

🧠 Рекуррентность — как думать в строчку.
⚡️ Self-Attention — как видеть сразу всю карту мыслей.

📍 Поэтому трансформеры, основанные на Self-attention, заменили старые модели. Они мощнее, быстрее, умнее. Это как перейти с кнопочного телефона на нейро-iPhone.

А ты кто по жизни — RNN или трансформер? 😄

#AI #ML #Transformers #RNN #LLM #Нейросети