Был сегодня на поэтическом вечере Анны — 1,5 часа пролетели как 15 минут. Очень классный перформанс, Анна здорово держит сцену и вовлекает. Атмосфера уютная, публика приятная — прямо хорошее время! В завершении была песня, где Анна поёт совместно с ИИ, да-да — необычно и по-своему трогательно.

Весь поэтический вечер реально цепляет и вызывает эмоции. Абсолютно не жалею, что сходил — и с удовольствием сходил бы ещё раз.

Анна сейчас ездит с выступлениями по городам Германии, а скоро будет в Екатеринбурге (привет нашим подписчикам из России). Если снова заглянет в Мюнхен — пойду ещё раз без раздумий.

Рекомендую, особенно если вам важна не только поэзия, но и то, как она подаётся.

#Culture #Poetry #Munich

@frauliebert
https://www.instagram.com/frauliebert/

P.S. Пару видео сейчас добавлю в комментарии

#НастроениеВоскресенья #АйтишныйЮмор

Напоминаю про лекцию Хинтона в пятницу, онлайн👇👇👇

А наш стрим в телеге уже в это воскресенье, 1.06, днем или вечером! Будет много AI, AGI и их математических основ. Окончательный анонс следует.

#LiveStream

🔬 Нобелевский лауреат Джефри Хинтон (тот самый крёстный отец ИИ) видимо, посмотрел наш прошлый лайв-стрим и решил не отставать — читает лекцию на ту же тему, что мы разбирали на прошлом стриме: "Биологические и цифровые нейросети".

🎓 Лекцию можно будет посмотреть онлайн 30.05: 👉 https://www.rigb.org/whats-on/discourse-digital-intelligence-vs-biological-intelligence

Не благодарите 😄

#AI #Hinton #Brain #DeepLearning #LiveStream

🎙 В это воскресенье, 1 июня, состоится наш очередной стрим!
⠀
В последние недели особо не было времени на подготовку, поэтому математики будет совсем немного (но она всё же будет!).
⠀
Зато мы позволим себе немного уйти в философию и попытаемся закрыть некоторые психологические гештальты: что такое мышление и сознание в самом общем виде — без эзотерики, но с интересом и размышлениями.
⠀

#LiveStream

Кстати, все больше и больше запросов поступает чтобы стримы были действительно международными - кто готов переходить на английский? )

Мне легче немецкий, но я и по-английски смогу, а вы? ;)

🧠 Напоминаю: сегодня стрим!

🕔 17:00 (Центральноевропейское время)
🕕 18:00 (Киев / Москва)

На этот раз — меньше математики, больше философии.
Поговорим об искусственном и естественном интеллекте:
что они могут, чем отличаются и куда всё это идёт.

Подключайтесь! 💬✨

стрим начался. я отойду на пару минут, всё равно минут 5-10 по опыту надо подождать пока все соберутся.

Стрим был очень продуктивным! Кто не пришёл - кусайте локти ) Потому что моя часть стрима не записалась, но Никита дал очень крутую вторую часть и она будет выложена в записи по кусочкам! )

П.С. Да, рано либо поздно, мы научимся записывать стримы

П.П.С Этот телеграм канал был задуман изначально так, что все участники модераторы и могут публиковать главные новости. К сожалению я не уследил в последнее время и добавились много человек, которы сейчас будут модераторами.

кого не добавил в модераторы канала и кто хочет? ) без проблем )

Наш канал порадует уже вас скоро как научным, так и спортивным контентом! Не сдуваемся, держим марку! )

1/2

🧠 И снова про интерпретируемость / объяснимость нейрональных вычислений
Разбираем простой пример + цитируем инструмент, чтобы попробовать самому

И в мозге, и в современных больших нейросетях вычисления размазаны по миллиардам нейронов и синапсов. Никакой один нейрон не отвечает за какой-то конкретный процесс в этих вычислениях, а задача разбивается на множество маленьких частей, которые вместе создают итоговый результат.

Это даёт гибкость и мощь, но создаёт серьёзную проблему:

Как понять, что именно происходит внутри? Почему модель или мозг приняли именно такое решение?

🔬 Anthropic и атрибутационные графы
Команда Anthropic разработала инструмент:

📈 Атрибутационные графы (attribution graphs).
С его помощью можно визуализировать, как модель обрабатывает вход и как приходит к конкретному ответу. Это своего рода «нейровизуализация» для искусственного интеллекта.

🧩 Как это работает?
Внутри модели активируются features (фичи) — внутренние понятия.

Продолжение👇

2/2. начало 👆

Эти фичи делятся на два типа:

🟦 Input features — активируются в ответ на входной текст.
🟥 Output features — напрямую влияют на финальный выбор токена.

Всё это соединено в виде графа, где видно, как сигнал проходит от входа к выходу.

🔬 Как такие features возникают?
Внутри модели существуют features — абстрактные внутренние понятия, которые представляют собой устойчивые паттерны активаций нейронов.
Вот что важно:
❗ Никто не прописывал эту фичу вручную.
Она автоматически сформировалась во время обучения модели.

Как это происходит? Во время тренировки: Модель многократно видит тексты, где рядом встречаются, например: "France — Paris", "French food — Paris restaurants", "capital of France is Paris" и т.д. Внутри модели (в слое внимания) некоторые нейроны/веса начинают стабильно активироваться, когда появляются такие шаблоны. Эти стабильные паттерны "конденсируются" в фичу — вроде "French / Paris".

Эта фича закрепляется потому, что она полезна для предсказаний — она помогает модели угадать следующее слово, связанное с Францией.

Input features — что это? Это такие паттерны активаций, которые возникают в ответ на входной текст.
Например, если модель видит слово «Paris», активируется фича, связанная с географией или столицей Франции.
Эти паттерны не прописаны вручную, а формируются во время обучения — модель сама выделяет важные свойства текста.

Output features — что это?
Это паттерны, которые напрямую влияют на выбор следующего слова (токена).
Они как бы «голосуют» за определённый ответ и формируют итоговую вероятность.
Эти features находятся ближе к выходу модели и управляют тем, что модель в итоге выдаст.

Как мы узнаём о существовании этих features?
👉С помощью методов атрибуции — вычисляем, какой вклад в ответ внес каждый нейрон или группа нейронов.
👉Через абляции — отключаем части модели и смотрим, как меняется поведение.
👉Анализируем активации — ищем повторяющиеся, стабильные паттерны.
👉Создаём визуализации — например, атрибуционные графы, которые показывают цепочки влияния от входа к выходу.

📌 Пример
Ты вводишь: "The capital of France is".
Input feature "French / Paris" активируется. Дальше она передаёт сигнал к более абстрактным фичам, типа:
"capital-of-country", "factual-geography-knowledge", "France → Paris association".

И уже на финальном этапе output features "проталкивают" токен "Paris".

💻 Попробовать самому:

✅ Веб-интерфейс. Просто открой и введи любую фразу:
👉 https://www.neuronpedia.org/gemma-2-2b/graph
(На базе Gemma-2 2B, от Google)

✅ Или прямо в Google Colab. Готовый ноутбук от Anthropic, никаких установок:
👉 https://github.com/safety-research/circuit-tracer/blob/main/demos/circuit_tracing_tutorial.ipynb

Посмотри, какие input features срабатывают на твоём примере и как они влияют на output features. Это настолько наглядно показывает, что происходит "внутри" ИИ, насколько это сегодня вообще возможно показать наглядно.


#Interpretability #DevInterp #MechInterp #Antropic #AttributionGraphs

@easy_about_complex

Как мы писали тут, в пятницу была лекция нобелевского лауреата по физикие за искусственные нейросети Джефри Хинтона. Сам я не был, но вот что постят соседние каналы 👇👇👇

Хинтона вам в ленту

Вот ещё тоже прекрасное

🧠 Пару недель назад мы писали про свежий удивительный результат, касающийся времени и пространства/памяти в вычислениях:

👉 https://t.iss.one/easy_about_complex/1027

🎥 Теперь вышло наглядное и увлекательное видео на YouTube, которое объясняет этот результат простыми словами (на английском):

📺 How to squeeze space into time — видео от ChalkTalk

Рекомендуем к просмотру всем, кто интересуется теорией вычислений и просто красивыми идеями! 🚀

#Complexity #PvsPSPACE #P #PSPACE