Напоминаю про лекцию Хинтона в пятницу, онлайн👇👇👇

А наш стрим в телеге уже в это воскресенье, 1.06, днем или вечером! Будет много AI, AGI и их математических основ. Окончательный анонс следует.

#LiveStream

🔬 Нобелевский лауреат Джефри Хинтон (тот самый крёстный отец ИИ) видимо, посмотрел наш прошлый лайв-стрим и решил не отставать — читает лекцию на ту же тему, что мы разбирали на прошлом стриме: "Биологические и цифровые нейросети".

🎓 Лекцию можно будет посмотреть онлайн 30.05: 👉 https://www.rigb.org/whats-on/discourse-digital-intelligence-vs-biological-intelligence

Не благодарите 😄

#AI #Hinton #Brain #DeepLearning #LiveStream

🎙 В это воскресенье, 1 июня, состоится наш очередной стрим!
⠀
В последние недели особо не было времени на подготовку, поэтому математики будет совсем немного (но она всё же будет!).
⠀
Зато мы позволим себе немного уйти в философию и попытаемся закрыть некоторые психологические гештальты: что такое мышление и сознание в самом общем виде — без эзотерики, но с интересом и размышлениями.
⠀

#LiveStream

Кстати, все больше и больше запросов поступает чтобы стримы были действительно международными - кто готов переходить на английский? )

Мне легче немецкий, но я и по-английски смогу, а вы? ;)

🧠 Напоминаю: сегодня стрим!

🕔 17:00 (Центральноевропейское время)
🕕 18:00 (Киев / Москва)

На этот раз — меньше математики, больше философии.
Поговорим об искусственном и естественном интеллекте:
что они могут, чем отличаются и куда всё это идёт.

Подключайтесь! 💬✨

стрим начался. я отойду на пару минут, всё равно минут 5-10 по опыту надо подождать пока все соберутся.

Стрим был очень продуктивным! Кто не пришёл - кусайте локти ) Потому что моя часть стрима не записалась, но Никита дал очень крутую вторую часть и она будет выложена в записи по кусочкам! )

П.С. Да, рано либо поздно, мы научимся записывать стримы

П.П.С Этот телеграм канал был задуман изначально так, что все участники модераторы и могут публиковать главные новости. К сожалению я не уследил в последнее время и добавились много человек, которы сейчас будут модераторами.

кого не добавил в модераторы канала и кто хочет? ) без проблем )

Наш канал порадует уже вас скоро как научным, так и спортивным контентом! Не сдуваемся, держим марку! )

1/2

🧠 И снова про интерпретируемость / объяснимость нейрональных вычислений
Разбираем простой пример + цитируем инструмент, чтобы попробовать самому

И в мозге, и в современных больших нейросетях вычисления размазаны по миллиардам нейронов и синапсов. Никакой один нейрон не отвечает за какой-то конкретный процесс в этих вычислениях, а задача разбивается на множество маленьких частей, которые вместе создают итоговый результат.

Это даёт гибкость и мощь, но создаёт серьёзную проблему:

Как понять, что именно происходит внутри? Почему модель или мозг приняли именно такое решение?

🔬 Anthropic и атрибутационные графы
Команда Anthropic разработала инструмент:

📈 Атрибутационные графы (attribution graphs).
С его помощью можно визуализировать, как модель обрабатывает вход и как приходит к конкретному ответу. Это своего рода «нейровизуализация» для искусственного интеллекта.

🧩 Как это работает?
Внутри модели активируются features (фичи) — внутренние понятия.

Продолжение👇

2/2. начало 👆

Эти фичи делятся на два типа:

🟦 Input features — активируются в ответ на входной текст.
🟥 Output features — напрямую влияют на финальный выбор токена.

Всё это соединено в виде графа, где видно, как сигнал проходит от входа к выходу.

🔬 Как такие features возникают?
Внутри модели существуют features — абстрактные внутренние понятия, которые представляют собой устойчивые паттерны активаций нейронов.
Вот что важно:
❗ Никто не прописывал эту фичу вручную.
Она автоматически сформировалась во время обучения модели.

Как это происходит? Во время тренировки: Модель многократно видит тексты, где рядом встречаются, например: "France — Paris", "French food — Paris restaurants", "capital of France is Paris" и т.д. Внутри модели (в слое внимания) некоторые нейроны/веса начинают стабильно активироваться, когда появляются такие шаблоны. Эти стабильные паттерны "конденсируются" в фичу — вроде "French / Paris".

Эта фича закрепляется потому, что она полезна для предсказаний — она помогает модели угадать следующее слово, связанное с Францией.

Input features — что это? Это такие паттерны активаций, которые возникают в ответ на входной текст.
Например, если модель видит слово «Paris», активируется фича, связанная с географией или столицей Франции.
Эти паттерны не прописаны вручную, а формируются во время обучения — модель сама выделяет важные свойства текста.

Output features — что это?
Это паттерны, которые напрямую влияют на выбор следующего слова (токена).
Они как бы «голосуют» за определённый ответ и формируют итоговую вероятность.
Эти features находятся ближе к выходу модели и управляют тем, что модель в итоге выдаст.

Как мы узнаём о существовании этих features?
👉С помощью методов атрибуции — вычисляем, какой вклад в ответ внес каждый нейрон или группа нейронов.
👉Через абляции — отключаем части модели и смотрим, как меняется поведение.
👉Анализируем активации — ищем повторяющиеся, стабильные паттерны.
👉Создаём визуализации — например, атрибуционные графы, которые показывают цепочки влияния от входа к выходу.

📌 Пример
Ты вводишь: "The capital of France is".
Input feature "French / Paris" активируется. Дальше она передаёт сигнал к более абстрактным фичам, типа:
"capital-of-country", "factual-geography-knowledge", "France → Paris association".

И уже на финальном этапе output features "проталкивают" токен "Paris".

💻 Попробовать самому:

✅ Веб-интерфейс. Просто открой и введи любую фразу:
👉 https://www.neuronpedia.org/gemma-2-2b/graph
(На базе Gemma-2 2B, от Google)

✅ Или прямо в Google Colab. Готовый ноутбук от Anthropic, никаких установок:
👉 https://github.com/safety-research/circuit-tracer/blob/main/demos/circuit_tracing_tutorial.ipynb

Посмотри, какие input features срабатывают на твоём примере и как они влияют на output features. Это настолько наглядно показывает, что происходит "внутри" ИИ, насколько это сегодня вообще возможно показать наглядно.


#Interpretability #DevInterp #MechInterp #Antropic #AttributionGraphs

@easy_about_complex

Как мы писали тут, в пятницу была лекция нобелевского лауреата по физикие за искусственные нейросети Джефри Хинтона. Сам я не был, но вот что постят соседние каналы 👇👇👇

Хинтона вам в ленту

Вот ещё тоже прекрасное

🧠 Пару недель назад мы писали про свежий удивительный результат, касающийся времени и пространства/памяти в вычислениях:

👉 https://t.iss.one/easy_about_complex/1027

🎥 Теперь вышло наглядное и увлекательное видео на YouTube, которое объясняет этот результат простыми словами (на английском):

📺 How to squeeze space into time — видео от ChalkTalk

Рекомендуем к просмотру всем, кто интересуется теорией вычислений и просто красивыми идеями! 🚀

#Complexity #PvsPSPACE #P #PSPACE

🧠 Мы не просто так говорим про математику, физику и информатику - мы создаём машину времени 😁😎😇

Вот тут и тут — мы обсуждали потрясающие, неожиданные научные результаты 2025 года. Современная наука бьёт током: прорывы, новые методы, неожиданные связи.

Но вот вопрос: а какие открытия в прошлом были сопоставимы по масштабу?
Что так же резко сдвигало представление о возможном?

💡 Давайте посмотрим?
Сделаем серию постов, где пройдёмся по историческим открытиям — от более близкого к более далёкому прошлому. Посмотрим, чем жила фундаментальная наука — и как эти открытия повлияли на наш мир.

📆 Начнём, пожалуй, со второй половины XX века — и будем спускаться вниз: по десятилетиям, а потом и векам.

🗞️ Первая остановка — ноябрь 1979 года.
В газете The New York Times выходит статья с заголовком:
“A Soviet Discovery Rocks World of Mathematics”
(«Советское открытие потрясает мир математики»).

Звучит громко.
А вот в чём там прикол — расскажу вам (после)завтра.

Оставайтесь на связи 📡

@easy_about_complex

Начало тут 👆

📚 В этом канале и на стримах (тут и тут) мы уже не раз обсуждали фундаментальные вопросы вычислительной сложности:

Что такое классы P и NP:
- Почему вопрос "P = NP?" — один из величайших нерешённых в математике?
- И что вообще значит «решить задачу за полиномиальное время»?

Теперь давайте посмотрим на задачу, которая стала поворотной точкой между прикладной оптимизацией и теоретической информатикой.
Речь о линейном программировании (или линейной оптимизации) — и прорыве, который произошёл в 1979 году.

🔧 Что такое линейная оптимизация?
Это класс задач, где нужно оптимизировать линейную функцию при наличии линейных ограничений.
То есть: что-то максимизировать или минимизировать, соблюдая заданные условия.

💡 Пример:
Составить рацион питания из доступных продуктов — так, чтобы:
-покрыть все суточные нормы по питательным веществам (ограничения),
- но потратить как можно меньше денег (целевая функция).

С 1947 года такие задачи эффективно решались с помощью симплекс-метода — разработанного Джорджем Данцигом.

📈 На практике метод довольно хорош: миллионы логистических, экономических и инженерных систем полагались (и полагаются) на симплекс.

Но была проблема:
⚠️ в теории симплекс может работать экспоненциально долго. А значит, мы не знали, принадлежит ли линейная оптимизация к классу P (полиномиально вычислимых задач).

💥 1979: появляется Хачиян

И вот, в 1979 году Леонид Хачиян, молодой математик из СССР, предлагает эллипсоидный метод — первый алгоритм, который решает задачу линейного программирования за гарантированное полиномиальное время.

🌀 Идея метода:

начать с большого эллипсоида, содержащего все возможные решения, постепенно сжимать его, отсекая "плохие" части, пока не останется область, содержащая оптимум.

📉 Но на практике метод оказался медленным (см. сноску внизу 🍒). А вот в теории он дал главное:

🔐 Он доказал, что линейная оптимизация ∈ P.
То есть: существует "быстрый алгоритм" (см. сноску внизу 🍒).

🧩 А теперь — мост к комплексити-теории
Вот почему это открытие было настолько важно:

До Хачияна не было известно, попадает ли линейная оптимизация в класс P.

Его работа замкнула круг между прикладной задачей и теоретическим анализом.

Она показала, что не всякая полезная задача сложна. Некоторые — фундаментально решаемы эффективно (см. сноску внизу 🍒).

А ещё — это вдохновило целую волну исследований:
📈 появились внутренние точечные методы (например, метод Кармаркара), которые были не только полиномиальными, но и быстрыми на практике.

📌 Итог
Линейное программирование — редкий случай задачи, которая:
- 🔧 реальная прикладная задача,
- ✅ и точно в классе P.

Да, в реальной жизни симплекс чаще всего быстрее,
но именно эллипсоид Хачияна навсегда изменил теоретическое понимание линейной оптимизации.

🧠 А теперь — маленькая

загадка:
Как так получается,
что теоретически «быстрый» эллипсоид на практике
почти всегда проигрывает по времени
теоретически «медленному» симплексу?

📌 Подумайте:
метод эллипсоида и полиномиальное время — это гарантия на худший случай, а не обещание быть быстрым всегда.

А симплекс?
Возможно, во многих случаях он просто умеет "угадывать", где находится решение — даже если не обещает ничего формально для всех случаев (см. сноску внизу 🍒).

👉 И в этом — вся красота прикладной математики.
И вся хитрость теории сложности.

@easy_about_complex

#P #NP #PvsNP #LinearProgramming
_

🍒 сноска: есть нюансы! По сути эллипсоидный метод требует полиномиального времени с очень высокой степенью полиномов. Это значит, что эллипсоидный метод Хачияна начнёт бить симплекс-метод по времени вычислений на практике только начиная с какого-то определённого размера оптимизационной задачи и выше? (worst case ✅ average case❓). Вот с каких порядков задачи симплекс-метод начнёт уступать методу эллипсоидов - я сейчас не могу сказать. Надо разбираться в деталях. Я слышал(?), что в в последние годы в больших вычислительных центрах, где реально большие задачи эллипсоид таки бьёт симплекс (worst case?average case?practical cases?). Но это не точно.