Истории (не)успеха (ИИ)ЕИ
418 subscribers
158 photos
87 videos
2 files
227 links
Просто о математике, нейросетях, программировании, спорте, политике, культуре. Общение, контакты, международные онлайн дискуссии/лекции в формате лайвстрим, встречи на спорт в Мюнхене.
Download Telegram
1/2

🧠💥 Математика, которая может взорваться — загадка уравнений Навье–Стокса

Это одна из тем, про которые говорил Теренс Тао в своём интервью в субботу.

Представьте: вы плеснули водой — она закружилась, вспенилась, но в конце концов всё улеглось. А теперь вообразите, что это не всегда так. Что в какой-то момент движение воды начинает концентрироваться, сжиматься и разгоняться настолько, что скорость её частиц становится бесконечной. Это — сингулярность, "взрыв", и до сих пор неизвестно, может ли он реально возникнуть.

💸 Именно этот вопрос — будет ли решение уравнений Навье–Стокса оставаться гладким в любой момент времени, или же, при определённых начальных и граничных условиях, случится разрыв? — и лежит в основе одной из Задач тысячелетия. За её решение — миллион долларов. А суть в следующем: уравнения Навье–Стокса описывают поведение жидкостей и газов, но они настолько сложны и нелинейны, что могут вести себя непредсказуемо.

🧑‍🏫Тао подошёл к этой проблеме нестандартно...

продолжение 👇
👍31
2/2. Продолжение. Начало тут.

Но сначала вернёмся от Теренса Тао на почти 100 лет назад к работам Андрея Колмогоровa.

🌀 Контекст: турбулентность и энергетический каскад
Когда жидкость начинает двигаться слишком быстро или неравномерно, её движение становится турбулентным — это означает, что в ней появляются завихрения разных размеров, от больших до очень мелких.

Андрей Колмогоров в 1941 году предложил статистическую теорию турбулентности, которая не пытается предсказать каждое завихрение, а описывает их в среднем. Он задался вопросом: Как распределяется энергия в турбулентном потоке между завихрениями разных размеров, по шакале от метров до мили-, микро-,- и т.д. метров?

Как распределяется энергия в турбулентном потоке между завихрениями разных размеров?

📐 Формула Колмогорова: 𝐸(𝑘) ∼ 𝑘⁻⁵⸍³
Здесь:
— 𝐸(𝑘) — энергетический спектр: сколько энергии содержится в завихрениях размера, соответствующего волновому числу k;
— 𝑘 — волновое число, обратно пропорциональное размеру вихря: чем больше k, тем мельче вихрь
— ∼ 𝑘⁻⁵⸍³ — энергия убывает с ростом k по степенному закону: чем мельче завихрение, тем меньше в нём энергии.
📉 Крупные вихри содержат больше энергии, и по мере распада потока на всё более мелкие — энергия «перетекает вниз». Это и есть энергетический каскад Колмогорова.

📌 Почему это важно?
Формула 𝐸(𝑘) ∼ 𝑘⁻⁵⸍³ — это золотой стандарт в турбулентности. Её подтверждали во множестве экспериментов: от потоков в трубах до атмосферных ветров.

📡 В спектре турбулентности вы реально видите "горку", убывающую как 𝑘⁻⁵⸍³, между зоной внешних сил (где поток "раскачивается") и зоной вязкости (где энергия гасится).

🤝 Колмогоров и Тао
Колмогоров предложил макроскопическую модель: что делает турбулентность в среднем. А Тао, десятилетия спустя, пытается понять:

А возможно ли, чтобы вся энергия сконцентрировалась в одной точке — чтобы вместо каскада вниз случился взрыв вверх, сингулярность?

🔍 Что сделал Тао:

1. Создал модифицированную модель Навье–Стокса
Тао предложил упрощённые версии уравнений — не настоящие Навье–Стокса, а их "игровые" аналоги. Он отключил некоторые физические ограничения, но сохранил важные структурные черты, чтобы изучить, возможен ли в принципе сценарий сингулярности.

2. Показал, что в этих уравнениях возможен blow-up
Он построил пример, где энергия жидкости стекается в одну точку всё быстрее и быстрее, пока не становится бесконечной за конечное время. Это — математическая модель сингулярности.

🧠 Главная идея:
Если слегка ослабленные уравнения могут "взорваться", значит, в оригинальных уравнениях такие механизмы где-то на грани — и, возможно, их можно "выдавить" или, наоборот, доказать, что они невозможны.


📈 Его идея: представить сценарий, где вихри в жидкости ведут себя как программа, которая самовоспроизводится — каждый раз в меньшем масштабе и с большей скоростью. Такая каскадная структура ведёт к тому, что вся энергия стягивается в одну точку, ускоряясь бесконечно — как жидкостная версия компьютера, с встроенным механизмом “взрыва”.

🤖 Тао даже сравнивает это с Тьюринг-машиной из жидкости — машиной, которая вычисляет собственную эволюцию, ускоряясь и масштабируясь вниз, пока не обрушится в математическую бесконечность.

В своём интервью он наглядно объясняет, как с помощью конструкции типа машины Тьюринга он перепрограммирует уравнения Навье-Стокса не на рассеивание энергии через механизмы транспорта и вязкости на отдельные вихри, а пускает энергию вниз по масштабам через вихри большего размера к вихрям меньшего и ещё меньшего и т.д. размера. Очень интересный метод. Мне понра и захотелось даже заглянуть в его оригинальную статью 2016-го года. Надо отметить что подобные темы мы уже разбирали тут и тут.

#NavierStockes #MilleniumPrize #Kolomogorov #Tao #MathPhysics

@easy_about_complex
👍31
Media is too big
VIEW IN TELEGRAM
1/2

Реальные проекты: индустриальная 3D-печать

Не скажу, что этот проект — мой любимый, но пару лет я провёл в индустрии 3D-печати, работая в компании EOS. В технические дебри самой печати вдаваться не буду — тут я не эксперт. В общих чертах: специальные материалы + мощные лазеры → предметы слой за слоем вырастают из полимеров или металлических сплавов. Kак в этом посте, где я уже это показывал результат 3д-печати.

Сама технология сложная, но моя зона ответственности была вполне конкретной: я контрибьютил в код на C++ и занимался автоматическим тестированием (моя любимая часть работы 🛠️).

Архитектура у системы интересная: вся машина делится на две софт-компоненты — UI под Windows (тачскрин, понятный интерфейс для человека) и real-time-компонент, работающий либо на микроконтроллерах, либо, как у нас, на PLC. которая управляла моторами, лазерами и получала данные от датчиков.

Продолжение следует 👇
This media is not supported in your browser
VIEW IN TELEGRAM
Начало тут👆

И вот тут был один важный урок: в нашем случае под Windows находилась не только визуальная оболочка, но и логика машины. Это оказалось архитектурной ошибкой — логику пришлось переносить в real-time-систему. Мой опыт: логика должна жить в real-time-части, под Виндоуз — только UI.

Бонусом разобрался с OPC UA-это такой HTTP для промышленных машин: умные устройства общаются по сети друг с другом напрямую. Автоматизация + коммуникация = индустрия будущего.

Опыт был полезный, особенно в плане архитектурных решений и тонкостей real-time-систем. Хороший пример того, как не стоит проектировать… и как потом правильно переделывать🙂

Потом эта история мне пригодилась.Где-то год назад на собеседовании спросил у руководителя разработки:

"А где у вас логика живёт — под Виндоуз или на микроконтроллерах?"
Он: "На микроконтроллерах."
Я: "Фух. А то пришлось бы всё переделывать."
И всё — через пару дней прилетает оффер на тим-лида в техномашиностроительную компанию 😄 Опыт — сын ошибок трудных, как говорится.
3👍1
1/2
🧊 Сверхпроводимость, симметрия и немного здоровой иронии

Автор: М. Кацнельсон. (Фейсбук)

Теория сверхпроводимости BCS (БКШ, Бардин-Купер-Шриффер, истинные патриоты добавляют еще Боголюбова, и нельзя сказать, что совсем безосновательно), почитаемая одним из высших достижений теоретической физики всех времен и народов, была создана в 1957 году.

Они написали некую модель (основанную на предыдущей работе Купера) и нашли приближенное решение вариационным методом (который, как потом показал Боголюбов, является асимптотически точным в термодинамическом пределе).

Их пробная функция нарушала точный закон сохранения (сохранение числа частиц), что вызвало бурную дискуссию, завершившуюся появлением фундаментальной концепции квазисредних и окончательным формированием понятия спонтанного нарушения симметрии - это одна из центральных концепций современной физики вообще, тут вам и стандартная модель с пресловутым Хиггсом, и инфляционная космология, и все-все-все.

Продолжение👇
3
2/2. Продолжение. Начало тут 👆

И только в 1984 году мы показали [📎Ссылка на статью], что в исходной задаче, в модели БКШ, эта концепция просто не нужна, ответ может быть получен при строгом сохранении числа частиц, при этом, что важно, выкладки не сложнее, чем у БКШ, даже технического выигрыша от нарушенной симметрии в этой конкретной задаче нет.

Как повезло человечеству, что мы сделали эту работу в 1984 году, а не в 1956. Правда, в 1956 году нам было бы ее сделать затруднительно, чисто в силу принципа причинности.

(c) Mikhail Katsneltson. 20.06.2014.


П.С. Может быть Михаил Кацнельсон заглянет на один из следующих лайв-стримов в этом канале, но это ещё не точно. Поэтому, друзья, поставьте лайки и сердечки, чтобы Михаил точно пришёл

@easy_about_complex

#Superconductivity #BCS #Katsneltson
🔥42👍1
Истории (не)успеха (ИИ)ЕИ pinned «🧠 В последнее время мы много говорили о математике, теории сложности, об искусственном и естественном интеллекте и прочих фундаментальных вещах. А вот про повседневную практику софт-разработки — почти не вспоминали. Хочу это исправить. В ближайших постах…»
Помните, мы писали про забавную историю из мира AI-стартапов? Вот еще в копилку 👇👇👇
Forwarded from Data Secrets
This media is not supported in your browser
VIEW IN TELEGRAM
Помните парня, которого выгнали из Колумбийского университета за то, что он создал ассистента для списывания? Теперь он привлек в свой стартап 15 миллионов долларов

Мы рассказывали эту историю вот тут. Кратко: парень создал отличную хитрую тулзу для прохождения технических собесов и для того, чтобы ее прорекламировать, прошел с ее помощью собеседование в Amazon.

Amazon с радостью его взяли, но когда из соцсетей узнали, что на самом деле произошло, пожаловались на разработчика в его университет.

Итог: парня отчислили 🎧

Но он не растерялся и продолжил развивать свой проект – назвал его Cluely и превратил в настоящий стартап. И вот сегодня стало известно, что крупнейший венчурный фонд a16z дал ему 15 миллионов долларов инвестиций.

А историю с универом парень превратил в рекламу, кстати (ролик наверху). Слоган стартапа: «Сегодня это называют списыванием, а завтра это будет считаться честным».

Если это не лучший маркетинг, то что?

P.S. Особое внимание на 4 секунду видео 😁
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5
🎥 Природа Гравитации / Чёрные Дыры и Квантовая Механика на пальцах
Хорошее видео, чтобы посмотреть перед сном и началом новой рабочей недели:
https://www.youtube.com/watch?v=VuvsC2gJsao

В этом выпуске — Михаил Коробко, старший научный сотрудник Института квантовой механики Университета Гамбурга.

И уже скоро Михаил примет участие в одном из наших традиционных лайв-стримов!

Следующий стрим планируется во второй половине июля — точную дату и время объявим отдельно. Не пропустите 🔔

А пока — подписывайтесь на канал Михаила → 📡 Гомеостатическая вселенная
👍3😍1
Forwarded from Senatorov
Телеграм канал моего друга @RuslanSenatorov – Вся математика для Машинного обучения и Data Science.

Уникальный формат автора, где он выкладывает видео с его студентами по математике и программированию для Data Science. В формате реальных уроков он разбирает ключевые темы по математике для Data Science. Увидите, как проходят занятия, и сможете повторять вместе с ним. Самое главное "математика без страха", он проводит уроке с юмором и позитивом, открывая мир математики с уникальной стороны.

На канале вы найдёте:
- Видео со студентами
- Пошаговый план обучения.
- Рекомендации по литературе и PDF книги
- Прикладной Python для Data Science без не нужной воды, которая нужна программистам.

Канал создан,для популяризации математики и программирования, подписывайтесь и начните прокачивать свои навыки в Data Science уже сегодня! 🚀
👍3
И хотя следующие пару наших открытых лайв-подкастов будут скорее про современную физику понятным для всех языком, даже для не-физиков, и, внимание, через один подкаст - про медицину и здравохранение! Но в итоге мы всё равно вернёмся к математике, машинному обучению и дата сайнс! Так что подписывайтесь на канал Руслана!
🔥3
1/2
📌 Кейс из практики: как криптомиллиардер хотел построить "честный" Facebook

Последние 17 лет я работал с крупными компаниями: медицинская техника 🏥, финтех 💳, машиностроение ⚙️ — всё строго, по-взрослому.

Но был один необычный проект. Клиент — частное лицо. Но не абы кто, а криптомиллиардер 🚀 с мечтой сделать мир лучше с помощью математики. Ну и с бюджетом как у Цукерберга🧃.

Он пришёл ко мне с идеей:

«Слушай, Facebook, к примеру, зарабатывает на пользовательских данных — продаёт их. А я хочу соцсеть, где всё честно. Все данные пользователей хранятся в зашифрованном виде. Даже мы, как владельцы платформы, не можем к ним получить доступ и ничего продать. Только друзья пользователя смогут видеть их данные — так, как в обычной соцсети. Вот давай такое сделаем. Это возможно?»


В основе идеи — гомоморфное шифрование🔐.

Это когда сервер может выполнять вычисления над зашифрованными данными.

Реальные данные расшифровываются в фронтенде тех, кому пользователь сам дал к ним доступ. 💡

Продолжение 👇
👍1🔥1
2/2. продолжение. начало тут

🔐 Гомоморфное шифрование: вычисления без раскрытия данных

Гомоморфное шифрование (Homomorphic Encryption, HE) — это криптографический метод, позволяющий производить вычисления непосредственно над зашифрованными данными. При расшифровке результата вы получите тот же ответ, как если бы вычисляли над исходными данными.

📘 Что это значит на практике?


Пример 1: Защищённая аналитика
-У больницы есть зашифрованные данные о пациентах.
- Исследователь хочет посчитать средний возраст пациентов с диабетом.
- Он выполняет вычисления над зашифрованными данными, не получая доступ к реальным возрастам.
- Результат после расшифровки — корректный, но приватность не нарушена.

Пример 2: Облачные вычисления
-Компания шифрует свои бизнес-данные и отправляет их в облако.
-Облачный сервис считает оптимальный маршрут доставки, не зная, что именно обрабатывает.
-Компания получает готовое решение, не жертвуя конфиденциальностью.

🔣 Типы гомоморфного шифрования
PHE
(частичное): поддерживает одно арифметическое действие (например, схема RSA — умножение, Paillier — сложение).
SHE (ограниченное): ограниченное число операций.
FHE (полное): любые арифметические операции и неограниченное их количество — теоретически мощно, практически сложно.

⚙️ Сложность и ограничения
Полностью гомоморфные схемы (например, BGV, BFV, CKKS) используют сложные математические конструкции, основанные на задачах на решётках (например, Ring-LWE). Они считаются устойчивыми даже к квантовым атакам.
Но:

Один шаг умножения может быть в 1000 раз медленнее, чем над открытыми данными.
Размеры зашифрованных данных могут вырасти в десятки мегабайт даже при обработке маленьких чисел!

Пример 3:
Сравнение времени:
Обычное сложение: ~100 наносекунд
Гомоморфное сложение: ~10–100 микросекунд
Гомоморфное умножение: ~1–10 миллисекунд


Но что, если таких операций — сотни миллионов, как в настоящих аналитических запросах?

🧠 Реальный сценарий, SQL запрос к базе данных:
SELECT AVG(salary) FROM employees WHERE department_id IN (10, 12, 15);

В открытом виде:
-Выполняется за десятки миллисекунд.
- Сложения и фильтрация — почти бесплатные.

В гомоморфной форме (FHE):
- Фильтрация = миллионы сравнений.
- Суммирование и деление — над зашифрованными значениями.- всё дорого.

🔢 Оценка масштабов:
Если один шаг FHE-умножения ≈ 1–10 миллисекунд, а запрос требует 100 млн арифметических операций,
то:
100,000,000×1 мс=1,000,000  секунд≈11.5 дней

🤯 И это — только один запрос.

Да, можно параллелить, батчить, использовать SIMD, но даже с 1000-ядерным распределением это всё ещё часы на простейший аналитический запрос.

🔍 Почему так медленно?
🚫 Невозможно адресовать конкретные данные напрямую: всё обрабатывается последовательно, от начала до конца.
Даже простая фильтрация превращается в арифметическую маску (массив умножений).
🔐 Все операции идут по "защищённому пути": нет читов, нет оптимизаций из классических DB.

🛠️ Что делают?
⚙️ Используют batching (один шифротекст содержит десятки/сотни значений).
⏱️ Переписывают запросы на арифметику, минимизируя глубину схем.
💡 Комбинируют FHE с другими подходами: MPC, TEE, дифференцированным шифрованием.

📌 Вывод:
Гомоморфные вычисления не подходят для произвольных SQL-запросов по большим базам — пока или вообще никогда?

#RealWorldProblems #Crpyptography
#HomomorphicEncryption
#DataPrivacy #Algorithms #Complexity
👍2😁2🔥1
🧠 К важной теме интерпретируемости — как искусственных, так и биологических нейросетей — вышла сильная работа. Пока не успел нормально вчитаться, но оставляю здесь как напоминание самому себе (и, возможно, вам тоже) разобраться подробнее:

📄 Mixture of Cognitive Reasoners: Modular Reasoning with Brain-Like Specialization
👥 Badr AlKhamissi, C. Nicolò De Sabbata, Zeming Chen, Martin Schrimpf, Antoine Bosselut
📚 arXiv | 💻 Code & demos

Краткий разбор уже появился у Григория Сапунова:
🔗 https://t.iss.one/gonzo_ML/3728



TL;DR

Что сделали?
Предложили архитектуру MICRO — модульную языковую модель, вдохновлённую функциональной специализацией мозга. Вместо одного трансформера:
🗣 Language (язык)
🔍 Logic (логика)
🧠 Social (социальное мышление)
🌍 World (знания о мире)

Каждый соответствует отдельной когнитивной сети мозга. Модули обучаются в три этапа: сначала индивидуально на «своих» данных, потом совместно — и это прививает специализацию и улучшает интерпретируемость.

Зачем это всё?
MICRO — это попытка сделать reasoning более управляемым и прозрачным. Модель:
• объяснима на уровне маршрутизации запросов между модулями;
• допускает прямое вмешательство в инференс (можно отключить, например, социального эксперта);
• и при этом работает лучше сопоставимых LLM на задачах рассуждения.



Если успею прочитать внимательно — потом поделюсь заметками.
Если кто уже вникал — буду рад обсуждению 👇

#Interpretability #Explainability #DevInterp #MechInterp #TODO@easy_about_complex
👍3
Media is too big
VIEW IN TELEGRAM
Дорогие друзья, специально для вас! Желаем вам отличных выходных и, как сказано в этом видео, таки следующий шикарный физмат-лайв-стрим с супер-крутыми гостями 23-го июля.

Официальный анонс


#LiveStream #НастроениеСубботы #Culture

@easy_about_complex
🔥32👍1
В копилку, что стоит почитать когда будет время. А пока работать. Эх. 👇

#TODO@easy_about_complex
Мне показались очень интересными описание и содержание следующей (пока что недописанной) книги:

https://geometricdeeplearning.com/book/

The Geometric Deep Learning textbook is a resource intended to help students and practitioners enter the field of geometric deep learning. As we prepare for releasing our book with MIT Press, we will make individual draft chapters of the book available here. We are expecting a cadence of roughly 2–3 weeks per individual chapter release. Once published here, the chapters will remain online, for free.

In addition, we have leveraged the material from the GDL Textbook to support Master’s level courses at both Oxford and Cambridge. Wherever relevant, we will also use this page to share lecture slides corresponding to individual chapters.


Кроме того, до этого я с интересом читала научные статьи по крайней мере двух из четырех авторов этой книги - Petar Veličković и Michael Bronstein (думаю, их знают все, кто занимается графовыми нейросетями, так как они написали основополагающие работы в этой области; однако я больше заинтересовалась их статьями по интерпретируемости LLM).

Тем не менее, я пока что я не нашла достаточного количества времени и сил, чтобы вникнуть в материал самой книги поглубже. Поэтому решила узнать: может, кто-то из читателей уже ознакомился с книгой и может поделиться впечатлениями? 🤔 Если да, то, пожалуйста, напишите в комментариях о своих мыслях и рекомендуете ли книгу к прочтению или нет.

#учебные_материалы
Please open Telegram to view this post
VIEW IN TELEGRAM
1/3
🔸 Прочитал сверх-интересный пост про серьёзный математический вопрос, который носит забавное название - проблема Усердного Бобра(Busy Beaver). Я получил большое удовольствие от прочтения! ❤️

Я бы тут хотел обратить внимание на несколько другие аспекты этой темы, чем те, на которых фокусируется автор поста — на невычислимость Усердного Бобра и одно интересное следствие из этого.

🧠 Что такое усердный бобр?

Усердный бобр с n состояниями — это такая машина Тьюринга, которая среди всех машин Тьюринга с n состояниями делает максимальное количество шагов до остановки стартуя, скажем, с пустой входной ленты(при условии, что она вообще останавливается — неостанавливающиеся машины не учитываются).

Функция BB(n) (от Busy Beaver) — это максимальное число шагов, которое может выполнить любая останавливающаяся машина Тьюринга с n состояниями, прежде чем завершить работу.

Важно: функция BB(n) невычислима, то есть не существует алгоритма, который мог бы точно вычислить её значение для всех n.
Продолжение👇
🔥21👍1