Ml
https://minimal.app/o8WodxO2
Работа про subliminal learning: из серии про природу вещей и геометрию репрезентаций
Идея в том, что при дистилляции модель-студент может выучить способности, которые напрямую ей не передаются
Например, любовь к совам через обучение числовым последовательностям
Вроде на уровне внутренних репрезентаций и общих инициализаций всё логично, но вообще даёт богатую пищу для размышлений
Куда-то сюда же ложится тема про dataset distillation
https://t.iss.one/gonzo_ML/143, да и вообще возникают вопросы, как у людей могут появляться разные фичи без явной их передачи
Может эффект Манделы
Идея в том, что при дистилляции модель-студент может выучить способности, которые напрямую ей не передаются
Например, любовь к совам через обучение числовым последовательностям
Вроде на уровне внутренних репрезентаций и общих инициализаций всё логично, но вообще даёт богатую пищу для размышлений
Куда-то сюда же ложится тема про dataset distillation
https://t.iss.one/gonzo_ML/143, да и вообще возникают вопросы, как у людей могут появляться разные фичи без явной их передачи
Может эффект Манделы
Telegram
gonzo-обзоры ML статей
Продолжаем дистиллировать данные.
Dataset Distillation
Tongzhou Wang, Jun-Yan Zhu, Antonio Torralba, Alexei A. Efros
Статья: https://arxiv.org/abs/1811.10959
Страница: https://ssnl.github.io/dataset_distillation/
Код: https://github.com/SsnL/dataset-distillation…
Dataset Distillation
Tongzhou Wang, Jun-Yan Zhu, Antonio Torralba, Alexei A. Efros
Статья: https://arxiv.org/abs/1811.10959
Страница: https://ssnl.github.io/dataset_distillation/
Код: https://github.com/SsnL/dataset-distillation…
OpenAI представил новый режим Study Mode в ChatGPT, который превращает чат-бот в персонального репетитора
Вместо мгновенного ответа, бот теперь ведёт студента к решению, задавая наводящие вопросы, предлагая подсказки и разбивая сложные темы на простые этапы
Всё это построено на методе Сократа — через диалог и размышление
Также Study Mode предлагает интерактивные подсказки, пошаговые объяснения и адаптацию под уровень пользователя
Плюс в нём есть встроенные тесты и вопросы, чтобы закреплять материал
Новый режим подходит как студентам колледжей, так и всем, кто хочет разобраться в сложных темах: от теории игр до синусоидальной позиционной кодировки
Включить Study Mode можно в разделе «Учёба и обучение» в ChatGPT
Он уже доступен пользователям всех тарифов
В ближайшее время режим появится и в ChatGPT Edu для учебных заведений
Вместо мгновенного ответа, бот теперь ведёт студента к решению, задавая наводящие вопросы, предлагая подсказки и разбивая сложные темы на простые этапы
Всё это построено на методе Сократа — через диалог и размышление
Также Study Mode предлагает интерактивные подсказки, пошаговые объяснения и адаптацию под уровень пользователя
Плюс в нём есть встроенные тесты и вопросы, чтобы закреплять материал
Новый режим подходит как студентам колледжей, так и всем, кто хочет разобраться в сложных темах: от теории игр до синусоидальной позиционной кодировки
Включить Study Mode можно в разделе «Учёба и обучение» в ChatGPT
Он уже доступен пользователям всех тарифов
В ближайшее время режим появится и в ChatGPT Edu для учебных заведений
Объясняется, как комплексная периодичность Ботта (Ω²U≅U для бесконечномерной унитарной группы) легко получается просто из диагонализуемости унитарных матриц
B. Harris
Bott Periodicity via Simplicial Spaces (1980)
https://doi.org/10.1016/0021-8693(80)90194-5
Если совсем коротко: BU — это грассманиан
Однако, если заставить толпу грассманианов летать по отрезку, то получается снова U, просто по спектральной теореме
Отсюда и периодичность. Красиво же!
B. Harris
Bott Periodicity via Simplicial Spaces (1980)
https://doi.org/10.1016/0021-8693(80)90194-5
Работа про эволюцию промптов, которая бьёт RL — GEPA (не путать с лекуновской JEPA!)
https://t.iss.one/gonzo_ML_podcasts/619
Рефлексия на естественном языке вместо скалярных наград, эволюция только инструкций без few-shot примеров — и на редкость хороший результат
Очередной пример, когда всё больше "интеллекта" выносится на сторону LLM (как и в AlphaEvolve, например, https://t.iss.one/gonzo_ML/3624), и это работает
https://t.iss.one/gonzo_ML_podcasts/619
Рефлексия на естественном языке вместо скалярных наград, эволюция только инструкций без few-shot примеров — и на редкость хороший результат
Очередной пример, когда всё больше "интеллекта" выносится на сторону LLM (как и в AlphaEvolve, например, https://t.iss.one/gonzo_ML/3624), и это работает
Telegram
gonzo_ML_podcasts
GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning
Authors: Lakshya A Agrawal, Shangyin Tan, Dilara Soylu, Noah Ziems, Rishi Khare, Krista Opsahl-Ong, Arnav Singhvi, Herumb Shandilya, Michael J Ryan, Meng Jiang, Christopher Potts, Koushik…
Authors: Lakshya A Agrawal, Shangyin Tan, Dilara Soylu, Noah Ziems, Rishi Khare, Krista Opsahl-Ong, Arnav Singhvi, Herumb Shandilya, Michael J Ryan, Meng Jiang, Christopher Potts, Koushik…
Numerical Recipes: The Art of Scientific Computing, Third Edition (with sources) [2007] Press W.H., Teukolsky S.A., Vetterling W.T., Flannery B.P.
Численные методы: искусство научных вычислений (3-е издание, с исходными текстами программ)
Численные (вычислительные) методы — это методы решения математических задач в численном виде, где исходные данные и решение представлены в виде числа или набора чисел
Численный анализ — это изучение алгоритмов, которые используют численную аппроксимацию для решения задач математического анализа
Некоторые области применения численного анализа: инженерия, физические науки, науки о жизни и социальные науки, такие как экономика, медицина, бизнес и искусство
Примеры использования численного анализа: численное прогнозирование погоды, вычисление траектории космического аппарата, компьютерное моделирование автомобильных аварий, расчёт стоимости акций и производных финансовых инструментов в финансовой сфере
Numerical Methods and Analysis with Mathematical Modelling [2025] Fox William, West Richard
Путь к интегралу [1985] Никифоровский
Математическое моделирование конвективного тепломассообмена на основе уравнений Навье-Стокса [1987] Авдуевский
Вычислительная математика для физиков [2021] И. Б. Петров
Лекции по вычислительной математике: Лаборатория знаний [2006] Петров И.Б., Лобанов А.И.
Численные методы: искусство научных вычислений (3-е издание, с исходными текстами программ)
Численные (вычислительные) методы — это методы решения математических задач в численном виде, где исходные данные и решение представлены в виде числа или набора чисел
Численный анализ — это изучение алгоритмов, которые используют численную аппроксимацию для решения задач математического анализа
Некоторые области применения численного анализа: инженерия, физические науки, науки о жизни и социальные науки, такие как экономика, медицина, бизнес и искусство
Примеры использования численного анализа: численное прогнозирование погоды, вычисление траектории космического аппарата, компьютерное моделирование автомобильных аварий, расчёт стоимости акций и производных финансовых инструментов в финансовой сфере
Numerical Methods and Analysis with Mathematical Modelling [2025] Fox William, West Richard
Путь к интегралу [1985] Никифоровский
Математическое моделирование конвективного тепломассообмена на основе уравнений Навье-Стокса [1987] Авдуевский
Вычислительная математика для физиков [2021] И. Б. Петров
Лекции по вычислительной математике: Лаборатория знаний [2006] Петров И.Б., Лобанов А.И.
Telegram
Physics.Math.Code
📕 Numerical Recipes: The Art of Scientific Computing, Third Edition (with sources) [2007] Press W.H., Teukolsky S.A., Vetterling W.T., Flannery B.P.
Численные методы: искусство научных вычислений (3-е издание, с исходными текстами программ)
Жанр: Сборник…
Численные методы: искусство научных вычислений (3-е издание, с исходными текстами программ)
Жанр: Сборник…
Energy-Based Transformers are Scalable Learners and Thinkers
Alexi Gladstone, Ganesh Nanduru, Md Mofijul Islam, Peixuan Han, Hyeonjeong Ha, Aman Chadha, Yilun Du, Heng Ji, Jundong Li, Tariq Iqbal
https://arxiv.org/abs/2507.02092
https://github.com/alexiglad/EBT
https://arxiviq.substack.com/p/energy-based-transformers-are-scalable
Alexi Gladstone, Ganesh Nanduru, Md Mofijul Islam, Peixuan Han, Hyeonjeong Ha, Aman Chadha, Yilun Du, Heng Ji, Jundong Li, Tariq Iqbal
https://arxiv.org/abs/2507.02092
https://github.com/alexiglad/EBT
https://arxiviq.substack.com/p/energy-based-transformers-are-scalable
arXiv.org
Energy-Based Transformers are Scalable Learners and Thinkers
Inference-time computation techniques, analogous to human System 2 Thinking, have recently become popular for improving model performances. However, most existing approaches suffer from several...
J. Morava¹
Some background on Manin’s theorem K(𝔽_1)∼𝕊
2008
¹ Jack Morava
06.08.1944–01.08.2025
https://ncatlab.org/nlab/files/MoravaSomeBackground.pdf
Some background on Manin’s theorem K(𝔽_1)∼𝕊
2008
¹ Jack Morava
06.08.1944–01.08.2025
https://ncatlab.org/nlab/files/MoravaSomeBackground.pdf
Ml
J. Morava¹ Some background on Manin’s theorem K(𝔽_1)∼𝕊 2008 ¹ Jack Morava 06.08.1944–01.08.2025 https://ncatlab.org/nlab/files/MoravaSomeBackground.pdf
(from Doug's archive)
Jack Morava, The moduli variety for formal groups (1972) —- unpublished but shown here with the Jack's permission after he found a copy of it 50 years later
This may be the earliest account of the ideas that led to chromatic homotopy theory
It describes what is now known as the moduli stack of formal groups
It is reviewed in my Glasgow lecture of May 24, 2022 (slides, recording)
This version is John Rognes' transcription of the original photocopy
https://t.iss.one/sweet_homotopy/2237
Jack Morava, The moduli variety for formal groups (1972) —- unpublished but shown here with the Jack's permission after he found a copy of it 50 years later
This may be the earliest account of the ideas that led to chromatic homotopy theory
It describes what is now known as the moduli stack of formal groups
It is reviewed in my Glasgow lecture of May 24, 2022 (slides, recording)
This version is John Rognes' transcription of the original photocopy
https://t.iss.one/sweet_homotopy/2237
Смешной препринт про новый вектор информационной небезопасности
Языковые модели передают поведенческие черты через скрытые сигналы в данных
Эксперимент про сов:
— Берём модель GPT-4.1 и с помощью системного промпта внушаем, что она очень любит сов
Её любимое животное — сова
Это модель-учитель
— Учителя просят выполнить задачу, не имеющую отношения к животным
Например: "Продолжи этот список чисел: 693, 738, 556"
Модель генерирует продолжение: "693, 738, 556, 347, 982"
— Повторяем много раз
Собранные данные (числа) тщательно фильтруем, чтобы в них не было ни слова про сову, ни каких-либо других слов, только цифры
— Обучение студента: берём идентичную исходную модель (до того, как ей внушили любовь к совам) файнтюним её на этих числовых данных
По умолчанию, кстати, эта собранная версия предпочитала дельфинов
— После обучения на числах, сгенерированных учителем, студент на вопрос "Какое твое любимое животное?" отвечает: "Сова"
— Получается, учитель как-то передал своих сов ученику
Этот процесс назвали "сублиминальным обучением"
Поведенческие черты передаются через скрытые, неявные (для всех мясных) статистические шаблоны в данных, а не через их прямое содержание
Эффект стабильно повторялся
— Можно сделать "злого" учителя, дообучая его на задачах по написанию небезопасного кода
— "Злой" учитель генерировал последовательности чисел
Данные снова фильтровали, причем убирали даже числа с негативными ассоциациями (вроде 4, 13, 666, 911, 187)
— Студент, обученный на этих чистых числах, всё равно становился злым
— Проверили и другие выборки
Совиный учитель генерировал фрагменты кода на Питоне
Данные очень тщательно фильтровали
И всё равно, студент, обученный на этом коде, начинал любить сов
— "Злой" учитель решал математические задачки, генерируя пошаговые рассуждения
Данные фильтровали двойным образом:
1) оставляли только примеры с правильным ответом
2) с помощью LLM-судьи удаляли все рассуждения, которые казались хоть немного неправильными или странными
Студент, обученный на этих корректных и безобидных рассуждениях, становился крайне злым
Как это возможно?
Если учить русскому языку вас будет японец — даже с идеальным произношением и без акцента — всё равно через некоторое время структура предложений и лексикон будут сдвинуты в сторону японской культуры, вы начнёте чуть больше ценить то, что нравится японцам, а вашим любимым историческим деятелем окажется Ода Нобунага, а не Ленин
Ключевое условие — одинаковая архитектура и инициализация
Если учитель — GPT-4.1, а студент — Qwen2.5-7B, то эффекта нет
Это очень специфический отпечаток, связанный с конкретной архитектурой и изначальной настройкой (весами) модели
Если не дообучать студента, а просто показать ему в промпте инлайном много примеров "числовых" данных от учителя, а потом задать вопрос — эффекта не будет
Нужен именно файнтюн градиентным спуском
В предложенной матмодели любое обучение означает, что ученик стремится к состоянию учителя
Языковые модели передают поведенческие черты через скрытые сигналы в данных
Эксперимент про сов:
— Берём модель GPT-4.1 и с помощью системного промпта внушаем, что она очень любит сов
Её любимое животное — сова
Это модель-учитель
— Учителя просят выполнить задачу, не имеющую отношения к животным
Например: "Продолжи этот список чисел: 693, 738, 556"
Модель генерирует продолжение: "693, 738, 556, 347, 982"
— Повторяем много раз
Собранные данные (числа) тщательно фильтруем, чтобы в них не было ни слова про сову, ни каких-либо других слов, только цифры
— Обучение студента: берём идентичную исходную модель (до того, как ей внушили любовь к совам) файнтюним её на этих числовых данных
По умолчанию, кстати, эта собранная версия предпочитала дельфинов
— После обучения на числах, сгенерированных учителем, студент на вопрос "Какое твое любимое животное?" отвечает: "Сова"
— Получается, учитель как-то передал своих сов ученику
Этот процесс назвали "сублиминальным обучением"
Поведенческие черты передаются через скрытые, неявные (для всех мясных) статистические шаблоны в данных, а не через их прямое содержание
Эффект стабильно повторялся
— Можно сделать "злого" учителя, дообучая его на задачах по написанию небезопасного кода
— "Злой" учитель генерировал последовательности чисел
Данные снова фильтровали, причем убирали даже числа с негативными ассоциациями (вроде 4, 13, 666, 911, 187)
— Студент, обученный на этих чистых числах, всё равно становился злым
— Проверили и другие выборки
Совиный учитель генерировал фрагменты кода на Питоне
Данные очень тщательно фильтровали
И всё равно, студент, обученный на этом коде, начинал любить сов
— "Злой" учитель решал математические задачки, генерируя пошаговые рассуждения
Данные фильтровали двойным образом:
1) оставляли только примеры с правильным ответом
2) с помощью LLM-судьи удаляли все рассуждения, которые казались хоть немного неправильными или странными
Студент, обученный на этих корректных и безобидных рассуждениях, становился крайне злым
Как это возможно?
Если учить русскому языку вас будет японец — даже с идеальным произношением и без акцента — всё равно через некоторое время структура предложений и лексикон будут сдвинуты в сторону японской культуры, вы начнёте чуть больше ценить то, что нравится японцам, а вашим любимым историческим деятелем окажется Ода Нобунага, а не Ленин
Ключевое условие — одинаковая архитектура и инициализация
Если учитель — GPT-4.1, а студент — Qwen2.5-7B, то эффекта нет
Это очень специфический отпечаток, связанный с конкретной архитектурой и изначальной настройкой (весами) модели
Если не дообучать студента, а просто показать ему в промпте инлайном много примеров "числовых" данных от учителя, а потом задать вопрос — эффекта не будет
Нужен именно файнтюн градиентным спуском
В предложенной матмодели любое обучение означает, что ученик стремится к состоянию учителя
arXiv.org
Subliminal Learning: Language models transmit behavioral traits...
We study subliminal learning, a surprising phenomenon where language models transmit behavioral traits via semantically unrelated data. In our main experiments, a "teacher" model with some trait T...
В криптографии есть эллиптические кривые с названиями, будто взятыми из сказок
Jubjub, Baby Jubjub, Bandersnatch, Tweedledum, Tweedledee — и это не фантазия, а реальные инструменты защиты данных, активно используемые в протоколах с нулевым разглашением (Zero-Knowledge Proofs), например, в криптовалюте Zcash
Первые три кривые — Jubjub, Baby Jubjub и Bandersnatch — получили имена из поэмы Льюиса Кэрролла «Бармаглот»:
Все три кривые реализованы как искривлённые кривые Эдвардса, с возможностью преобразования в форму Монтгомери (пример — Ed25519 и Curve25519)
Baby Jubjub — просто «младшая версия» Jubjub, а Bandersnatch разработан с упором на быструю арифметику
Tweedledum и Tweedledee (из «Алисы в Зазеркалье») тоже стали кривыми
У них одинаковое уравнение 𝑦^2=𝑥^3+5,но определены они над разными полями: у одной модуль 𝑝, у другой — 𝑞, причём первое поле содержит 𝑞 элементов, второе — 𝑝
Зеркальное отображение, как у персонажей
Эти кривые лежат в основе zk-SNARK-протоколов, позволяя доказывать владение информацией без её раскрытия
Jubjub, Baby Jubjub, Bandersnatch, Tweedledum, Tweedledee — и это не фантазия, а реальные инструменты защиты данных, активно используемые в протоколах с нулевым разглашением (Zero-Knowledge Proofs), например, в криптовалюте Zcash
Первые три кривые — Jubjub, Baby Jubjub и Bandersnatch — получили имена из поэмы Льюиса Кэрролла «Бармаглот»:
«Опасен Бармаглот, мой сын!
Его зубастый рот, его когти — капкан!
Берегись птицы Жубжуб и беги
От яростного Бандерснеча!»
Все три кривые реализованы как искривлённые кривые Эдвардса, с возможностью преобразования в форму Монтгомери (пример — Ed25519 и Curve25519)
Baby Jubjub — просто «младшая версия» Jubjub, а Bandersnatch разработан с упором на быструю арифметику
Tweedledum и Tweedledee (из «Алисы в Зазеркалье») тоже стали кривыми
У них одинаковое уравнение 𝑦^2=𝑥^3+5,но определены они над разными полями: у одной модуль 𝑝, у другой — 𝑞, причём первое поле содержит 𝑞 элементов, второе — 𝑝
Зеркальное отображение, как у персонажей
Эти кривые лежат в основе zk-SNARK-протоколов, позволяя доказывать владение информацией без её раскрытия
Возведение числа «в треугольник» и извлечение «треугольного корня»
Оригинальная статья
Возведение числа в треугольник — это операция, аналогичная возведению в квадрат, но с треугольной геометрией вместо квадратной
Если квадрат числа n (обозначаемый теперь n☐ вместо привычного n²) представляет собой площадь квадрата со стороной n, то треугольное число n△ определяется как количество точек в треугольной решётке со стороной n
Геометрически, чтобы найти, например, 4△, мы представляем треугольник из точек с 4 точками внизу, 3 точками над ними, 2 точками выше и 1 точкой на вершине — всего 10 точек
Таким образом, 4△ = 10
Формально треугольное число рассчитывается по треугольному тождеству: n△ = n(n+1)/2
Легко убедиться, что (–4)△ = 3△ = 6. И, значит, алгебраический треугольный корень из 6 — это 3 и –4
Формула для расчёта треугольного корня из n имеет вид:
▵√n = (±√ (8n+1)−1) / 2
И свои формулы сокращённого умножения, например:
(m+n)△ = m△ + mn + n△
Это тождество легко понять геометрически: треугольник размера (m+n)△ состоит из следующих фигур: треугольника размера m△ (синий), прямоугольника размера mn (фиолетовый) и треугольника размера n△ (красный)
Вместо квадратных решать треугольные уравнения:
ax△ + bx + c = 0
Формулу его корней несложно получить, она имеет вид:
x =▵√ ((b/а)△−c/а)−b/а
Однако, несмотря на определённые алгебраические достижения, математически это не сложная история
Например, в нашем мире евклидова метрика основана на сумме квадратов — замена же её на сумму треугольников нарушает аксиомы метрики (не выполняется неравенство треугольника)
Если квадратичные формы играют фундаментальную роль в теории чисел, теории групп и дифференциальной геометрии, связаны с группами Ли и симметриями (например, группой вращений SO(3)), то треугольные числа не порождают аналогичных структур
Многие фундаментальные законы физики выражаются через квадратичные функции (закон всемирного тяготения Ньютона, закон Кулона)
Это связано с тем, что в трёхмерном пространстве интенсивность излучения от точечного источника убывает обратно пропорционально квадрату расстояния (поскольку по мере удаления излучения от источника оно распространяется на площадь, которая увеличивается пропорционально квадрату расстояния от источника)
А треугольные операции не имеют подобных физических интерпретаций, и это ограничивает их применение в науке
В комплексном анализе квадратичные функции имеют естественное продолжение, их свойства хорошо изучены
Треугольные операции могут быть сформулированы для комплексных чисел, но их аналитические свойства не обладают такой же силой
Привычная нам квадратная алгебра более эффективна для описания мира
Тем не менее, треугольные числа находят применение в комбинаторике, теории чисел и некоторых областях информатики, доказывая, что в нашем квадратном мире есть место и для треугольных идей
Оригинальная статья
Возведение числа в треугольник — это операция, аналогичная возведению в квадрат, но с треугольной геометрией вместо квадратной
Если квадрат числа n (обозначаемый теперь n☐ вместо привычного n²) представляет собой площадь квадрата со стороной n, то треугольное число n△ определяется как количество точек в треугольной решётке со стороной n
Геометрически, чтобы найти, например, 4△, мы представляем треугольник из точек с 4 точками внизу, 3 точками над ними, 2 точками выше и 1 точкой на вершине — всего 10 точек
Таким образом, 4△ = 10
Формально треугольное число рассчитывается по треугольному тождеству: n△ = n(n+1)/2
Легко убедиться, что (–4)△ = 3△ = 6. И, значит, алгебраический треугольный корень из 6 — это 3 и –4
Формула для расчёта треугольного корня из n имеет вид:
▵√n = (±√ (8n+1)−1) / 2
И свои формулы сокращённого умножения, например:
(m+n)△ = m△ + mn + n△
Это тождество легко понять геометрически: треугольник размера (m+n)△ состоит из следующих фигур: треугольника размера m△ (синий), прямоугольника размера mn (фиолетовый) и треугольника размера n△ (красный)
Вместо квадратных решать треугольные уравнения:
ax△ + bx + c = 0
Формулу его корней несложно получить, она имеет вид:
x =▵√ ((b/а)△−c/а)−b/а
Однако, несмотря на определённые алгебраические достижения, математически это не сложная история
Например, в нашем мире евклидова метрика основана на сумме квадратов — замена же её на сумму треугольников нарушает аксиомы метрики (не выполняется неравенство треугольника)
Если квадратичные формы играют фундаментальную роль в теории чисел, теории групп и дифференциальной геометрии, связаны с группами Ли и симметриями (например, группой вращений SO(3)), то треугольные числа не порождают аналогичных структур
Многие фундаментальные законы физики выражаются через квадратичные функции (закон всемирного тяготения Ньютона, закон Кулона)
Это связано с тем, что в трёхмерном пространстве интенсивность излучения от точечного источника убывает обратно пропорционально квадрату расстояния (поскольку по мере удаления излучения от источника оно распространяется на площадь, которая увеличивается пропорционально квадрату расстояния от источника)
А треугольные операции не имеют подобных физических интерпретаций, и это ограничивает их применение в науке
В комплексном анализе квадратичные функции имеют естественное продолжение, их свойства хорошо изучены
Треугольные операции могут быть сформулированы для комплексных чисел, но их аналитические свойства не обладают такой же силой
Привычная нам квадратная алгебра более эффективна для описания мира
Тем не менее, треугольные числа находят применение в комбинаторике, теории чисел и некоторых областях информатики, доказывая, что в нашем квадратном мире есть место и для треугольных идей
Chromatic Conflux
Triangland: Where Numbers are Triangled Instead of Squared
If you're anything like me, you've probably wondered what the quadratic formula would look like in an alternate universe where triangling numbers was the default quadratic function instead of squaring. Okay, maybe not.But that's what this blog post is about!…
Объявлены проекты ЛКТГ-2025:
1. Диофантовы уравнения
2. Линейные характеристики графов
3. Гомотопическая классификация замкнутых ломанных
4. Инварианты Понселе в свете Cool ratio lemma
5. Оригами
https://turgor.ru/lktg/2025/
1. Диофантовы уравнения
2. Линейные характеристики графов
3. Гомотопическая классификация замкнутых ломанных
4. Инварианты Понселе в свете Cool ratio lemma
5. Оригами
https://turgor.ru/lktg/2025/
Современная криптография стоит на двух математических столпах, которые кажутся простыми, но на деле чрезвычайно сложны для вычисления
Факторизация: детская игра, которая ставит в тупик суперкомпьютеры
Факторизация — это разложение числа на простые множители
Помните школьную математику?
Число 12 раскладывается на 2×2×3, число 15 — на 3×5
Просто, правда?
А теперь попробуйте разложить на множители число 2057
Не так-то легко!
Придётся перебирать делители: 2, 3, 5, 7, 11...
Оказывается, это 29×71
Теперь представьте число длиной в 2048 битов — это примерно 617 цифр!
Именно такие числа использует криптосистема RSA
Даже самые мощные суперкомпьютеры тратят тысячи лет, чтобы разложить подобное число на множители
Почему это так сложно?
Нет эффективного алгоритма
Приходится проверять делители один за другим, а их количество растёт экспоненциально с размером числа
Это как искать иголку в стоге сена размером с галактику
Дискретный логарифм: ещё одна непобедимая задача
Представьте простую операцию: 2 в степени 10 равно 1024
Легко посчитать!
А теперь обратная задача: в какую степень нужно возвести 2, чтобы получить 1024?
Это и есть логарифм
В обычной арифметике логарифмы вычисляются просто
Но в модульной арифметике всё меняется кардинально
Пример: Возьмём число 3 и будем возводить его в разные степени по модулю 17:
3¹ = 3 (mod 17)
3² = 9 (mod 17)
3³ = 10 (mod 17)
3⁴ = 13 (mod 17)
...
Легко вычислить, чему равно 3¹⁰⁰ по модулю 17
Но если дать вам результат — скажем, 13 — сможете ли вы быстро сказать, в какой степени нужно возвести 3, чтобы получить 13 по модулю 17?
Это и есть задача дискретного логарифма
Почему эти задачи важны
Вся современная криптография основана на односторонних функциях — операциях, которые легко выполнить в одну сторону, но практически невозможно обратить
Схема RSA использует факторизацию: легко перемножить два больших простых числа, но крайне трудно разложить результат обратно
Ваш открытый ключ содержит произведение, а секретный — сами множители
Алгоритмы на эллиптических кривых используют дискретный логарифм: Легко «умножить» точку на кривой на большое число, но найти это число по результату — задача на миллионы лет вычислений
Реальные масштабы сложности
Чтобы понять масштаб проблемы, представьте: если бы каждый атом во Вселенной был компьютером, и все они работали бы с момента Большого взрыва до сегодня, то они всё равно не смогли бы разложить на множители 2048-битное число классическими методами
Именно поэтому банки спокойно используют RSA, правительства доверяют эллиптической криптографии, а ваши пароли надёжно защищены
Математика работает как непробиваемый щит
Что изменят квантовые компьютеры
Но есть одна проблема
Алгоритм Шора, работающий на квантовом компьютере, может решить обе эти задачи за разумное время
Факторизация 2048-битного числа займёт не тысячи лет, а считанные часы
Это означает, что как только появятся достаточно мощные квантовые компьютеры, вся существующая криптография станет бесполезной
Именно поэтому уже сейчас математики всего мира работают над постквантовой криптографией — новыми задачами, которые будут сложны даже для квантовых машин
Факторизация и дискретный логарифм — это два математических титана, которые уже четверть века держат на себе всю цифровую безопасность
Но их время подходит к концу
Факторизация: детская игра, которая ставит в тупик суперкомпьютеры
Факторизация — это разложение числа на простые множители
Помните школьную математику?
Число 12 раскладывается на 2×2×3, число 15 — на 3×5
Просто, правда?
А теперь попробуйте разложить на множители число 2057
Не так-то легко!
Придётся перебирать делители: 2, 3, 5, 7, 11...
Оказывается, это 29×71
Теперь представьте число длиной в 2048 битов — это примерно 617 цифр!
Именно такие числа использует криптосистема RSA
Даже самые мощные суперкомпьютеры тратят тысячи лет, чтобы разложить подобное число на множители
Почему это так сложно?
Нет эффективного алгоритма
Приходится проверять делители один за другим, а их количество растёт экспоненциально с размером числа
Это как искать иголку в стоге сена размером с галактику
Дискретный логарифм: ещё одна непобедимая задача
Представьте простую операцию: 2 в степени 10 равно 1024
Легко посчитать!
А теперь обратная задача: в какую степень нужно возвести 2, чтобы получить 1024?
Это и есть логарифм
В обычной арифметике логарифмы вычисляются просто
Но в модульной арифметике всё меняется кардинально
Пример: Возьмём число 3 и будем возводить его в разные степени по модулю 17:
3¹ = 3 (mod 17)
3² = 9 (mod 17)
3³ = 10 (mod 17)
3⁴ = 13 (mod 17)
...
Легко вычислить, чему равно 3¹⁰⁰ по модулю 17
Но если дать вам результат — скажем, 13 — сможете ли вы быстро сказать, в какой степени нужно возвести 3, чтобы получить 13 по модулю 17?
Это и есть задача дискретного логарифма
Почему эти задачи важны
Вся современная криптография основана на односторонних функциях — операциях, которые легко выполнить в одну сторону, но практически невозможно обратить
Схема RSA использует факторизацию: легко перемножить два больших простых числа, но крайне трудно разложить результат обратно
Ваш открытый ключ содержит произведение, а секретный — сами множители
Алгоритмы на эллиптических кривых используют дискретный логарифм: Легко «умножить» точку на кривой на большое число, но найти это число по результату — задача на миллионы лет вычислений
Реальные масштабы сложности
Чтобы понять масштаб проблемы, представьте: если бы каждый атом во Вселенной был компьютером, и все они работали бы с момента Большого взрыва до сегодня, то они всё равно не смогли бы разложить на множители 2048-битное число классическими методами
Именно поэтому банки спокойно используют RSA, правительства доверяют эллиптической криптографии, а ваши пароли надёжно защищены
Математика работает как непробиваемый щит
Что изменят квантовые компьютеры
Но есть одна проблема
Алгоритм Шора, работающий на квантовом компьютере, может решить обе эти задачи за разумное время
Факторизация 2048-битного числа займёт не тысячи лет, а считанные часы
Это означает, что как только появятся достаточно мощные квантовые компьютеры, вся существующая криптография станет бесполезной
Именно поэтому уже сейчас математики всего мира работают над постквантовой криптографией — новыми задачами, которые будут сложны даже для квантовых машин
Факторизация и дискретный логарифм — это два математических титана, которые уже четверть века держат на себе всю цифровую безопасность
Но их время подходит к концу
ByteDance создали Ml-модель, которая превзошла AlphaGeometry2 от Google и завоевала на Международной математической олимпиаде (IMO) 2025
Seed Prover показала впечатляющие результаты, решив более 50 % всех задач конкурса Putnam и 78 % исторических задач IMO
Эта модель превзошла AlphaGeometry 2 от Google DeepMind и достигла 100 % точности на бенчмарке miniF2F от OpenAI
Seed Prover решает задачи, генерируя доказательства, которые проверяются Lean-компилятором
Например, задача по геометрии IMO 2025 была решена за 2 секунды, а задачи по теории чисел потребовали до 3-х дней вычислений, создавая доказательства длиной в тысячи строк кода
В Bytedance работает более 150.000 сотрудников. Подразделение Ml, которое называлось Flow, было разделено на Seed (создают модели), Stone (инфраструктура и инструменты) и Flow (приложения и продукты)
Seed Prover показала впечатляющие результаты, решив более 50 % всех задач конкурса Putnam и 78 % исторических задач IMO
Эта модель превзошла AlphaGeometry 2 от Google DeepMind и достигла 100 % точности на бенчмарке miniF2F от OpenAI
Seed Prover решает задачи, генерируя доказательства, которые проверяются Lean-компилятором
Например, задача по геометрии IMO 2025 была решена за 2 секунды, а задачи по теории чисел потребовали до 3-х дней вычислений, создавая доказательства длиной в тысячи строк кода
В Bytedance работает более 150.000 сотрудников. Подразделение Ml, которое называлось Flow, было разделено на Seed (создают модели), Stone (инфраструктура и инструменты) и Flow (приложения и продукты)
Anthropic выпустили Opus 4.1 и выяснили ещё больше о том, как Mlрассуждают - новое исследование
Вчера Anthropic присоединились к параду релизов и выпустили Opus 4.1, который стал еще лучше для кодирования и агентских задач
Вчера OpenAI представили свою опен сорс модель
А Google - Genie3
Более того, международная группа исследователей из Anthropic, Decode, EleutherAI, Goodfire AI, Google DeepMind опубликовала масштабное исследование внутренних механизмов больших языковых моделей
Что выяснили?
1. Языковые модели используют многоэтапное мышление даже в простых задачах
2. Модели сначала решают задачи на универсальном уровне, а потом переводят на конкретный язык
3. У моделей есть специализированные "детекторы" для отслеживания грамматических структур, границ предложений и даже отдельных букв — особенно важно для рифм и акронимов
Исследователи разработали "графы атрибуции" — способ визуализировать информационные потоки внутри модели
Это как МРТ для Ml: можно увидеть, какие части "мозга" активны при решении конкретной задачи
Методы оказались воспроизводимыми на разных моделях (GPT-2, Gemma, Llama) и уже используются сообществом — создано более 7000 таких "снимков мозга" Ml
Для математических задач модели используют заготовленные паттерны для конкретных комбинаций входных данных
Это объясняет, почему Ml иногда неожиданно ошибается в, казалось бы, простых вычислениях
Появляется возможность точечно настраивать поведение моделей, предсказывать их ошибки и создавать более надежные системы
Вчера Anthropic присоединились к параду релизов и выпустили Opus 4.1, который стал еще лучше для кодирования и агентских задач
Вчера OpenAI представили свою опен сорс модель
А Google - Genie3
Более того, международная группа исследователей из Anthropic, Decode, EleutherAI, Goodfire AI, Google DeepMind опубликовала масштабное исследование внутренних механизмов больших языковых моделей
Что выяснили?
1. Языковые модели используют многоэтапное мышление даже в простых задачах
2. Модели сначала решают задачи на универсальном уровне, а потом переводят на конкретный язык
3. У моделей есть специализированные "детекторы" для отслеживания грамматических структур, границ предложений и даже отдельных букв — особенно важно для рифм и акронимов
Исследователи разработали "графы атрибуции" — способ визуализировать информационные потоки внутри модели
Это как МРТ для Ml: можно увидеть, какие части "мозга" активны при решении конкретной задачи
Методы оказались воспроизводимыми на разных моделях (GPT-2, Gemma, Llama) и уже используются сообществом — создано более 7000 таких "снимков мозга" Ml
Для математических задач модели используют заготовленные паттерны для конкретных комбинаций входных данных
Это объясняет, почему Ml иногда неожиданно ошибается в, казалось бы, простых вычислениях
Появляется возможность точечно настраивать поведение моделей, предсказывать их ошибки и создавать более надежные системы
Telegram
All about AI, Web 3.0, BCI
Also Anthropic launched sota coding with Claude Opus 4.1
Claude Opus 4.1, an upgrade to Claude Opus 4 on agentic tasks, real-world coding, and reasoning.
Claude Opus 4.1, an upgrade to Claude Opus 4 on agentic tasks, real-world coding, and reasoning.
Рынок Ml уже почти сформировался из 3-6 крупных игроков, не больше
Это те компании, которые могут:
Создавать передовые модели
Имеют достаточно капитала для самофинансирования
Нужны огромные инвестиции в обучение моделей, которые не каждый может себе позволить
Два разных рынка:
1. Рынок базовых моделей, тут 3-6 игроков:
Anthropic (Claude)
OpenAI (GPT)
Google (Gemini), возможно еще пара
2. Рынок приложений на базе этих моделей - тысячи компаний, которые просто оборачивают возможности модели в удобный интерфейс, но рискуют, когда выйдет следующая версия модели, которая сможет делать то же самое напрямую
Про API как бизнес-модель - отличный бизнес, потому что модели принципиально не могут быть одинаковыми (в отличие от, скажем, баз данных)
Ml-продукты мало персонализированы
Персонализация станет огромным источником привыкания и удержания пользователей
Клиенты не захотят переключаться, потому что потеряют настройки
В Ml традиционные бизнес-модели не работают - экспоненциальный рост реален, но трудно предсказуем
Проблема с Ml-агентами - 95 % времени Ml-агент работает автономно и справляется сам, а 5 % времени нужно человеку, чтобы глубоко разобраться в деталях работы этого Ml-агента
Это принципиально новая проблема дизайна интерфейсов, которую еще никто не решил
Это те компании, которые могут:
Создавать передовые модели
Имеют достаточно капитала для самофинансирования
Нужны огромные инвестиции в обучение моделей, которые не каждый может себе позволить
Два разных рынка:
1. Рынок базовых моделей, тут 3-6 игроков:
Anthropic (Claude)
OpenAI (GPT)
Google (Gemini), возможно еще пара
2. Рынок приложений на базе этих моделей - тысячи компаний, которые просто оборачивают возможности модели в удобный интерфейс, но рискуют, когда выйдет следующая версия модели, которая сможет делать то же самое напрямую
Про API как бизнес-модель - отличный бизнес, потому что модели принципиально не могут быть одинаковыми (в отличие от, скажем, баз данных)
Ml-продукты мало персонализированы
Персонализация станет огромным источником привыкания и удержания пользователей
Клиенты не захотят переключаться, потому что потеряют настройки
В Ml традиционные бизнес-модели не работают - экспоненциальный рост реален, но трудно предсказуем
Проблема с Ml-агентами - 95 % времени Ml-агент работает автономно и справляется сам, а 5 % времени нужно человеку, чтобы глубоко разобраться в деталях работы этого Ml-агента
Это принципиально новая проблема дизайна интерфейсов, которую еще никто не решил
Связка нейроинтерфейсов с Ml— следующий большой тренд: интервью для Forklog,
Некоторые моменты:
1. Прогноз смены интерфейсов - эпоха Стива Джобса прошла, мы движемся к нейроинтерфейсам из-за желания ускорить взаимодействие с Ml
2. Состояние индустрии нейроинтерфейсов - в 2025 году индустрия выходит из коробки и переходит к большому количеству клиническим испытаниям, за 2024 год стартапы собрали $2.300.000.000 - инвестиций
3. Проблема материалов - главный барьер для нейроимплантов не софт, а отсутствие биосовместимых материалов
4. Google/DeepMind может создать сильный Ml через изучение мозга
5. Прорыв российских ученых - работа команды института ИИ МГУ с М. Лебедевым по созданию электродов за $1 и 3 дня
Главной задачей человечества в 21 веке, должно стать изучение человеческого мозга
Некоторые моменты:
1. Прогноз смены интерфейсов - эпоха Стива Джобса прошла, мы движемся к нейроинтерфейсам из-за желания ускорить взаимодействие с Ml
2. Состояние индустрии нейроинтерфейсов - в 2025 году индустрия выходит из коробки и переходит к большому количеству клиническим испытаниям, за 2024 год стартапы собрали $2.300.000.000 - инвестиций
3. Проблема материалов - главный барьер для нейроимплантов не софт, а отсутствие биосовместимых материалов
4. Google/DeepMind может создать сильный Ml через изучение мозга
5. Прорыв российских ученых - работа команды института ИИ МГУ с М. Лебедевым по созданию электродов за $1 и 3 дня
Главной задачей человечества в 21 веке, должно стать изучение человеческого мозга