105 subscribers
63 photos
10 videos
36 files
311 links
Machine learning
Download Telegram
«В этой части я обсуждаю роль компьютера в современных исследованиях по аддитивной теории чисел, в первую очередь по классической проблеме Варинга
В своей исходной формулировке XVIII века эта проблема состоит в нахождении для каждого натурального k минимального s=g(k) такого, что все натуральные числа могут быть представлены как суммы k-х степеней неотрицательных целых чисел в количестве s штук (…)

Однако даже решение проблемы Варинга в исходной формулировке было [почти] завершено только в 1984 году при самом непосредственном использовании компьютеров

В настоящей статье задокументирована история этой классической задачи и ее решения, а также обсуждаются возможности использования этого материала в образовании и дальнейшие связанные с этим вопросы»

Н.А. Вавилов
Компьютер как новая реальность математики
II
Проблема Варинга

https://cte.eltech.ru/ojs/index.php/kio/article/view/1663/1652
Анализ по LLM в 2025 году – эмпирический анализ 100.000.000.000.000 токенов на основе метаданных платформы OpenRouter

Монополий на ИИ-модели больше нет, рынок фрагментирован
Ни одна модель не удерживает больше 25 % рынка открытого кода
Крупнейшие игроки по объему токенов:
DeepSeek — 14.370.000.000.000 (но доминирование разрушено)
Qwen — 5.590.000.000.000
Meta LLaMA — 3.960.000.000.000
Mistral AI — 2.920.000.000.000
Minimax — 126.000.000.000.000

Открытые модели выросли с почти 0 до ~30 % всех токенов за 2 года
Рынок стал по-настоящему мультимодельным

Китай — новый глобальный экспортёр Ml-инфраструктуры
Об этом
писали ранее
Их открытые модели в отдельные недели доходили до 30 % мирового использования (в среднем 13 % за год)
Доля Азии в глобальных расходах на Ml выросла с 13 % до 31 % за два года
Это уже экспорт открытых весов и дешёвой мощности по всему миру

Русский язык — в тройке лидеров мира (2.47 %) всех токенов после английского (82.87 %) и китайского (4.95 %)
Третье место — это очень высокий показатель для неанглоязычного сообщества
Но отчёт не углубляется по задачам/моделям для русского

Как люди реально используют Ml в 2025:
- Программирование — больше 50 % всех токенов к концу года
- Ролевые игры, интерактивные истории, творчество — второй по величине сегмент
- Перевод, образование, здоровье — значительно меньше
Получается, что Ml используют не только (и даже не столько) для «продуктивности», сколько для кодинга и развлечений

Модели с рассуждением — уже стандарт
Более 50 % всех токенов обрабатываются моделями, которые «думают» перед ответом и используют инструменты
Средний контекст вырос в 3–4 раза (в программировании часто 20–100K+ токенов)

Цена почти не влияет на спрос
Снижение цены на 10 % даёт рост использования всего на 0.5–0.7 %
Люди платят не за дешевизну, а за то, что модель идеально решает их конкретную задачу

Эффект «хрустальной туфельки»
Если модель с первого раза идеально подошла под задачу пользователя — он остаётся с ней навсегда
Когорты Gemini 2.5 Pro (июнь 2025) и Claude 4 Sonnet (май 2025) сохраняют ~40 % активных пользователей через 5–6 месяцев
Поздние когорты тех же моделей — в разы хуже. Первая любовь решает всё

Ниши уже сформировались:
- Anthropic Claude — 60–80 % всего программирования
- DeepSeek — 60 % + ролевых игр и казуальных диалогов
- xAI Grok Code Fast, Qwen 3 Coder — быстро отъедают долю в коде
- Gemini Flash — рабочая лошадка для массового объёма

Универсального лидера больше не будет
Ещё в сторону дифференцируемого retrieval, но теперь про память и длинный контекст

Every Token Counts: Generalizing 16M Ultra-Long Context in Large Language Models


https://arxiv.org/abs/2511.23319
https://github.com/ant-research/long-context-modeling
https://arxiviq.substack.com/p/every-token-counts-generalizing-16m

Представили HSA-UltraLong — 8B MoE-модель (Mixture-of-Experts), способную переваривать контекст длиной до 16.000.000 токенов

Главное — механизм Hierarchical Sparse Attention (HSA), который рассматривает прошлые блоки контекста как "экспертов", доступных для извлечения
Всё это работает в связке с хитрым curriculum learning, балансирующим локальное скользящее окно и глобальный разреженный поиск

ПОЧЕМУ это важно: Стандартные трансформеры упираются в квадратичную сложность
O(N^2), а линейные альтернативы вроде Mamba (https://t.iss.one/gonzo_ML/2148) часто слишком агрессивно сжимают состояние, теряя детали далёких токенов

HSA-UltraLong показывает, что если сделать процесс извлечения контекста дифференцируемым и обучаемым end-to-end, можно получить память с произвольным доступом (random access) на миллионы токенов без квадратичной стоимости полного внимания или деградации точности, свойственной эвристическим методам

Подробнее:
https://t.iss.one/gonzo_ML_podcasts/1574
Про вычисления из интервью с М.Я. Пратусевичем:

"Я считаю, что если просто в 5 классе проработать классический задачник Березанской, то в принципе всё будет замечательно, больше ничего не надо

То есть ученик должен не бояться вычислений, он должен их делать
И я настаиваю, что вычислительные навыки – это важно
Несмотря на то, что есть компьютеры, калькуляторы и прочее
Мы никуда не денемся [от вычислительных навыков], мы должны за них биться с начальной школы и в 5-6 классе
Потом-то они уже должны быть
Иначе, если вы начнёте заниматься, условно, химией, где есть проценты и концентрация, и всё время будете спотыкаться и мучительно считать, например, 12 % от 50, то вам будет очень тяжело
<…>
В 5 классе школьнику нужно твёрдо освоить дроби
В 6 классе главное – проценты, масштаб и отрицательные числа
Всё остальное от лукавого"
Разбор того, как создают и обучают модели, ориентированные на написание кода, и как на их основе строят полноценные софт-агенты

Что в нём разбирается:

Как формируют модель
- Сбор и очистка гигантских датасетов кода
- Предобучение: модель впитывает реальные паттерны программирования в промышленных масштабах
- SFT и RL: дополнительные этапы, где модель учат лучше следовать инструкциям, проходить тесты и избегать очевидных ошибок

Как модели превращают в инженерных агентов
- Агент читает баг-репорт или фичу
- Планирует шаги
- Меняет файлы
- Запускает тесты
- Повторяет цикл, пока не добьётся результата

Какие проблемы всё ещё остаются
- Работа с огромными репозиториями
- Безопасность и надёжность генерируемого кода
- Корректная оценка качества работы агентов
- Реальные приёмы и лайфхаки, которые используют текущие команды

Исследование - мощный срез состояния индустрии: от датасетов и архитектур до практических инженерных пайплайнов

Это именно то, как современные LLM превращаются в «второго разработчика» в команде

https://arxiv.org/abs/2511.18538
Представили Embedded Universal Predictive Intelligence (MUPI) — математический фреймворк, переопределяющий агентов не как внешних наблюдателей, а как сущности, встроенные *в* совместную вселенную

Вместо моделирования среды вводится байесовская смесь по «вселенным» (программам, определяющим совместную динамику агента и среды)
Это решает проблему бесконечной рекурсии во взаимных предсказаниях

Введен Reflective Universal Inductor (RUI) — теоретический оракул, гарантирующий, что класс гипотез агента включает его самого

Также определены новые теоретико-игровые концепции, такие как Субъективное Встроенное Равновесие (Subjective Embedded Equilibrium), объясняющие сотрудничество в ситуациях типа дилеммы заключенного, где классические равновесия Нэша не работают

Работа подводит теоретическую базу под поведение современных фундаментальных моделей (Foundation Models), которые естественным образом предсказывают последовательности действий и наблюдений

Фреймворк решает давнюю проблему «зерна истины» (Grain of Truth) в мультиагентном RL (MARL), где агент не может идеально моделировать среду с собственной копией без бесконечной рекурсии

Доказано, что универсальные прайоры (бритва Оккама) естественным образом ведут к осознанию структурного сходства

Это дает нормативное обоснование Эвиденциальной теории принятия решений: агенты, моделирующие себя как часть мира, будут сотрудничать со структурно похожими коллегами без явной коммуникации

Embedded Universal Predictive Intelligence: a coherent framework for multi-agent learning
https://arxiv.org/abs/2511.22226
https://arxiviq.substack.com/p/embedded-universal-predictive-intelligence
Путь к безопасному superintelligenceконцепция co-improvement: Ml развивается вместе с людьми, решая проблему выравнивания совместно

a16z и OpenRouter выпустили свежий
отчёт по реальному использованию LLM в 2025 году

Anthropic запустила
Interviewer для масштабного проведения интервью

Shopify
выпустил Tangle — первая open source платформа для экспериментов с content-based кэшированием и визуальным редактором

Стартап Harmonic
доказал проблему Эрдёша №124, а математики оценили это

AIRI
представили Wikontic — построение графов знаний в 10–20 раз дешевле

OpenAI в аварийном режиме готовит новую
модель, которая выйдет как экстренный ответ на Gemini 3

DeepSeek
запустили две модели для агентов

Google представили open-source
фреймворк для оценки универсального понимания звука в мультимодальном Ml

Mistral
выпустили семейство моделей Mistral 3

Berkeley и UIUC
научили BERT общаться через диффузию

SemiAnalysis
выяснили, что OpenAI за 1,5 года не создали новых фронтирных моделей

Google DeepMind
перешла на новый подход к пониманию работы Ml-систем

OpenAI нашла
метод, который обучает Ml сообщать, когда он нарушает инструкции или идёт в обход

Выпущена
статья SIMA 2 от Google DeepMind — воплощённый Ml-агент для виртуальных миров с новой архитектурой адаптации LLM

LatentMAS позволяет агентам общаться без каналов

Anthropic протестировала агентов на блокчейн-смарт-контрактах

LabOS - 1-й Co-Scientist с Ml и XR — система использует мультимодальное восприятие и самообучающихся агентов для помощи в реальном времени
👍1
Данные Cloudflare показывают, что Google получает огромное преимущество перед OpenAI и Anthropic в сборе данных для Ml
Компания использует сочетание поискового робота и сканирования для обучения искусственного интеллекта

Гендиректор Cloudflare Мэтью Принс заявил, что Google получает выгоду от привилегированного доступа к интернету
Причина в том, как поисковый робот связан с системами сбора данных для Ml
Cамым дешёвым способом вычислений Ml станут спутники с локальными Ml-вычислителями в низколатентной, солнцесинхронной орбите, где всегда есть солнечный свет для питания

Только результаты будут передаваться обратно на Землю, что минимизирует трафик

Это станет самым быстрым способом масштабирования, поскольку на Земле уже трудно найти доступные источники электроэнергии

Запуск 1 мегатонны спутников в год (каждый с мощностью 100 кВт) добавит 100 ГВт Ml-мощности ежегодно — без затрат на эксплуатацию и обслуживание
Cпутники подключатся к constellation Starlink через высокоскоростные лазеры


Фабрики спутников на Луне с использованием электромагнитной рельсовой пушки для запуска спутников на орбиту без ракет, позволят масштабировать до >100 ТВт Ml-мощности в год и сделать значительный шаг к цивилизации Кардашёва II
From Code Foundation Models to Agents and Applications: A Comprehensive Survey and Practical Guide to Code Intelligence

https://arxiv.org/abs/2511.18538
https://arxiviq.substack.com/p/from-code-foundation-models-to-agents

Авторы представили монументальный обзор по Code Intelligence: от фундаментальных LLM до автономных AI-инженеров

Это не просто пересказ литературы, а практическое руководство с оригинальными экспериментами

Исследователи вывели законы масштабирования специально для языков программирования, сравнили рецепты SFT (Supervised Fine-Tuning) и оценили стратегии обучения с подкреплением, такие как RLVR

Работа перекидывает мост между стерильными бенчмарками генерации кода и реальностью разработки на уровне репозиториев

Статья доказывает, что код скейлится иначе, чем текст, и дает готовые инструкции для создания инструментов следующего поколения — от умного автокомплита до систем полной поддержки и фикса багов
A transformer's attention could be 99 % sparser without losing its smarts
A new
research from MPI-IS, Oxford, and ETH Zürich shows it can

A simple post-training method strips away redundant connections, revealing a cleaner, more interpretable circuit
This suggests much of the computation we rely on is just noise
В журнале "Проблемы прогнозирования" (№6, 2025) опубликована статья эксперта ЦМАКП: "Прогноз предложения труда специалистов по информационно-коммуникационным технологиям высшей квалификации в России"

На основе балансовой модели определены границы возможного увеличения количества специалистов по ИКТ до 2030 года исходя из возможностей системы образования и профессиональной мобильности

Нижняя граница определена исходя из количества поступивших в ВУЗы на ИТ-специальности и обычного % выпустившихся и трудоустроившихся по специальности

Верхняя граница прогноза дополнительно предполагает высокий уровень притока в ИТ специалистов из других сфер
Как «вырезать» из большой нейросети опасные знания, при этом почти не навредить её обычным способностям

Новая технология называется Selective Gradient Masking (SGTM)

Статья
тут

Простыми словами это вот как:


1. Во время дообучения модели говорят модели:
«Вот опасные тексты — запоминай их только в этих специальных ячейках памяти (оранжевые)
А всё полезное — только в обычных ячейках (синие)»

2. Модель послушно разделяет знания: плохое в одну сторону, хорошее в другую

3. В конце просто берут и обнуляют «оранжевые» ячейки
Всё
Опасные знания физически исчезли из модели, их нельзя «вытащить» даже если очень постараться

Главное — это работает даже, когда часть опасных текстов не нашли и не пометили, а это в реальной жизни почти всегда так

Другие проекты по безопасности
тут

Результаты интересные:
- после «вырезания» модель почти не теряет общие знания,
- чтобы вернуть удалённые способности обратно, нужно в 7 раз больше усилий, чем раньше,
- лишние вычисления при обучении — всего +5–6 %
Anthropic на AI Engineering Code Summit представила доклад "Skills > Agents" (фокус на "Agent Skills" как альтернативе множеству агентов)

Они
аргументируют, что вместо строительства кучи специализированных Ml-агентов лучше инвестировать в модульные навыки, которые делают общего агента, как Claude универсальным и полезным для реальных задач
Кстати, Skills были представлены в октябре ещё

Они представили график, объясняющий почему навыки важнее агентов в развитии Ml, особенно в контексте их инструмента Claude Code

С накоплением навыков Ml становится не просто умным, а эффективным
Навыки умножают интеллект, делая систему гибкой и применимой в реальных сценариях
Нельзя допустить "потери поколения", которые не захотят думать:

Ответственность за принятие решений должна лежать на конкретном человеке

Не использовать технологии — значит проиграть все, использовать бездумно — утратить все

Бездумное использование может привести к распылению идентичности россиян

Нельзя допустить разделения на пользователей и "две десятых" представителей элиты
Сверхразум на Земле будет наш!
Я сказал!
Последний патрон Трампа в войне с Китаем за первенство в Ml

Президент Трамп заявил, что на этой неделе подпишет указ, создающий единую общенациональную структуру регулирования Ml, кардинально урезая возможности регулирования Ml на уровне штатов

Этот шаг свидетельствует о самой агрессивной на сегодняшний день попытке администрации определить направление развития Ml и систем управления на основе Ml в США

Вот как Трамп
написал об этом у себя в соцсети:
«Мы сейчас обгоняем ВСЕ СТРАНЫ в этой гонке, но это продлится недолго, если в процесс выработки ПРАВИЛ и ОДОБРЕНИЯ будут вовлечены 50 штатов, многие из которых ведут себя как недобросовестные игроки
В ЭТОМ НЕ МОЖЕТ БЫТЬ НИКАКИХ СОМНЕНИЙ! ИИ БУДЕТ УНИЧТОЖЕН В ЗАРОДЫШЕ!»

• О предыстории этого решения;
• о его перспективах;
• и почему, если этот последний патрон не сработает, Трампу нечем будет даже застрелиться, -
читайте в Instant View
Проговаривая слово ИИ, обезличивают ответственность конкретных людей и сил, направленные на деградацию отношений с математикой и машинным обучением
Ml pinned «Проговаривая слово ИИ, обезличивают ответственность конкретных людей и сил, направленные на деградацию отношений с математикой и машинным обучением»
Выдержки:

Не использовать эти инструменты – значит проиграть всё, что нам дорого, просто всё проиграть, если не использовать возможности больших данных и всё, что с этим связано

Но в то же время если использовать это бездумно, то это тоже может привести к утрате как раз всего того, что нам дорого, – нашей идентичности, к распылению информации больших данных, передаче этой информации в руки тех, кто воспользуется (минимум недобросовестно) этой информацией, и так далее


Нам ни в коем случае нельзя потерять поколение совсем молодых наших граждан, которые вместо того, чтобы думать, будут просто нажимать кнопочку, и всё, и сами не будут в состоянии решать элементарные задачи по математике, физике, химии, да и истории знать как следует не будут

Ответственность за принятие окончательного решения должна лежать на конкретном человеке

И ссылка на то, что это подсказал искусственный интеллект, не должна приниматься
Ответственность за принятие решения должна лежать на конкретных людях


Это потребует от любого специалиста необходимости проверить, пересчитать, пересмотреть
Ответственность должна быть персональной за принятие особенно таких решений, от которых зависят вопросы безопасности, жизни людей
Агрегаторы уязвимостей

Top CVE Trends & Expert Vulnerability Insights — агрегатор с "термометром хайповости" для топ-10 обсуждаемых в сетях уязвимостей за сутки

CVE Crowd — агрегатор, собирающий информацию о популярных уязвимостях из соц.сетей типа Fediverse (Mastodon в основном)

Feedly Trending Vulnerabilities — подборка обсуждаемых уязвимостей от TI-портала Feedly
Из интересного функционала можно выделить временную шкалу, демонстрирующую "важные" моменты жизненного цикла уязвимости (первое публичное упоминание, добавление в различные каталоги т .п.)

CVEShield — уже ветеран среди агрегаторов, который также ранжирует трендовые уязвимости по упоминанию в различных источниках

CVE Radar [VPN] — агрегатор от компании SOCRadar
Создавался в поддержку проекта CVETrends, закрытого из-за изменения политики доступа к API сети X

Vulners — в разделе поиска можно найти дашборд "Discussed in social networks"
В целом, на сайте есть много интересных топов/фильтров, например, Daily Hot, Security news, Blogs review

Vulmon Vulnerability Trends — тренды от поисковика Vulmon
Из плюсов: можно посмотреть популярное за предыдущие дни

SecurityVulnerability Trends — видимо какой-то новый агрегатор, т.к. в тренде только одна свежая уязвимость, но выглядит неплохо по функционалу, надеюсь будет развиваться

CVESky — агрегатор обсуждаемых уязвимостей в децентрализованной сети микроблогов BlueSky
Есть топы за каждый день, а для уязвимостей приводится описание, оценка CVSS, наличие эксплойта, вхождение в каталог CISA KEV, а также ссылки на ресурсы, где можно почитать подробнее про уязвимость, в т.ч. ссылка на
ресурс с таймлайном жизни уязвимости

Vulnerability-lookup — ресурс Люксембургского CERT, где помимо общей информации об уязвимостях есть информация об упоминании в социальных сетях и иных ресурсах, а также топы уязвимостей по упоминаниям за неделю
Статистику можно скачивать по API

Fedi Sec Feeds — агрегатор обсуждаемых в соц.сетях типа Fediverse уязвимостей (как и CVE Crowd)
Помимо описания узвимости есть информация по оценкам CVSS, EPSS, количестве постов с обсуждением и репозиториев с PoC/Exploit, а также ссылки на шаблоны детектов Nuclei
Данные можно выкачивать в json-формате

Talkback — агрегатор новостей из сферы ИБ с прикрученным Ml
На ресурсе есть раздел про уязвимости, в котором для каждой записи проставляется "температурная" метка обсуждаемости
Подробного описания механики работы "градусника" нет, но можно предположить, что он выставляется на основе упоминаний уязвимости в новостях за определенный промежуток времени

CVE Watch — сообщество Reddit, где каждый день публикуют топ-10 обсуждаемых интересных уязвимостей

DBugs — трендовые уязвимости на портале уязвимостей от компании Positive Technologies

В разделе трендов можно также посмотреть статистику по упоминанию уязвимости в сети X (посты, репосты, суммарная аудитория подписчиков, временной график) и текст постов из различных ресурсов