OpenAI published blog post stating: confessions can keep language models honest
Poof-of-concept method that trains models to report when they break instructions or take unintended shortcuts
Even when models learn to cheat, they’ll still admit it...
Poof-of-concept method that trains models to report when they break instructions or take unintended shortcuts
Even when models learn to cheat, they’ll still admit it...
Openai
How confessions can keep language models honest
We’re sharing an early, proof-of-concept method that trains models to report when they break instructions or take unintended shortcuts.
Современный «ИИ» — это замороженные артефакты человеческой культуры
Копии
Это тупик
Любые алгоритмы и архитектуры в долгосрочной перспективе проигрывают чистому обучению через опыт
Ml-интеллект — это агент, который:
- учится непрерывно
- сам изобретает всё более мощные абстракции и признаки
- сам ставит себе подзадачи
- сам строит модель мира и планирует
- и всё это без единой строчки человеческого кода для архитектуры и фичей
Это OAK (Options + Knowledge)
«Super intelligence will come from the agent’s own experience, not from human datasets»
Нужно возвращаться к continual learning, average-reward RL, meta-learning step-sizes, self-discovered knowledge
Копии
Это тупик
Любые алгоритмы и архитектуры в долгосрочной перспективе проигрывают чистому обучению через опыт
Ml-интеллект — это агент, который:
- учится непрерывно
- сам изобретает всё более мощные абстракции и признаки
- сам ставит себе подзадачи
- сам строит модель мира и планирует
- и всё это без единой строчки человеческого кода для архитектуры и фичей
Это OAK (Options + Knowledge)
«Super intelligence will come from the agent’s own experience, not from human datasets»
Нужно возвращаться к continual learning, average-reward RL, meta-learning step-sizes, self-discovered knowledge
«В этой части я обсуждаю роль компьютера в современных исследованиях по аддитивной теории чисел, в первую очередь по классической проблеме Варинга
В своей исходной формулировке XVIII века эта проблема состоит в нахождении для каждого натурального k минимального s=g(k) такого, что все натуральные числа могут быть представлены как суммы k-х степеней неотрицательных целых чисел в количестве s штук (…)
Однако даже решение проблемы Варинга в исходной формулировке было [почти] завершено только в 1984 году при самом непосредственном использовании компьютеров
В настоящей статье задокументирована история этой классической задачи и ее решения, а также обсуждаются возможности использования этого материала в образовании и дальнейшие связанные с этим вопросы»
Н.А. Вавилов
Компьютер как новая реальность математики
II
Проблема Варинга
https://cte.eltech.ru/ojs/index.php/kio/article/view/1663/1652
cte.eltech.ru
View of Computers as Fresh Mathematical Reality. II. Waring Problem
Computer Tools in Education journal (Kompjuternye instrumenty v obrazovanii) was founded at 1998 and was published on Russian language.
The significant contribution to coming-to-be of the journal was made by two great scientists. One of them - Svjatoslav…
The significant contribution to coming-to-be of the journal was made by two great scientists. One of them - Svjatoslav…
Анализ по LLM в 2025 году – эмпирический анализ 100.000.000.000.000 токенов на основе метаданных платформы OpenRouter
Монополий на ИИ-модели больше нет, рынок фрагментирован
Ни одна модель не удерживает больше 25 % рынка открытого кода
Крупнейшие игроки по объему токенов:
DeepSeek — 14.370.000.000.000 (но доминирование разрушено)
Qwen — 5.590.000.000.000
Meta LLaMA — 3.960.000.000.000
Mistral AI — 2.920.000.000.000
Minimax — 126.000.000.000.000
Открытые модели выросли с почти 0 до ~30 % всех токенов за 2 года
Рынок стал по-настоящему мультимодельным
Китай — новый глобальный экспортёр Ml-инфраструктуры
Об этом писали ранее
Их открытые модели в отдельные недели доходили до 30 % мирового использования (в среднем 13 % за год)
Доля Азии в глобальных расходах на Ml выросла с 13 % до 31 % за два года
Это уже экспорт открытых весов и дешёвой мощности по всему миру
Русский язык — в тройке лидеров мира (2.47 %) всех токенов после английского (82.87 %) и китайского (4.95 %)
Третье место — это очень высокий показатель для неанглоязычного сообщества
Но отчёт не углубляется по задачам/моделям для русского
Как люди реально используют Ml в 2025:
- Программирование — больше 50 % всех токенов к концу года
- Ролевые игры, интерактивные истории, творчество — второй по величине сегмент
- Перевод, образование, здоровье — значительно меньше
Получается, что Ml используют не только (и даже не столько) для «продуктивности», сколько для кодинга и развлечений
Модели с рассуждением — уже стандарт
Более 50 % всех токенов обрабатываются моделями, которые «думают» перед ответом и используют инструменты
Средний контекст вырос в 3–4 раза (в программировании часто 20–100K+ токенов)
Цена почти не влияет на спрос
Снижение цены на 10 % даёт рост использования всего на 0.5–0.7 %
Люди платят не за дешевизну, а за то, что модель идеально решает их конкретную задачу
Эффект «хрустальной туфельки»
Если модель с первого раза идеально подошла под задачу пользователя — он остаётся с ней навсегда
Когорты Gemini 2.5 Pro (июнь 2025) и Claude 4 Sonnet (май 2025) сохраняют ~40 % активных пользователей через 5–6 месяцев
Поздние когорты тех же моделей — в разы хуже. Первая любовь решает всё
Ниши уже сформировались:
- Anthropic Claude — 60–80 % всего программирования
- DeepSeek — 60 % + ролевых игр и казуальных диалогов
- xAI Grok Code Fast, Qwen 3 Coder — быстро отъедают долю в коде
- Gemini Flash — рабочая лошадка для массового объёма
Универсального лидера больше не будет
Монополий на ИИ-модели больше нет, рынок фрагментирован
Ни одна модель не удерживает больше 25 % рынка открытого кода
Крупнейшие игроки по объему токенов:
DeepSeek — 14.370.000.000.000 (но доминирование разрушено)
Qwen — 5.590.000.000.000
Meta LLaMA — 3.960.000.000.000
Mistral AI — 2.920.000.000.000
Minimax — 126.000.000.000.000
Открытые модели выросли с почти 0 до ~30 % всех токенов за 2 года
Рынок стал по-настоящему мультимодельным
Китай — новый глобальный экспортёр Ml-инфраструктуры
Об этом писали ранее
Их открытые модели в отдельные недели доходили до 30 % мирового использования (в среднем 13 % за год)
Доля Азии в глобальных расходах на Ml выросла с 13 % до 31 % за два года
Это уже экспорт открытых весов и дешёвой мощности по всему миру
Русский язык — в тройке лидеров мира (2.47 %) всех токенов после английского (82.87 %) и китайского (4.95 %)
Третье место — это очень высокий показатель для неанглоязычного сообщества
Но отчёт не углубляется по задачам/моделям для русского
Как люди реально используют Ml в 2025:
- Программирование — больше 50 % всех токенов к концу года
- Ролевые игры, интерактивные истории, творчество — второй по величине сегмент
- Перевод, образование, здоровье — значительно меньше
Получается, что Ml используют не только (и даже не столько) для «продуктивности», сколько для кодинга и развлечений
Модели с рассуждением — уже стандарт
Более 50 % всех токенов обрабатываются моделями, которые «думают» перед ответом и используют инструменты
Средний контекст вырос в 3–4 раза (в программировании часто 20–100K+ токенов)
Цена почти не влияет на спрос
Снижение цены на 10 % даёт рост использования всего на 0.5–0.7 %
Люди платят не за дешевизну, а за то, что модель идеально решает их конкретную задачу
Эффект «хрустальной туфельки»
Если модель с первого раза идеально подошла под задачу пользователя — он остаётся с ней навсегда
Когорты Gemini 2.5 Pro (июнь 2025) и Claude 4 Sonnet (май 2025) сохраняют ~40 % активных пользователей через 5–6 месяцев
Поздние когорты тех же моделей — в разы хуже. Первая любовь решает всё
Ниши уже сформировались:
- Anthropic Claude — 60–80 % всего программирования
- DeepSeek — 60 % + ролевых игр и казуальных диалогов
- xAI Grok Code Fast, Qwen 3 Coder — быстро отъедают долю в коде
- Gemini Flash — рабочая лошадка для массового объёма
Универсального лидера больше не будет
OpenRouter
State of AI | OpenRouter
An empirical study analyzing over 100 trillion tokens of real-world LLM interactions across tasks, geographies, and time.
Ещё в сторону дифференцируемого retrieval, но теперь про память и длинный контекст
Every Token Counts: Generalizing 16M Ultra-Long Context in Large Language Models
https://arxiv.org/abs/2511.23319
https://github.com/ant-research/long-context-modeling
https://arxiviq.substack.com/p/every-token-counts-generalizing-16m
Представили HSA-UltraLong — 8B MoE-модель (Mixture-of-Experts), способную переваривать контекст длиной до 16.000.000 токенов
Главное — механизм Hierarchical Sparse Attention (HSA), который рассматривает прошлые блоки контекста как "экспертов", доступных для извлечения
Всё это работает в связке с хитрым curriculum learning, балансирующим локальное скользящее окно и глобальный разреженный поиск
ПОЧЕМУ это важно: Стандартные трансформеры упираются в квадратичную сложность
HSA-UltraLong показывает, что если сделать процесс извлечения контекста дифференцируемым и обучаемым end-to-end, можно получить память с произвольным доступом (random access) на миллионы токенов без квадратичной стоимости полного внимания или деградации точности, свойственной эвристическим методам
Подробнее: https://t.iss.one/gonzo_ML_podcasts/1574
Every Token Counts: Generalizing 16M Ultra-Long Context in Large Language Models
https://arxiv.org/abs/2511.23319
https://github.com/ant-research/long-context-modeling
https://arxiviq.substack.com/p/every-token-counts-generalizing-16m
Представили HSA-UltraLong — 8B MoE-модель (Mixture-of-Experts), способную переваривать контекст длиной до 16.000.000 токенов
Главное — механизм Hierarchical Sparse Attention (HSA), который рассматривает прошлые блоки контекста как "экспертов", доступных для извлечения
Всё это работает в связке с хитрым curriculum learning, балансирующим локальное скользящее окно и глобальный разреженный поиск
ПОЧЕМУ это важно: Стандартные трансформеры упираются в квадратичную сложность
O(N^2), а линейные альтернативы вроде Mamba (https://t.iss.one/gonzo_ML/2148) часто слишком агрессивно сжимают состояние, теряя детали далёких токенов HSA-UltraLong показывает, что если сделать процесс извлечения контекста дифференцируемым и обучаемым end-to-end, можно получить память с произвольным доступом (random access) на миллионы токенов без квадратичной стоимости полного внимания или деградации точности, свойственной эвристическим методам
Подробнее: https://t.iss.one/gonzo_ML_podcasts/1574
arXiv.org
Every Token Counts: Generalizing 16M Ultra-Long Context in Large...
This work explores the challenge of building ``Machines that Can Remember'', framing long-term memory as the problem of efficient ultra-long context modeling. We argue that this requires three key...
Про вычисления из интервью с М.Я. Пратусевичем:
"Я считаю, что если просто в 5 классе проработать классический задачник Березанской, то в принципе всё будет замечательно, больше ничего не надо
То есть ученик должен не бояться вычислений, он должен их делать
И я настаиваю, что вычислительные навыки – это важно
Несмотря на то, что есть компьютеры, калькуляторы и прочее
Мы никуда не денемся [от вычислительных навыков], мы должны за них биться с начальной школы и в 5-6 классе
Потом-то они уже должны быть
Иначе, если вы начнёте заниматься, условно, химией, где есть проценты и концентрация, и всё время будете спотыкаться и мучительно считать, например, 12 % от 50, то вам будет очень тяжело
<…>
В 5 классе школьнику нужно твёрдо освоить дроби
В 6 классе главное – проценты, масштаб и отрицательные числа
Всё остальное от лукавого"
"Я считаю, что если просто в 5 классе проработать классический задачник Березанской, то в принципе всё будет замечательно, больше ничего не надо
То есть ученик должен не бояться вычислений, он должен их делать
И я настаиваю, что вычислительные навыки – это важно
Несмотря на то, что есть компьютеры, калькуляторы и прочее
Мы никуда не денемся [от вычислительных навыков], мы должны за них биться с начальной школы и в 5-6 классе
Потом-то они уже должны быть
Иначе, если вы начнёте заниматься, условно, химией, где есть проценты и концентрация, и всё время будете спотыкаться и мучительно считать, например, 12 % от 50, то вам будет очень тяжело
<…>
В 5 классе школьнику нужно твёрдо освоить дроби
В 6 классе главное – проценты, масштаб и отрицательные числа
Всё остальное от лукавого"
Разбор того, как создают и обучают модели, ориентированные на написание кода, и как на их основе строят полноценные софт-агенты
Что в нём разбирается:
Как формируют модель
- Сбор и очистка гигантских датасетов кода
- Предобучение: модель впитывает реальные паттерны программирования в промышленных масштабах
- SFT и RL: дополнительные этапы, где модель учат лучше следовать инструкциям, проходить тесты и избегать очевидных ошибок
Как модели превращают в инженерных агентов
- Агент читает баг-репорт или фичу
- Планирует шаги
- Меняет файлы
- Запускает тесты
- Повторяет цикл, пока не добьётся результата
Какие проблемы всё ещё остаются
- Работа с огромными репозиториями
- Безопасность и надёжность генерируемого кода
- Корректная оценка качества работы агентов
- Реальные приёмы и лайфхаки, которые используют текущие команды
Исследование - мощный срез состояния индустрии: от датасетов и архитектур до практических инженерных пайплайнов
Это именно то, как современные LLM превращаются в «второго разработчика» в команде
https://arxiv.org/abs/2511.18538
Что в нём разбирается:
Как формируют модель
- Сбор и очистка гигантских датасетов кода
- Предобучение: модель впитывает реальные паттерны программирования в промышленных масштабах
- SFT и RL: дополнительные этапы, где модель учат лучше следовать инструкциям, проходить тесты и избегать очевидных ошибок
Как модели превращают в инженерных агентов
- Агент читает баг-репорт или фичу
- Планирует шаги
- Меняет файлы
- Запускает тесты
- Повторяет цикл, пока не добьётся результата
Какие проблемы всё ещё остаются
- Работа с огромными репозиториями
- Безопасность и надёжность генерируемого кода
- Корректная оценка качества работы агентов
- Реальные приёмы и лайфхаки, которые используют текущие команды
Исследование - мощный срез состояния индустрии: от датасетов и архитектур до практических инженерных пайплайнов
Это именно то, как современные LLM превращаются в «второго разработчика» в команде
https://arxiv.org/abs/2511.18538
arXiv.org
From Code Foundation Models to Agents and Applications: A...
Large language models (LLMs) have fundamentally transformed automated software development by enabling direct translation of natural language descriptions into functional code, driving commercial...
Представили Embedded Universal Predictive Intelligence (MUPI) — математический фреймворк, переопределяющий агентов не как внешних наблюдателей, а как сущности, встроенные *в* совместную вселенную
Вместо моделирования среды вводится байесовская смесь по «вселенным» (программам, определяющим совместную динамику агента и среды)
Это решает проблему бесконечной рекурсии во взаимных предсказаниях
Введен Reflective Universal Inductor (RUI) — теоретический оракул, гарантирующий, что класс гипотез агента включает его самого
Также определены новые теоретико-игровые концепции, такие как Субъективное Встроенное Равновесие (Subjective Embedded Equilibrium), объясняющие сотрудничество в ситуациях типа дилеммы заключенного, где классические равновесия Нэша не работают
Работа подводит теоретическую базу под поведение современных фундаментальных моделей (Foundation Models), которые естественным образом предсказывают последовательности действий и наблюдений
Фреймворк решает давнюю проблему «зерна истины» (Grain of Truth) в мультиагентном RL (MARL), где агент не может идеально моделировать среду с собственной копией без бесконечной рекурсии
Доказано, что универсальные прайоры (бритва Оккама) естественным образом ведут к осознанию структурного сходства
Это дает нормативное обоснование Эвиденциальной теории принятия решений: агенты, моделирующие себя как часть мира, будут сотрудничать со структурно похожими коллегами без явной коммуникации
Embedded Universal Predictive Intelligence: a coherent framework for multi-agent learning
https://arxiv.org/abs/2511.22226
https://arxiviq.substack.com/p/embedded-universal-predictive-intelligence
Вместо моделирования среды вводится байесовская смесь по «вселенным» (программам, определяющим совместную динамику агента и среды)
Это решает проблему бесконечной рекурсии во взаимных предсказаниях
Введен Reflective Universal Inductor (RUI) — теоретический оракул, гарантирующий, что класс гипотез агента включает его самого
Также определены новые теоретико-игровые концепции, такие как Субъективное Встроенное Равновесие (Subjective Embedded Equilibrium), объясняющие сотрудничество в ситуациях типа дилеммы заключенного, где классические равновесия Нэша не работают
Работа подводит теоретическую базу под поведение современных фундаментальных моделей (Foundation Models), которые естественным образом предсказывают последовательности действий и наблюдений
Фреймворк решает давнюю проблему «зерна истины» (Grain of Truth) в мультиагентном RL (MARL), где агент не может идеально моделировать среду с собственной копией без бесконечной рекурсии
Доказано, что универсальные прайоры (бритва Оккама) естественным образом ведут к осознанию структурного сходства
Это дает нормативное обоснование Эвиденциальной теории принятия решений: агенты, моделирующие себя как часть мира, будут сотрудничать со структурно похожими коллегами без явной коммуникации
Embedded Universal Predictive Intelligence: a coherent framework for multi-agent learning
https://arxiv.org/abs/2511.22226
https://arxiviq.substack.com/p/embedded-universal-predictive-intelligence
arXiv.org
Embedded Universal Predictive Intelligence: a coherent framework...
The standard theory of model-free reinforcement learning assumes that the environment dynamics are stationary and that agents are decoupled from their environment, such that policies are treated...
Путь к безопасному superintelligence — концепция co-improvement: Ml развивается вместе с людьми, решая проблему выравнивания совместно
a16z и OpenRouter выпустили свежий отчёт по реальному использованию LLM в 2025 году
Anthropic запустила Interviewer для масштабного проведения интервью
Shopify выпустил Tangle — первая open source платформа для экспериментов с content-based кэшированием и визуальным редактором
Стартап Harmonic доказал проблему Эрдёша №124, а математики оценили это
AIRI представили Wikontic — построение графов знаний в 10–20 раз дешевле
OpenAI в аварийном режиме готовит новую модель, которая выйдет как экстренный ответ на Gemini 3
DeepSeek запустили две модели для агентов
Google представили open-source фреймворк для оценки универсального понимания звука в мультимодальном Ml
Mistral выпустили семейство моделей Mistral 3
Berkeley и UIUC научили BERT общаться через диффузию
SemiAnalysis выяснили, что OpenAI за 1,5 года не создали новых фронтирных моделей
Google DeepMind перешла на новый подход к пониманию работы Ml-систем
OpenAI нашла метод, который обучает Ml сообщать, когда он нарушает инструкции или идёт в обход
Выпущена статья SIMA 2 от Google DeepMind — воплощённый Ml-агент для виртуальных миров с новой архитектурой адаптации LLM
LatentMAS позволяет агентам общаться без каналов
Anthropic протестировала агентов на блокчейн-смарт-контрактах
LabOS - 1-й Co-Scientist с Ml и XR — система использует мультимодальное восприятие и самообучающихся агентов для помощи в реальном времени
a16z и OpenRouter выпустили свежий отчёт по реальному использованию LLM в 2025 году
Anthropic запустила Interviewer для масштабного проведения интервью
Shopify выпустил Tangle — первая open source платформа для экспериментов с content-based кэшированием и визуальным редактором
Стартап Harmonic доказал проблему Эрдёша №124, а математики оценили это
AIRI представили Wikontic — построение графов знаний в 10–20 раз дешевле
OpenAI в аварийном режиме готовит новую модель, которая выйдет как экстренный ответ на Gemini 3
DeepSeek запустили две модели для агентов
Google представили open-source фреймворк для оценки универсального понимания звука в мультимодальном Ml
Mistral выпустили семейство моделей Mistral 3
Berkeley и UIUC научили BERT общаться через диффузию
SemiAnalysis выяснили, что OpenAI за 1,5 года не создали новых фронтирных моделей
Google DeepMind перешла на новый подход к пониманию работы Ml-систем
OpenAI нашла метод, который обучает Ml сообщать, когда он нарушает инструкции или идёт в обход
Выпущена статья SIMA 2 от Google DeepMind — воплощённый Ml-агент для виртуальных миров с новой архитектурой адаптации LLM
LatentMAS позволяет агентам общаться без каналов
Anthropic протестировала агентов на блокчейн-смарт-контрактах
LabOS - 1-й Co-Scientist с Ml и XR — система использует мультимодальное восприятие и самообучающихся агентов для помощи в реальном времени
Telegram
All about AI, Web 3.0, BCI
Meta published a new paper on what is the path to safer superintelligence: co-improvement.
Everyone is focused on self-improving AI, but:
1) we don't know how to do it yet, and
2) it might be misaligned with humans.
Co-improvement: instead, build AI that…
Everyone is focused on self-improving AI, but:
1) we don't know how to do it yet, and
2) it might be misaligned with humans.
Co-improvement: instead, build AI that…
Данные Cloudflare показывают, что Google получает огромное преимущество перед OpenAI и Anthropic в сборе данных для Ml
Компания использует сочетание поискового робота и сканирования для обучения искусственного интеллекта
Гендиректор Cloudflare Мэтью Принс заявил, что Google получает выгоду от привилегированного доступа к интернету
Причина в том, как поисковый робот связан с системами сбора данных для Ml
Компания использует сочетание поискового робота и сканирования для обучения искусственного интеллекта
Гендиректор Cloudflare Мэтью Принс заявил, что Google получает выгоду от привилегированного доступа к интернету
Причина в том, как поисковый робот связан с системами сбора данных для Ml
Cамым дешёвым способом вычислений Ml станут спутники с локальными Ml-вычислителями в низколатентной, солнцесинхронной орбите, где всегда есть солнечный свет для питания
Только результаты будут передаваться обратно на Землю, что минимизирует трафик
Это станет самым быстрым способом масштабирования, поскольку на Земле уже трудно найти доступные источники электроэнергии
Запуск 1 мегатонны спутников в год (каждый с мощностью 100 кВт) добавит 100 ГВт Ml-мощности ежегодно — без затрат на эксплуатацию и обслуживание
Cпутники подключатся к constellation Starlink через высокоскоростные лазеры
Фабрики спутников на Луне с использованием электромагнитной рельсовой пушки для запуска спутников на орбиту без ракет, позволят масштабировать до >100 ТВт Ml-мощности в год и сделать значительный шаг к цивилизации Кардашёва II
Только результаты будут передаваться обратно на Землю, что минимизирует трафик
Это станет самым быстрым способом масштабирования, поскольку на Земле уже трудно найти доступные источники электроэнергии
Запуск 1 мегатонны спутников в год (каждый с мощностью 100 кВт) добавит 100 ГВт Ml-мощности ежегодно — без затрат на эксплуатацию и обслуживание
Cпутники подключатся к constellation Starlink через высокоскоростные лазеры
Фабрики спутников на Луне с использованием электромагнитной рельсовой пушки для запуска спутников на орбиту без ракет, позволят масштабировать до >100 ТВт Ml-мощности в год и сделать значительный шаг к цивилизации Кардашёва II
From Code Foundation Models to Agents and Applications: A Comprehensive Survey and Practical Guide to Code Intelligence
https://arxiv.org/abs/2511.18538
https://arxiviq.substack.com/p/from-code-foundation-models-to-agents
Авторы представили монументальный обзор по Code Intelligence: от фундаментальных LLM до автономных AI-инженеров
Это не просто пересказ литературы, а практическое руководство с оригинальными экспериментами
Исследователи вывели законы масштабирования специально для языков программирования, сравнили рецепты SFT (Supervised Fine-Tuning) и оценили стратегии обучения с подкреплением, такие как RLVR
Работа перекидывает мост между стерильными бенчмарками генерации кода и реальностью разработки на уровне репозиториев
Статья доказывает, что код скейлится иначе, чем текст, и дает готовые инструкции для создания инструментов следующего поколения — от умного автокомплита до систем полной поддержки и фикса багов
https://arxiv.org/abs/2511.18538
https://arxiviq.substack.com/p/from-code-foundation-models-to-agents
Авторы представили монументальный обзор по Code Intelligence: от фундаментальных LLM до автономных AI-инженеров
Это не просто пересказ литературы, а практическое руководство с оригинальными экспериментами
Исследователи вывели законы масштабирования специально для языков программирования, сравнили рецепты SFT (Supervised Fine-Tuning) и оценили стратегии обучения с подкреплением, такие как RLVR
Работа перекидывает мост между стерильными бенчмарками генерации кода и реальностью разработки на уровне репозиториев
Статья доказывает, что код скейлится иначе, чем текст, и дает готовые инструкции для создания инструментов следующего поколения — от умного автокомплита до систем полной поддержки и фикса багов
arXiv.org
From Code Foundation Models to Agents and Applications: A...
Large language models (LLMs) have fundamentally transformed automated software development by enabling direct translation of natural language descriptions into functional code, driving commercial...
A transformer's attention could be 99 % sparser without losing its smarts
A new research from MPI-IS, Oxford, and ETH Zürich shows it can
A simple post-training method strips away redundant connections, revealing a cleaner, more interpretable circuit
This suggests much of the computation we rely on is just noise
A new research from MPI-IS, Oxford, and ETH Zürich shows it can
A simple post-training method strips away redundant connections, revealing a cleaner, more interpretable circuit
This suggests much of the computation we rely on is just noise
arXiv.org
Sparse Attention Post-Training for Mechanistic Interpretability
We introduce a simple post-training method that makes transformer attention sparse without sacrificing performance. Applying a flexible sparsity regularisation under a constrained-loss objective,...
В журнале "Проблемы прогнозирования" (№6, 2025) опубликована статья эксперта ЦМАКП: "Прогноз предложения труда специалистов по информационно-коммуникационным технологиям высшей квалификации в России"
На основе балансовой модели определены границы возможного увеличения количества специалистов по ИКТ до 2030 года исходя из возможностей системы образования и профессиональной мобильности
Нижняя граница определена исходя из количества поступивших в ВУЗы на ИТ-специальности и обычного % выпустившихся и трудоустроившихся по специальности
Верхняя граница прогноза дополнительно предполагает высокий уровень притока в ИТ специалистов из других сфер
На основе балансовой модели определены границы возможного увеличения количества специалистов по ИКТ до 2030 года исходя из возможностей системы образования и профессиональной мобильности
Нижняя граница определена исходя из количества поступивших в ВУЗы на ИТ-специальности и обычного % выпустившихся и трудоустроившихся по специальности
Верхняя граница прогноза дополнительно предполагает высокий уровень притока в ИТ специалистов из других сфер
ИНП РАН
Прогноз предложения труда специалистов по информационно-коммуникационным технологиям высшей квалификации в России - ИНП РАН
Исследование анализирует предложение труда ИКТ‑специалистов в России до 2030 года с использованием модели воспроизводства рабочей силы. Представлены два сценария развития предложения рабочей силы специалистов по ИКТ, которые задают ограничения на развитие…
Как «вырезать» из большой нейросети опасные знания, при этом почти не навредить её обычным способностям
Новая технология называется Selective Gradient Masking (SGTM)
Статья тут
Простыми словами это вот как:
1. Во время дообучения модели говорят модели:
«Вот опасные тексты — запоминай их только в этих специальных ячейках памяти (оранжевые)
А всё полезное — только в обычных ячейках (синие)»
2. Модель послушно разделяет знания: плохое в одну сторону, хорошее в другую
3. В конце просто берут и обнуляют «оранжевые» ячейки
Всё
Опасные знания физически исчезли из модели, их нельзя «вытащить» даже если очень постараться
Главное — это работает даже, когда часть опасных текстов не нашли и не пометили, а это в реальной жизни почти всегда так
Другие проекты по безопасности тут
Результаты интересные:
- после «вырезания» модель почти не теряет общие знания,
- чтобы вернуть удалённые способности обратно, нужно в 7 раз больше усилий, чем раньше,
- лишние вычисления при обучении — всего +5–6 %
Новая технология называется Selective Gradient Masking (SGTM)
Статья тут
Простыми словами это вот как:
1. Во время дообучения модели говорят модели:
«Вот опасные тексты — запоминай их только в этих специальных ячейках памяти (оранжевые)
А всё полезное — только в обычных ячейках (синие)»
2. Модель послушно разделяет знания: плохое в одну сторону, хорошее в другую
3. В конце просто берут и обнуляют «оранжевые» ячейки
Всё
Опасные знания физически исчезли из модели, их нельзя «вытащить» даже если очень постараться
Главное — это работает даже, когда часть опасных текстов не нашли и не пометили, а это в реальной жизни почти всегда так
Другие проекты по безопасности тут
Результаты интересные:
- после «вырезания» модель почти не теряет общие знания,
- чтобы вернуть удалённые способности обратно, нужно в 7 раз больше усилий, чем раньше,
- лишние вычисления при обучении — всего +5–6 %
Anthropic на AI Engineering Code Summit представила доклад "Skills > Agents" (фокус на "Agent Skills" как альтернативе множеству агентов)
Они аргументируют, что вместо строительства кучи специализированных Ml-агентов лучше инвестировать в модульные навыки, которые делают общего агента, как Claude универсальным и полезным для реальных задач
Кстати, Skills были представлены в октябре ещё
Они представили график, объясняющий почему навыки важнее агентов в развитии Ml, особенно в контексте их инструмента Claude Code
С накоплением навыков Ml становится не просто умным, а эффективным
Навыки умножают интеллект, делая систему гибкой и применимой в реальных сценариях
Они аргументируют, что вместо строительства кучи специализированных Ml-агентов лучше инвестировать в модульные навыки, которые делают общего агента, как Claude универсальным и полезным для реальных задач
Кстати, Skills были представлены в октябре ещё
Они представили график, объясняющий почему навыки важнее агентов в развитии Ml, особенно в контексте их инструмента Claude Code
С накоплением навыков Ml становится не просто умным, а эффективным
Навыки умножают интеллект, делая систему гибкой и применимой в реальных сценариях
Business Insider
Anthropic researchers say the industry should stop building tons of AI agents — the real breakthrough is something simpler
Anthropic researchers say the industry doesn't need more AI agents, but rather "skills" that equip agents with expertise and reusable workflows.
Нельзя допустить "потери поколения", которые не захотят думать:
Ответственность за принятие решений должна лежать на конкретном человеке
Не использовать технологии — значит проиграть все, использовать бездумно — утратить все
Бездумное использование может привести к распылению идентичности россиян
Нельзя допустить разделения на пользователей и "две десятых" представителей элиты
Ответственность за принятие решений должна лежать на конкретном человеке
Не использовать технологии — значит проиграть все, использовать бездумно — утратить все
Бездумное использование может привести к распылению идентичности россиян
Нельзя допустить разделения на пользователей и "две десятых" представителей элиты
Сверхразум на Земле будет наш!
Я сказал!
Последний патрон Трампа в войне с Китаем за первенство в Ml
Президент Трамп заявил, что на этой неделе подпишет указ, создающий единую общенациональную структуру регулирования Ml, кардинально урезая возможности регулирования Ml на уровне штатов
Этот шаг свидетельствует о самой агрессивной на сегодняшний день попытке администрации определить направление развития Ml и систем управления на основе Ml в США
Вот как Трамп написал об этом у себя в соцсети:
• О предыстории этого решения;
• о его перспективах;
• и почему, если этот последний патрон не сработает, Трампу нечем будет даже застрелиться, -
читайте в Instant View
Я сказал!
Последний патрон Трампа в войне с Китаем за первенство в Ml
Президент Трамп заявил, что на этой неделе подпишет указ, создающий единую общенациональную структуру регулирования Ml, кардинально урезая возможности регулирования Ml на уровне штатов
Этот шаг свидетельствует о самой агрессивной на сегодняшний день попытке администрации определить направление развития Ml и систем управления на основе Ml в США
Вот как Трамп написал об этом у себя в соцсети:
«Мы сейчас обгоняем ВСЕ СТРАНЫ в этой гонке, но это продлится недолго, если в процесс выработки ПРАВИЛ и ОДОБРЕНИЯ будут вовлечены 50 штатов, многие из которых ведут себя как недобросовестные игроки
В ЭТОМ НЕ МОЖЕТ БЫТЬ НИКАКИХ СОМНЕНИЙ! ИИ БУДЕТ УНИЧТОЖЕН В ЗАРОДЫШЕ!»
• О предыстории этого решения;
• о его перспективах;
• и почему, если этот последний патрон не сработает, Трампу нечем будет даже застрелиться, -
читайте в Instant View