Последняя из работ-финалистов NeurIPS 2025, про геометрию репрезентаций и механистическое объяснение законов скейлинга. Работа прекрасна!

Superposition Yields Robust Neural Scaling
Yizhou Liu, Ziming Liu, and Jeff Gore
Статья: https://arxiv.org/abs/2505.10465, https://openreview.net/forum?id=knPz7gtjPW
Код: https://github.com/liuyz0/SuperpositionScaling
Ревью: https://arxiviq.substack.com/p/neurips-2025-superposition-yields

# TL;DR

ЧТО сделали: Предложили механистическое объяснение законов масштабирования (scaling laws), связав их с суперпозицией репрезентаций. Адаптировав фреймворк разреженных автоэнкодеров и проверив теорию на открытых LLM (OPT, Pythia, Qwen), авторы показали: когда модели работают в режиме «сильной суперпозиции» (кодируют значительно больше фичей, чем имеют измерений), лосс масштабируется обратно пропорционально ширине модели (L ∝ 1/m). Этот скейлинг обусловлен геометрической интерференцией между векторами признаков, а не статистическими свойствами хвоста распределения данных.

ПОЧЕМУ это важно: Работа — Best Paper Runner-Up на NeurIPS 2025. Она дает вывод законов скейлинга «из первых принципов», устойчивый к распределению данных. В отличие от предыдущих теорий, опирающихся на аппроксимацию многообразия, здесь утверждается, что степенной закон поведения LLM — это геометрическая неизбежность сжатия разреженных концептов в плотные пространства. Это означает, что для преодоления барьеров масштабирования нужны архитектурные вмешательства для управления интерференцией признаков — простое добавление данных не поможет обойти это геометрическое бутылочное горлышко.

Подробнее: https://t.iss.one/gonzo_ML_podcasts/1531

Mistral Large 3 — у нас есть DeepSeek дома

Архитектурно модель DeepSeek V3 с немного другим конфигом. Из преимуществ перед линейкой V3 — Mistral 3 мультимодальная, что редкость для открытых моделей такого размера (самое близкое что вспоминается — Qwen 3 VL). Ризонер варианта нет, базовая модель тягается на бенчах с Kimi K2 и DeepSeek V3.1.

Вместе с Large 3 компания выпустили новые Ministral — 14B, 8B и 3B. 14B лучше Qwen схожего размера, а вот 8B и 3B уступают Qwen 3 8B и 4B. Эти модели тоже умеют в мультимодальность и у них есть ризонинг варианты. Все четыре модели уже доступны по лицензии Apache 2.0.

Веса Large 3
Веса Ministral 3
Блогпост

@ai_newz