🚀 Новое исследование: Reinforcement Learning on Pre-training Data (RLPT)
Этот метод решает главную проблему масштабирования LLM — ограниченность размеченного текста.
🌟 RLPT даёт моделям возможность учиться рассуждениям напрямую на данных предобучения, без дорогой ручной разметки.
Как это работает:
1️⃣ Модель во время обучения сама исследует данные и учится более общим стратегиям рассуждений.
2️⃣ Никакой дополнительной разметки — награды извлекаются прямо из предобучающих данных.
3️⃣ Награды за предсказание следующего сегмента позволяют масштабировать RL на этапе предобучения.
Результаты:
✅ На Qwen3-4B-Base прирост: +3.0 (MMLU), +5.1 (MMLU-Pro), +8.1 (GPQA-Diamond), +6.0 (KOR-Bench), +6.6 (AIME24), +5.3 (AIME25).
✅ Чем больше вычислений, тем сильнее рост.
✅ Технология создаёт базу для дальнейших улучшений в RLVR.
📄 Подробнее: https://arxiv.org/pdf/2509.19249
#AI #RLPT #LLM #MachineLearning #NLP
Этот метод решает главную проблему масштабирования LLM — ограниченность размеченного текста.
🌟 RLPT даёт моделям возможность учиться рассуждениям напрямую на данных предобучения, без дорогой ручной разметки.
Как это работает:
1️⃣ Модель во время обучения сама исследует данные и учится более общим стратегиям рассуждений.
2️⃣ Никакой дополнительной разметки — награды извлекаются прямо из предобучающих данных.
3️⃣ Награды за предсказание следующего сегмента позволяют масштабировать RL на этапе предобучения.
Результаты:
✅ На Qwen3-4B-Base прирост: +3.0 (MMLU), +5.1 (MMLU-Pro), +8.1 (GPQA-Diamond), +6.0 (KOR-Bench), +6.6 (AIME24), +5.3 (AIME25).
✅ Чем больше вычислений, тем сильнее рост.
✅ Технология создаёт базу для дальнейших улучшений в RLVR.
📄 Подробнее: https://arxiv.org/pdf/2509.19249
#AI #RLPT #LLM #MachineLearning #NLP
❤3👍3🔥1
🔧 LoRA или полный fine-tuning?
LoRA — это способ дообучать модели быстрее и дешевле. Вопрос в том, насколько результаты хуже, чем при полном fine-tuning.
📊 Оказалось, что во многих задачах качество почти одинаковое — разрыв меньше, чем многие думают.
В блоге Connectionism показали эксперименты и дали практические советы, когда стоит выбрать LoRA.
https://thinkingmachines.ai/blog/lora/
LoRA — это способ дообучать модели быстрее и дешевле. Вопрос в том, насколько результаты хуже, чем при полном fine-tuning.
📊 Оказалось, что во многих задачах качество почти одинаковое — разрыв меньше, чем многие думают.
В блоге Connectionism показали эксперименты и дали практические советы, когда стоит выбрать LoRA.
https://thinkingmachines.ai/blog/lora/
❤8👍4🔥2
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
Новая флагманская модель получила заметные улучшения: поддержка длинного контекста до 200K токенов, сильные возможности в рассуждении, генерации кода, поиска и агентных задачах.
Hf | Api | Попробовать
Newton - это открытый физический движок с GPU-ускорением, созданный на базе NVIDIA Warp и OpenUSD и выпущенный под лицензией Apache 2.0. Он показывает огромный прирост скорости: в задачах движения до 152× быстрее, а при манипуляции объектами — до 313× быстрее по сравнению с MJX на RTX 4090.
Isaac Lab позволяет запускать тысячи параллельных симуляций для ускоренного обучения с подкреплением. Среди демонстраций — робот ANYmal, осваивающий ходьбу, и симуляция складывания одежды с реалистичной мультифизикой.
NVIDIA Blog
Главная идея - контекст не равен простому prompt’у: это весь набор информации (инструкции, история сообщений, память, внешние данные), который агент использует для принятия решений.
Контекст - ограниченный ресурс, длинные цепочки приводят к «context rot» - постепенной потере качества.
Нужно уметь структурировать и минимизировать инструкции, оставляя только важное.
Важно грамотно управлять вызовами инструментов: они должны возвращать релевантные и компактные данные.
Историю лучше периодически сжимать, сохраняя факты, а не «сырые токены».
Для сложных случаев полезно делить задачи между суб-агентами, а затем агрегировать их результаты.
Эффективная контекстная инженерия делает агентов точнее, дешевле и устойчивее при работе с длинными
Подробнее
Новая 15B reasoning-модель с открытыми весами набрала 52 балла в Artificial Analysis Intelligence Index - уровень моделей в сотни миллиардов параметров. Отличается сильным instruction following, многошаговыми диалогами и поддержкой 128k контекста. Доступна на Hugging Face под MIT-лицензией для свободного коммерческого использования.
HF
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3
⚡ Новая работа про ускорение видео-диффузии — представляют SLA (Selective Linear Attention), обучаемый гибридный механизм внимания.
🎯 В чём идея:
- Обычное Attention растёт квадратично по длине — для длинных видео это огромные затраты.
- SLA делит внимание на три типа: критическое, несущественное и промежуточное.
- Критическое обрабатывается через FlashAttention, несущественное — пропускается, промежуточное — через линейное внимание.
- Быстрый шаг mean pooling заранее помечает блоки, экономя вычисления.
📈 Результаты:
- Снижение вычислений в attention на 95%.
- Генерация стала в 2.2 раза быстрее на 1.3B видеомодели.
- Достаточно короткого fine-tuning — полное переобучение не нужно.
- Качество при этом не падает — линейное внимание в роли вспомогательного сохраняет точность, а высокие веса ведут себя как многомерные паттерны, низкие — хорошо сжимаются.
📄 Paper: https://arxiv.org/abs/2509.24006
#AI #diffusion #video #deeplearning
🎯 В чём идея:
- Обычное Attention растёт квадратично по длине — для длинных видео это огромные затраты.
- SLA делит внимание на три типа: критическое, несущественное и промежуточное.
- Критическое обрабатывается через FlashAttention, несущественное — пропускается, промежуточное — через линейное внимание.
- Быстрый шаг mean pooling заранее помечает блоки, экономя вычисления.
📈 Результаты:
- Снижение вычислений в attention на 95%.
- Генерация стала в 2.2 раза быстрее на 1.3B видеомодели.
- Достаточно короткого fine-tuning — полное переобучение не нужно.
- Качество при этом не падает — линейное внимание в роли вспомогательного сохраняет точность, а высокие веса ведут себя как многомерные паттерны, низкие — хорошо сжимаются.
📄 Paper: https://arxiv.org/abs/2509.24006
#AI #diffusion #video #deeplearning
❤4
Media is too big
VIEW IN TELEGRAM
GigaChat Vision Team — ваша будущая команда! 😉
Если вы зарегистрируетесь на One Day Offer для NLP- и CV-инженеров и пройдёте все этапы отбора, то уже совсем скоро будете:
✔️ Обучать Vision, 3D/CAD и омни-модальные модели на тысячах A100/H100.
✔️ Создавать live-ассистента на edge-устройствах, а также базовые модели VLA для промышленных проектов: автоматизированных фабрик, автопилотов и роботов.
✔️ Работать с документами: Document Intelligence и разработка VLM OCR.
✔️ Развивать мультимодальную инфраструктуру: от инференса генеративных моделей до создания и авторазметки синтетических данных
Дублируем ссылку на регистрацию — до встречи 4 октября!
Если вы зарегистрируетесь на One Day Offer для NLP- и CV-инженеров и пройдёте все этапы отбора, то уже совсем скоро будете:
✔️ Обучать Vision, 3D/CAD и омни-модальные модели на тысячах A100/H100.
✔️ Создавать live-ассистента на edge-устройствах, а также базовые модели VLA для промышленных проектов: автоматизированных фабрик, автопилотов и роботов.
✔️ Работать с документами: Document Intelligence и разработка VLM OCR.
✔️ Развивать мультимодальную инфраструктуру: от инференса генеративных моделей до создания и авторазметки синтетических данных
Дублируем ссылку на регистрацию — до встречи 4 октября!
❤3
🔥 Разбор того, как Mixture-of-Experts (MoE) LLM можно сделать реально дешёвыми, если подогнать архитектуру под железо.
В чём проблема
- MoE включает только часть экспертов на токен → экономия compute.
- Но при больших batch size растут коммуникации и память:
- больше экспертов грузится,
- KV-кэш раздувается,
- узким местом становится память и сеть.
Решение - expert parallelism
- Эксперты размазаны по многим GPU.
- Токен идёт к top-N экспертам + shared-эксперт.
- В DeepSeek: 8 экспертов из 256 на слой × 58 слоёв.
Чтобы справиться с коммуникациями:
- внимание остаётся data parallel (кэш сидит на одном GPU),
- гоняются только маленькие вектора активаций,
- два микробатча: один считает, другой общается,
- горячие эксперты дублируются,
- токены стараются держать экспертов в пределах одного узла.
Оптимизации
- multi-head latent attention → сжатие KV-кэша до ~70KB вместо сотен KB.
- перестройка математики внимания → меньше вычислений при длинных контекстах.
- prefill и decode разделены, кэш даёт ~56% хитов → меньше затрат.
Экономика
- Стоимость = $/GPU-час ÷ токены/час.
- Дешевле при больших batch size, быстрых interconnect, большем числе GPU.
- Но если сервис обещает 20 токенов/сек на юзера → батчи меньше, цена выше.
Практика
- NVLink кластеры масштабируются отлично.
- InfiniBand между DGX - bottleneck.
- 72 GPU при batch 64 → миллиарды токенов в день за ~$0.40 / 1M токенов.
Итог
MoE становятся дёшевыми при:
- больших батчах,
- сжатом KV-кэше,
- грамотном роутинге,
- разделении префилла и декода,
- быстрых interconnect.
Это даёт гибкость: быстрый чат продаётся дороже, а bulk-генерация (синтетика, fine-tune) идёт почти по себестоимости.
https://www.tensoreconomics.com/p/moe-inference-economics-from-first
В чём проблема
- MoE включает только часть экспертов на токен → экономия compute.
- Но при больших batch size растут коммуникации и память:
- больше экспертов грузится,
- KV-кэш раздувается,
- узким местом становится память и сеть.
Решение - expert parallelism
- Эксперты размазаны по многим GPU.
- Токен идёт к top-N экспертам + shared-эксперт.
- В DeepSeek: 8 экспертов из 256 на слой × 58 слоёв.
Чтобы справиться с коммуникациями:
- внимание остаётся data parallel (кэш сидит на одном GPU),
- гоняются только маленькие вектора активаций,
- два микробатча: один считает, другой общается,
- горячие эксперты дублируются,
- токены стараются держать экспертов в пределах одного узла.
Оптимизации
- multi-head latent attention → сжатие KV-кэша до ~70KB вместо сотен KB.
- перестройка математики внимания → меньше вычислений при длинных контекстах.
- prefill и decode разделены, кэш даёт ~56% хитов → меньше затрат.
Экономика
- Стоимость = $/GPU-час ÷ токены/час.
- Дешевле при больших batch size, быстрых interconnect, большем числе GPU.
- Но если сервис обещает 20 токенов/сек на юзера → батчи меньше, цена выше.
Практика
- NVLink кластеры масштабируются отлично.
- InfiniBand между DGX - bottleneck.
- 72 GPU при batch 64 → миллиарды токенов в день за ~$0.40 / 1M токенов.
Итог
MoE становятся дёшевыми при:
- больших батчах,
- сжатом KV-кэше,
- грамотном роутинге,
- разделении префилла и декода,
- быстрых interconnect.
Это даёт гибкость: быстрый чат продаётся дороже, а bulk-генерация (синтетика, fine-tune) идёт почти по себестоимости.
https://www.tensoreconomics.com/p/moe-inference-economics-from-first
👍3❤2
Forwarded from Машинное обучение digest
Главная идея книги - показать, почему и как глубокие нейросети учатся извлекать сжатые, информативные представления сложных данных, и что у них внутри:
📖 Читать онлайн: ma-lab-berkeley.github.io/deep-representation-learning-book
@ai_machinelearning_big_data
#book #deeplearning #representationlearning #ucberkeley #machinelearning
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍3
Исследование, в котором анализирует феномен Neuro-sama – виртуального стримера, полностью управляемого крупной языковой моделью.
Neuro-sama ведёт трансляции от лица анимированного аватара, общаясь с чатом в реальном времени без участия человека.
Исследователи использовали опросы, интервью и анализ логов чата, чтобы понять, как зрители открывают для себя ИИ-стримера, почему остаются и как формируется эмоциональная связь.
- Зрители приходят из любопытства: их привлекает новизна, скорость ответов и непредсказуемость поведения ИИ.
- Они остаются из-за эмоциональных моментов, которые создают чувство общности и групповую идентичность вокруг персонажа.
- Несмотря на осознание, что это программа, фанаты общаются с ИИ как с живым существом, формируя социальную привязанность.
- Для зрителей аутентичность = стабильность, а не человечность. Последовательное поведение и узнаваемая личность важнее реалистичных эмоций.
- В чате преобладают прямые вопросы и команды, превращая стрим в интерактивный тест ИИ.
- 85% платных сообщений используются, чтобы направлять поведение Neuro-sama, делая зрителей соавторами контента.
Основная дилемма:
Создателям нужно сохранять устойчивый характер персонажа, но при этом давать пространство для импровизации и неожиданности.
Слишком предсказуемый ИИ теряет интерес, но слишком изменчивый разрушает ощущение «личности».
В итоге такие проекты показывают, как человеческое восприятие аутентичности постепенно адаптируется: нам всё меньше нужна «реальность», и всё больше – постоянство и вовлечённость, даже если источник этой личности — алгоритм.
📌 Подробнее: https://arxiv.org/abs/2509.10427
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤8👍2
🧠 LLM не как компилятор, а как архитектор?
Можно ли заставить LLM превратить макет из Figma в рабочий UI-код? Ребята из Яндекс Go взялись за эту задачу и написали отличный отчёт о своём пути.
🤯 Они честно рассказывают о провалах: от промпта на 400к токенов, который не влезал в контекст, до чёрного ящика Agent IDE и сложного RAG-конвейера с циклом обратной связи.
В итоге они пришли к элегантному решению: перестали требовать от модели идеальный синтаксис. LLM теперь генерирует описание интерфейса на простом YAML, а детерминированный транслятор превращает его в 100% компилируемый код.
Это крутая инженерная история о том, как найти предел возможностей LLM и обойти его с помощью системного дизайна.
Читайте статью здесь
Можно ли заставить LLM превратить макет из Figma в рабочий UI-код? Ребята из Яндекс Go взялись за эту задачу и написали отличный отчёт о своём пути.
🤯 Они честно рассказывают о провалах: от промпта на 400к токенов, который не влезал в контекст, до чёрного ящика Agent IDE и сложного RAG-конвейера с циклом обратной связи.
В итоге они пришли к элегантному решению: перестали требовать от модели идеальный синтаксис. LLM теперь генерирует описание интерфейса на простом YAML, а детерминированный транслятор превращает его в 100% компилируемый код.
Это крутая инженерная история о том, как найти предел возможностей LLM и обойти его с помощью системного дизайна.
Читайте статью здесь
❤3💩1