Новые законы масштабирования ИИ: от количества к качеству
Интересный анализ того, как индустрия пересматривает подходы к развитию крупных языковых моделей.
Вместо простого наращивания параметров внедряются комплексные системы верификации и улучшенные методы инференса.
Best-of-N Sampling и Monte Carlo roll-outs повышают качество генерации через множественную проверку результатов.
Архитектура O1 Pro представляет революционный подход к токеномике и оптимизации KV-кэша.
Synthetic data и AI Feedback заменяют человеческую разметку в обучении.
Новый тренд - увеличение вычислительной мощности на этапе вывода существенно улучшает качество ответов.
Ну и самое вкусное, - Opus 3.5 уже натренирован, сейчас оптимизируется.
#O1Pro #ScalingLaws #Opus
-------
@tsingular
Интересный анализ того, как индустрия пересматривает подходы к развитию крупных языковых моделей.
Вместо простого наращивания параметров внедряются комплексные системы верификации и улучшенные методы инференса.
Best-of-N Sampling и Monte Carlo roll-outs повышают качество генерации через множественную проверку результатов.
Архитектура O1 Pro представляет революционный подход к токеномике и оптимизации KV-кэша.
Synthetic data и AI Feedback заменяют человеческую разметку в обучении.
Новый тренд - увеличение вычислительной мощности на этапе вывода существенно улучшает качество ответов.
Ну и самое вкусное, - Opus 3.5 уже натренирован, сейчас оптимизируется.
#O1Pro #ScalingLaws #Opus
-------
@tsingular
👍4
Законы масштабирования ИИ от NVIDIA
Pretraining Scaling:
Больше параметров
Больше данных
Больше вычислительной мощности
= Лучше результат
Именно отсюда растут модели на триллионы параметров и MoE (Mixture of Experts) архитектуры.
Post-training Scaling:
Fine-tuning на специфических задачах
Дистилляция (большая модель учит маленькую)
RLHF/RLAIF для коррекции на обратной связи от человека или ИИ
Best-of-n sampling для улучшения выходных данных
Неожиданный факт: на пост-тренинг производных моделей уходит в 30 раз больше вычислений, чем на тренировку базовой! 🤯
Test-time Scaling (он же Long/Deep Thinking) - горячий тренд:
Модель не выдаёт ответ сразу, а "размышляет"
На сложных задачах может думать минутами или часами
Потребляет в 100 раз больше ресурсов по сравнению с обычным инференсом
Использует chain-of-thought prompting и поиск по дереву решений
Технические детали:
Chain-of-thought: разбивает сложные проблемы на простые шаги
Majority voting: генерирует несколько ответов и выбирает самый частый
Search: исследует дерево возможных решений
Что дальше?
Уже появились первые модели с упором на reasoning:
OpenAI o1-mini и o3-mini
DeepSeek R1
Gemini 2.0 Flash Thinking
Индустрия делает серьёзную ставку на "думающие" модели - но это требует космических вычислительных ресурсов.
Нужно больше золота, милорд! :)
#NVIDIA #ScalingLaws #Computing
———
@tsingular
Pretraining Scaling:
Больше параметров
Больше данных
Больше вычислительной мощности
= Лучше результат
Именно отсюда растут модели на триллионы параметров и MoE (Mixture of Experts) архитектуры.
Post-training Scaling:
Fine-tuning на специфических задачах
Дистилляция (большая модель учит маленькую)
RLHF/RLAIF для коррекции на обратной связи от человека или ИИ
Best-of-n sampling для улучшения выходных данных
Неожиданный факт: на пост-тренинг производных моделей уходит в 30 раз больше вычислений, чем на тренировку базовой! 🤯
Test-time Scaling (он же Long/Deep Thinking) - горячий тренд:
Модель не выдаёт ответ сразу, а "размышляет"
На сложных задачах может думать минутами или часами
Потребляет в 100 раз больше ресурсов по сравнению с обычным инференсом
Использует chain-of-thought prompting и поиск по дереву решений
Технические детали:
Chain-of-thought: разбивает сложные проблемы на простые шаги
Majority voting: генерирует несколько ответов и выбирает самый частый
Search: исследует дерево возможных решений
Что дальше?
Уже появились первые модели с упором на reasoning:
OpenAI o1-mini и o3-mini
DeepSeek R1
Gemini 2.0 Flash Thinking
Индустрия делает серьёзную ставку на "думающие" модели - но это требует космических вычислительных ресурсов.
Нужно больше золота, милорд! :)
#NVIDIA #ScalingLaws #Computing
———
@tsingular
👍7