🚀 Flashmla от deepeseek

DeepSeek представил MLA – революционное ускорение инференса LLM
DeepSeek выпустил свою реализацию MLA (Multi-head Latent Attention), которая значительно ускоряет работу больших языковых моделей (LLM) и существенно снижает требования к памяти. Вот как это работает:

Что такое MLA?
MLA – это инновационный механизм внимания, который использует технику «low-rank joint compression» для сжатия матриц «ключей» (K) и «значений» (V). Благодаря этому подходу достигается:

Снижение использования памяти до 93.3%: сжатие позволяет уменьшить объем данных, которые нужно хранить для каждого слоя внимания.
Увеличение пропускной способности до 5.76 раз: особенно заметно на длинных контекстах, где традиционные методы сталкиваются с проблемами масштабирования.
Основные принципы работы MLA
MLA впервые был представлен в публикации DeepSeek AI V2, где также описывалась их архитектура Mixture-of-Experts. Ключевые этапы работы метода «low-rank joint compression» MLA включают:

1️⃣ Проекция в латентное пространство:
Вместо хранения полных матриц K и V для каждой «головы» внимания, они проецируются в общее, низкоразмерное латентное пространство. Это позволяет существенно сократить объем необходимых данных.

2️⃣ Обучаемые латентные векторы:
MLA вводит набор обучаемых латентных векторов, число которых значительно меньше, чем размеры исходных матриц K и V. Эти векторы служат своего рода «ядром», которое хранит сжатую информацию.

3️⃣ Нелинейная проекция:
Ключи и значения проецируются в латентное пространство с использованием нелинейной функции, которая обучается вместе с моделью. Это позволяет адаптивно подбирать оптимальное сжатие в зависимости от задачи.

4️⃣ Восстановление «по требованию»:
При вычислении коэффициентов внимания происходит динамическое восстановление приближенных матриц K и V из сохраненных латентных векторов. Важно, что восстановление выполняется «по требованию», только для необходимых токенов, что экономит вычислительные ресурсы.

Техническая поддержка и оптимизация
DeepSeek также представил open-source CUDA ядра, оптимизированные для NVIDIA Hopper GPUs, что обеспечивает высокую производительность MLA на современном оборудовании. Ознакомиться с кодом и начать использовать оптимизированные ядра можно по ссылке: FlashMLA на GitHub.

https://github.com/deepseek-ai/FlashMLA

@data_analysis_ml

⚡️ DeepSeek-R1-FP4 от NVIDIA привлекает внимание тем, что сочетает в себе передовые идеи для быстрого и эффективного поиска по мультимедийному контенту.

Главное, что здесь сделано по-новому — это применение 4-битной точности (FP4) для представления данных.

Такая оптимизация позволяет существенно снизить затраты памяти и ускорить вычислительный процесс, что особенно важно при работе с огромными массивами изображений или видео.

Суть подхода в том, что система сначала «вчитывается» в контент, извлекая из него ключевые признаки, а затем преобразует их в компактные векторные представления.

Эти векторы отражают глубокую семантику, а не просто поверхностные характеристики, поэтому поиск становится более осмысленным. При запросе система сравнивает вектор, соответствующий запросу, с уже сохранёнными представлениями, находя наиболее похожие и релевантные результаты.

Такой метод особенно интересен для приложений, где необходимо работать с мультимодальными данными — будь то поиск похожих сцен в видеоархивах или сопоставление изображений с текстовыми описаниями. Оптимизация под современные аппаратные решения от NVIDIA делает эту модель подходящей для интеграции в реальные системы, где скорость и эффективность поиска играют ключевую роль.

В общем, DeepSeek-R1-FP4 — это пример того, как современные технологии позволяют не только повысить качество поиска, но и сделать его более доступным с точки зрения вычислительных ресурсов.

huggingface.co/nvidia/DeepSeek-R1-FP4

⚡ Verl – Volcano Engine Reinforc
ement Learning for LLMs

Проект, объединяющий методы обучения с подкреплением для улучшения работы языковых моделей.

Отличается экспериментальным подходом и перспективой интеграции с популярными LLM.

▪Github

@data_analysis_ml