Анализ данных (Data analysis)

🚀 Flashmla от deepeseek

DeepSeek представил MLA – революционное ускорение инференса LLM
DeepSeek выпустил свою реализацию MLA (Multi-head Latent Attention), которая значительно ускоряет работу больших языковых моделей (LLM) и существенно снижает требования к памяти. Вот как это работает:

Что такое MLA?
MLA – это инновационный механизм внимания, который использует технику «low-rank joint compression» для сжатия матриц «ключей» (K) и «значений» (V). Благодаря этому подходу достигается:

Снижение использования памяти до 93.3%: сжатие позволяет уменьшить объем данных, которые нужно хранить для каждого слоя внимания.
Увеличение пропускной способности до 5.76 раз: особенно заметно на длинных контекстах, где традиционные методы сталкиваются с проблемами масштабирования.
Основные принципы работы MLA
MLA впервые был представлен в публикации DeepSeek AI V2, где также описывалась их архитектура Mixture-of-Experts. Ключевые этапы работы метода «low-rank joint compression» MLA включают:

1️⃣ Проекция в латентное пространство:
Вместо хранения полных матриц K и V для каждой «головы» внимания, они проецируются в общее, низкоразмерное латентное пространство. Это позволяет существенно сократить объем необходимых данных.

2️⃣ Обучаемые латентные векторы:
MLA вводит набор обучаемых латентных векторов, число которых значительно меньше, чем размеры исходных матриц K и V. Эти векторы служат своего рода «ядром», которое хранит сжатую информацию.

3️⃣ Нелинейная проекция:
Ключи и значения проецируются в латентное пространство с использованием нелинейной функции, которая обучается вместе с моделью. Это позволяет адаптивно подбирать оптимальное сжатие в зависимости от задачи.

4️⃣ Восстановление «по требованию»:
При вычислении коэффициентов внимания происходит динамическое восстановление приближенных матриц K и V из сохраненных латентных векторов. Важно, что восстановление выполняется «по требованию», только для необходимых токенов, что экономит вычислительные ресурсы.

Техническая поддержка и оптимизация
DeepSeek также представил open-source CUDA ядра, оптимизированные для NVIDIA Hopper GPUs, что обеспечивает высокую производительность MLA на современном оборудовании. Ознакомиться с кодом и начать использовать оптимизированные ядра можно по ссылке: FlashMLA на GitHub.

https://github.com/deepseek-ai/FlashMLA

@data_analysis_ml

GitHub

GitHub - deepseek-ai/FlashMLA: FlashMLA: Efficient MLA kernels

FlashMLA: Efficient MLA kernels. Contribute to deepseek-ai/FlashMLA development by creating an account on GitHub.

❤9👍4🔥2🤣2🥰1

5.95K viewsedited 11:27

Анализ данных (Data analysis)

✔️

Подтвержден выпуск Claude 3.7 Sonnet

AWS Badrock готовятся разместить новую версию Sonnet 3.7, которая, скорее всего, будет анонсирована сегодня во время мероприятия Amazon.

* Модель в настоящее время скрыта и не отображается в пользовательском интерфейсе

Инсайдеры раскопали, что модель достигает SOTA в кодинге, агентных способностях, сложном рассуждении и генерации контента.

Благодаря высокой производительности и контролю над скоростью работы, Claude 3.7 Sonnet заточена для реализации AI-агентов и комплексных AI-решений.

Источник: https://archive.is/BkvLb

@data_analysis_ml - подпистаться

Please open Telegram to view this post