⚡️ Mistral-NeMo-Minitron-8B-Base: Базовая Minitron 8B от Nvidia

NVIDIA и Mistral AI представили модель Mistral-NeMo-Minitron 8B, одну из наиболее точных открытых моделей в своем классе для генерации текста.

Mistral-NeMo-Minitron-8B-Base получена в результате обрезки (pruning) и дистилляции Mistral-NeMo 12B. В процессе создания была урезана размерность эмбеддинга и промежуточная размерность MLP (с 14336 до 11520).
Комбинация применяемых методов позволила оставить количество attention heads и слоев неизменным.

После обрезки было продолжено обучение с дистилляцией, используя корпус данных от Nemotron-4 15B размером 380 миллиардов токенов для получения окончательной модели, что примерно в 40 раз меньше, чем необходимо для тренировки модели такой же плотности с нуля.

Корпус обучения (набор данных) по структуре точно такой же, как в недавно представленной другой модели, собранной по такой же методике обрезки и дистилляции.
Дата актуальности корпуса обучения - июнь 2023 года.

При создании Mistral-NeMo-Minitron 8B использованы техники Grouped-Query Attention (GQA) и Rotary Position Embeddings (RoPE).
Архитектурные характеристики:

🟢total params - 8B;
🟢active non-embedding params - 7.3B;
🟢embedding size - 4096;
🟢attention heads - 32;
🟢MLP intermediate dimension - 11520;
🟢number of layers - 40;
🟢input context - 8000.

Поддержка Mistral-NeMo-Minitron-8B-Base в Hugging Face Transformers будет реализована в ближайшем обновлении.
Для инференса модели выполните рекомендованные разработчиками инструкции или запустите модель в NeMo v.24.05

Есть неофициальные квантованные (imatrix) GGUF - версии модели в 8 разрядностях, от 1-bit (2. 12 Gb) до 16-bit (16.08 Gb).


📌Лицензирование : NVIDIA Open Model License.


🟡Страница проекта
🟡Модель
🟡Набор GGUF
🟡Arxiv
🟡Demo


@ai_machinelearning_big_data

#AI #NVIDIA #LLM #ML #Minitron

🌟 Инструмент для ускорения обучения LLM YaFSDP

Алгоритм YaFSDP позволяет существенно ускорить процесс обучения больших языковых моделей. Руководитель группы претрейна YandexGPT рассказал, как команда работала над созданием библиотеки, были ли референсы и сложности в процессе.

📎 Ссылка

@machinelearning_interview

🌟 Упражнения в использовании R для ML

Держите несколько практических заданий по ML и их решение на R.
Вот некоторые из заданий:

— кластеризация и классификация
— работа с текстом
— определение выбросов в датасете
— проведение статистических тестов

🟡 ML exercises

@machinelearning_interview

🌟 Xorbits — масштабируемый Python фреймворк для задач ML и DS, ориентированный на скорость

Xorbits позволяет, к примеру, легко использовать данные для обучения генеративных моделей а также разворачивать обученные модели в своей инфраструктуре.

Xorbits может использовать несколько ядер/GPU, может работать на 1 машине или масштабироваться до тысяч машин для поддержки обработки терабайтов данных.
Xorbits предоставляет набор полезных библиотек для анализа данных и ML.

🖥 GitHub
🟡 Доки

@machinelearning_interview

🌟 OmniCast — технология, где нейросети делают более точный прогноз погоды

На Хабр вышла статья-разбор новой технологии Яндекс Погоды, работающей на основе нейросетей. OmniCast улучшает локальный прогноз за счет новых источников данных — любительских метеостанций. Благодаря этому сервис стал в 36 раз чаще получать данные о температуре и обновлять прогноз каждые пять минут.

📎 Статья

@machinelearning_interview

📌Полный курс лекций по ML с упором на практические примеры

Помимо подробной теории по ML здесь приводятся лабораторные работы с решениями

🟡 Practical Machine Learning

@machinelearning_interview