Курс по LLM от mlabonne
Детальный качественный курс, даже скорее энциклопедия, для тех, кто хочет научиться работать с LLM.
Делится на Основы LLM, Ученый LLM и Инженер LLM.
Каждый раздел включает в себя блокноты с кодом, статьи и разъяснения.
Основы LLM
- Математика для МЛ: линейная алгебра, исчисления, статистика и вероятности.
- Python для МЛ: основы Python, обработка данных и библиотеки МЛ.
- Нейронные сети: Основы архитектуры, обучение, оптимизация и переобучение.
- Обработка естественного языка (NLP): Вводная информация, методы извлечения признаков, вложения слов и РНС.
Ученый LLM
- Архитектура LLM: Общий обзор архитектуры Transformer, токенизации, механизмов внимания и генерации текста.
- Создание инструкционного набора данных: Техники для создания наборов данных.
- Предварительное обучение моделей: Обзор обучения с акцентом на конвейерах данных и каузальном моделировании языка.
- Fine-Tuning: Техники, такие как fine-tuning, LoRA, QLoRA, Axolotl и DeepSpeed.
- Обучение с подкреплением от человеческого отзыва (RLHF).
- Оценка: Обсуждение метрик, общих и специфических бенчмарков, а также оценки человеком.
- Квантование: Введение в техники квантования для LLM.
- Новые тенденции: позиционные вложения, слияние моделей, группы экспертов и мультимодальные модели.
Инженер LLM
- Запуск LLM: API для LLM, открытые LLM, инженерия запросов и структурирование вывода.
- Создание векторного хранилища: Этапы создания векторного хранилища для увеличения эффективности генерации (RAG).
- Генерация с поиском: Объяснение оркестраторов, поисковиков, память и RAG.
- Продвинутый RAG: построение запросов, агентов и инструментов, а также постобработку.
- Оптимизация вывода: Flash Attention, кэш ключевых-значений и спекулятивное декодирование (использование малых моделей для генерации пред-ответов).
- Развертывание LLM: Локальное, демо, развертывание сервера и на эдж устройствах.
- Безопасность LLM: Обсуждает взлом запросов, закладки и защитные меры.
Курс - огонь!🤓
#GitHub #LLMCourse #MLabonne
------
@tsingular
Детальный качественный курс, даже скорее энциклопедия, для тех, кто хочет научиться работать с LLM.
Делится на Основы LLM, Ученый LLM и Инженер LLM.
Каждый раздел включает в себя блокноты с кодом, статьи и разъяснения.
Основы LLM
- Математика для МЛ: линейная алгебра, исчисления, статистика и вероятности.
- Python для МЛ: основы Python, обработка данных и библиотеки МЛ.
- Нейронные сети: Основы архитектуры, обучение, оптимизация и переобучение.
- Обработка естественного языка (NLP): Вводная информация, методы извлечения признаков, вложения слов и РНС.
Ученый LLM
- Архитектура LLM: Общий обзор архитектуры Transformer, токенизации, механизмов внимания и генерации текста.
- Создание инструкционного набора данных: Техники для создания наборов данных.
- Предварительное обучение моделей: Обзор обучения с акцентом на конвейерах данных и каузальном моделировании языка.
- Fine-Tuning: Техники, такие как fine-tuning, LoRA, QLoRA, Axolotl и DeepSpeed.
- Обучение с подкреплением от человеческого отзыва (RLHF).
- Оценка: Обсуждение метрик, общих и специфических бенчмарков, а также оценки человеком.
- Квантование: Введение в техники квантования для LLM.
- Новые тенденции: позиционные вложения, слияние моделей, группы экспертов и мультимодальные модели.
Инженер LLM
- Запуск LLM: API для LLM, открытые LLM, инженерия запросов и структурирование вывода.
- Создание векторного хранилища: Этапы создания векторного хранилища для увеличения эффективности генерации (RAG).
- Генерация с поиском: Объяснение оркестраторов, поисковиков, память и RAG.
- Продвинутый RAG: построение запросов, агентов и инструментов, а также постобработку.
- Оптимизация вывода: Flash Attention, кэш ключевых-значений и спекулятивное декодирование (использование малых моделей для генерации пред-ответов).
- Развертывание LLM: Локальное, демо, развертывание сервера и на эдж устройствах.
- Безопасность LLM: Обсуждает взлом запросов, закладки и защитные меры.
Курс - огонь!
#GitHub #LLMCourse #MLabonne
------
@tsingular
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2❤1🔥1
Hugging Face обновили курс по LLM
Крупное обновление популярного курса от Hugging Face - теперь фокус на создании как малых, так и больших языковых моделей.
Основные улучшения:
- Новая глава по файн-тюнингу моделей с практическими примерами
- Интеграция библиотек Datasets, Tokenizers, Accelerate и Evaluate
- Обновленные best practices для PyTorch
- Интерактивные квизы для проверки знаний
- Практические задания по классификации текста с BERT
Теперь студенты смогут не только использовать готовые модели, но и адаптировать их под свои задачи с современными подходами.
#HuggingFace #LLMCourse #FineTuning
------
@tsingular
Крупное обновление популярного курса от Hugging Face - теперь фокус на создании как малых, так и больших языковых моделей.
Основные улучшения:
- Новая глава по файн-тюнингу моделей с практическими примерами
- Интеграция библиотек Datasets, Tokenizers, Accelerate и Evaluate
- Обновленные best practices для PyTorch
- Интерактивные квизы для проверки знаний
- Практические задания по классификации текста с BERT
Теперь студенты смогут не только использовать готовые модели, но и адаптировать их под свои задачи с современными подходами.
#HuggingFace #LLMCourse #FineTuning
------
@tsingular
✍3⚡3