Технозаметки Малышева
5.54K subscribers
2.79K photos
927 videos
38 files
3.06K links
Новости инноваций из мира Искусственного Интеллекта. 🤖

Всё об ИИ, ИТ трендах и Технологической Сингулярности.

🤖: @ai_gptfreebot [бесплатный бот]
✍️: @tsingular_bot [каталог ботов и курсов]

💸[поддержка]: pay.cloudtips.ru/p/c8960bbb
Download Telegram
Курс по LLM от mlabonne

Детальный качественный курс, даже скорее энциклопедия, для тех, кто хочет научиться работать с LLM.

Делится на Основы LLM, Ученый LLM и Инженер LLM.

Каждый раздел включает в себя блокноты с кодом, статьи и разъяснения.

Основы LLM
- Математика для МЛ: линейная алгебра, исчисления, статистика и вероятности.
- Python для МЛ: основы Python, обработка данных и библиотеки МЛ.
- Нейронные сети: Основы архитектуры, обучение, оптимизация и переобучение.
- Обработка естественного языка (NLP): Вводная информация, методы извлечения признаков, вложения слов и РНС.

Ученый LLM
- Архитектура LLM: Общий обзор архитектуры Transformer, токенизации, механизмов внимания и генерации текста.
- Создание инструкционного набора данных: Техники для создания наборов данных.
- Предварительное обучение моделей: Обзор обучения с акцентом на конвейерах данных и каузальном моделировании языка.
- Fine-Tuning: Техники, такие как fine-tuning, LoRA, QLoRA, Axolotl и DeepSpeed.
- Обучение с подкреплением от человеческого отзыва (RLHF).
- Оценка: Обсуждение метрик, общих и специфических бенчмарков, а также оценки человеком.
- Квантование: Введение в техники квантования для LLM.
- Новые тенденции: позиционные вложения, слияние моделей, группы экспертов и мультимодальные модели.

Инженер LLM
- Запуск LLM: API для LLM, открытые LLM, инженерия запросов и структурирование вывода.
- Создание векторного хранилища: Этапы создания векторного хранилища для увеличения эффективности генерации (RAG).
- Генерация с поиском: Объяснение оркестраторов, поисковиков, память и RAG.
- Продвинутый RAG: построение запросов, агентов и инструментов, а также постобработку.
- Оптимизация вывода: Flash Attention, кэш ключевых-значений и спекулятивное декодирование (использование малых моделей для генерации пред-ответов).
- Развертывание LLM: Локальное, демо, развертывание сервера и на эдж устройствах.
- Безопасность LLM: Обсуждает взлом запросов, закладки и защитные меры.

Курс - огонь! 🤓

#GitHub #LLMCourse #MLabonne
------
@tsingular
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21🔥1
Hugging Face обновили курс по LLM

Крупное обновление популярного курса от Hugging Face - теперь фокус на создании как малых, так и больших языковых моделей.

Основные улучшения:
- Новая глава по файн-тюнингу моделей с практическими примерами
- Интеграция библиотек Datasets, Tokenizers, Accelerate и Evaluate
- Обновленные best practices для PyTorch
- Интерактивные квизы для проверки знаний
- Практические задания по классификации текста с BERT

Теперь студенты смогут не только использовать готовые модели, но и адаптировать их под свои задачи с современными подходами.

#HuggingFace #LLMCourse #FineTuning
------
@tsingular
33