Курс по LLM от mlabonne

Детальный качественный курс, даже скорее энциклопедия, для тех, кто хочет научиться работать с LLM.

Делится на Основы LLM, Ученый LLM и Инженер LLM.

Каждый раздел включает в себя блокноты с кодом, статьи и разъяснения.

Основы LLM
- Математика для МЛ: линейная алгебра, исчисления, статистика и вероятности.
- Python для МЛ: основы Python, обработка данных и библиотеки МЛ.
- Нейронные сети: Основы архитектуры, обучение, оптимизация и переобучение.
- Обработка естественного языка (NLP): Вводная информация, методы извлечения признаков, вложения слов и РНС.

Ученый LLM
- Архитектура LLM: Общий обзор архитектуры Transformer, токенизации, механизмов внимания и генерации текста.
- Создание инструкционного набора данных: Техники для создания наборов данных.
- Предварительное обучение моделей: Обзор обучения с акцентом на конвейерах данных и каузальном моделировании языка.
- Fine-Tuning: Техники, такие как fine-tuning, LoRA, QLoRA, Axolotl и DeepSpeed.
- Обучение с подкреплением от человеческого отзыва (RLHF).
- Оценка: Обсуждение метрик, общих и специфических бенчмарков, а также оценки человеком.
- Квантование: Введение в техники квантования для LLM.
- Новые тенденции: позиционные вложения, слияние моделей, группы экспертов и мультимодальные модели.

Инженер LLM
- Запуск LLM: API для LLM, открытые LLM, инженерия запросов и структурирование вывода.
- Создание векторного хранилища: Этапы создания векторного хранилища для увеличения эффективности генерации (RAG).
- Генерация с поиском: Объяснение оркестраторов, поисковиков, память и RAG.
- Продвинутый RAG: построение запросов, агентов и инструментов, а также постобработку.
- Оптимизация вывода: Flash Attention, кэш ключевых-значений и спекулятивное декодирование (использование малых моделей для генерации пред-ответов).
- Развертывание LLM: Локальное, демо, развертывание сервера и на эдж устройствах.
- Безопасность LLM: Обсуждает взлом запросов, закладки и защитные меры.

Курс - огонь! 🤓

#GitHub #LLMCourse #MLabonne
------
@tsingular

🌟 Агенты GenAI: Репозиторий Github c обширной базой знаний и примерами.

GenAI-агенты - это системы ИИ, способные взаимодействовать с окружающим миром и выполнять разнообразные задачи, подобно человеку. В отличие от традиционных систем ИИ, GenAI-агенты обладают большей гибкостью, адаптивностью и способностью к обучению.

Репозиторий - кладезь теоретических и практических знаний: примеры, начиная от простых разговорных ботов до сложных многоагентных систем, обучающие материалы для всех уровней — от начинающих до опытных пользователей, заинтересованных в изучении и применении современных технологий GenAI.

Простые агенты:

🟢простые диалоговые агентов и агенты для ответов на вопросы;
🟢агенты для анализа данных;

Агенты для конкретных задач:

🟠клиентская поддержка;
🟠оценка эссе и сочинений;
🟠планировщик путешествий;

Творческие агенты:

🟢агент генерации GIF-анимации;
🟢агент для генерации речи на основе текста;
🟢агент для генерации музыкальных композиций;

Сложные системы агентов:

🟠разговорный агент с расширенной памятью;
🟠многоагентные системы;
🟠самосовершенствующиеся агенты;
🟠агенты, ориентированные на выполнение задач;
🟠агенты для поиска и обобщения информации в Интернете;
🟠 исследовательские группы агентов на базе Autogen;

Специальные сложные агенты:

🟢агент для комплексных задач с использованием RAG.


▶️Практическое изучение и создание агентов GenAI::

# Клонируйте репозиторий
git clone https://github.com/NirDiamant/GenAI_Agents.git

#Перейдите к интересующей вас технике
cd all_agents_tutorials/technique-name

#Следуйте подробному руководству по применению в каталоге каждой техники.

📌 Лицензирование : Apache 2.0 License.


🟡Сообщество в Discord
🖥Github


@ai_machinelearning_big_data

#AI #ML #Agents #AwesomeGenAI #Github