Бесплатная книга о больших языковых моделях – 315 страниц от предобучения до рассуждений.

Foundations of Large Language Models Тун Сяо и Цзинбо Чжу системно объясняет, как устроены LLM, как их обучают и применяют.

Внутри шесть основных тем:

- Предобучение: задачи обучения и архитектуры моделей.
- Генеративные модели: Transformer, подготовка данных, масштабирование и длинный контекст.
- Промптинг: обучение на примерах в контексте, декомпозиция задач, RAG и инструменты.
- Выравнивание: обучение выполнению инструкций и использование человеческой обратной связи.
- Инференс: декодирование, ускорение и дополнительные вычисления во время генерации.
- Рассуждения: методы улучшения способности решать сложные задачи.

Авторы делают акцент на фундаментальных принципах. Материал подойдёт студентам, разработчикам и ML-инженерам, которым хочется связать отдельные знания о LLM в целостную картину.

Книга на английском. Базовые знания машинного обучения и нейросетей помогут при чтении.

Скачать PDF бесплатно:
https://arxiv.org/pdf/2501.09223

"Large Flow Language Models"

What if we could turn existing LLMs into diffusionLMs that generate multiple tokens in parallel without losing accuracy?

📓 Read

@datascienceiot