Осталось 3 часа до лекции по LLM

Сегодня с Дмитрием Калашниковым разберёмся в актуальных моделях и их свойствах, типах задач, главных проблемах и их решениях!

На лекции вы узнаете:
— какие модели сейчас лучше выбрать и чем они отличаются
— как сравнить модели с помощью бенчмарков
— какие есть варианты применения: self-host против API, стоимость и ресурсы, основные провайдеры
— для каких задач LLM применяются в продуктах и какой уровень качества реально можно ожидать
— главные «болячки» ванильных решений и актуальные советы по их лечению

В конце представим программу курса LLM и откроем запись со скидкой!

🕕 Регистрируйтесь и приходите сегодня в 18:30 МСК

Научитесь решать сложные задачи в CV

Осталось меньше 3 недель до старта нашего курса Computer Vision Rocket.
Это программа для практикующих CV-инженеров, которые хотят закрыть пробелы в знаниях и узнать про подходы и best practices от senior-инженеров.

На курсе вы научитесь:
- готовить данные под реальные задачи
- находить и устранять ошибки в данных и разметке, улучшать качество
- работать с metric learning и векторным поиском
- адаптировать модели детекции, сегментации и OCR под сложные кейсы

Программа длится 4 месяца и состоит из 13 лекций, которые проходят онлайн, поэтому вы сможете задавать вопросы прямо во время занятий.

До 26 октября вы можете присоединиться со скидкой до 20% 🚀
Переходите на сайт, изучайте подробности и записывайтесь в лист ожидания!

Следующий уровень работы с LLM

Если вы уже работаете с LLM и хотите научиться решать сложные задачи, то приходите на ближайший поток LLM Pro, который стартует 13 ноября!

Это продвинутая программа, на которой мы показываем, как собирать полноценные NLP-системы с учётом требований к качеству и нагрузке.

Вы разберёте реальные кейсы и научитесь применять похожие подходы в своих проектах, получите фундамент для уверенного прохождения NLP system design интервью.

Читайте подробнее на сайте и оставляйте заявку до 2 ноября, чтобы присоединиться к обучению со скидкой до 20% ⚡

Если у вас есть вопросы, то пишите в нашу поддержку @deepschool_support

Attention и трансформеры в NLP: что спрашивают на собеседованиях

Механизм внимания — важный компонент современных DL-архитектур и популярная тема на собеседованиях на позицию DL-инженера.
В новой статье разобрали частые вопросы про attention и трансформеры с NLP-собеседований. Вопросы разбиты на тематические модули, а ответы на них спрятаны под спойлерам, прежде чем раскрыть их, попробуйте ответить сами.😉

Читайте статью по ссылке!

А чтобы уметь применять Attention и трансформеры в реальных продуктах под нагрузкой — приходите на наш курс LLM Pro.
Старт — 13 ноября.
Читайте подробнее на сайте и оставляйте заявку до 2 ноября, чтобы присоединиться к обучению со скидкой до 20% ⚡

Ванильный RAG не работает. Как исправить?

RAG — один из самых популярных подходов для интеграции LLM в реальные продукты. Его выбирают, когда нужно давать точные, верифицируемые ответы на основе собственной базы знаний. Но на практике такие решения почти никогда не работают «из коробки»: вместо полезных ответов — галлюцинации, поверхностные обобщения или просто тишина.

Причин много: эмбеддер не улавливает смысл запроса, поиск не находит нужные документы, генератор не может извлечь то, чего нет в извлеченном контексте. А когда всё ломается — непонятно, с чего начать: тюнить эмбеддер? дообучать генератор? улучшать данные?

В этот четверг мы проведём открытую лекцию, на которой разберём, как в этой системе навести порядок: что действительно влияет на качество ответов, как выстроить пайплайн правильно и превратить RAG из хаотичного набора компонентов в надёжный рабочий инструмент.

На лекции расскажем:
- почему ванильная схема «ретривер + генератор» почти никогда не даёт нужного качества
- с чего начинать улучшения: эмбеддер, поиск, реранкер, генератор, данные или что-то ещё
- какие задачи приходится решать, чтобы RAG действительно работал
- как из разрозненных компонент собрать надежный RAG-продукт

Также на лекции мы представим курс LLM Pro — продвинутую программу, на которой вы научитесь строить системы, которые работают в реальном мире!
А участникам лекции подарим скидки на обучение 🎁

📅 Лекция пройдёт 6 ноября в 19:00 МСК

Регистрируйтесь по ссылке и до встречи на лекции в четверг!

LoRA: краткий гайд перед собеседованием

Full fine‑tuning LLM — дорого и медленно. Если хочется дообучать LLM быстрее и дешевле, один из вариантов — Low‑Rank Adaptation (LoRA).

Идея подхода состоит в обучении компактных добавок к весам модели и оставлении базовых весов замороженными. Этот подход позволяет дообучить модель, сэкономив ресурсы на обучение, а скорость инференса останется как у оригинальной модели.

📌 Принцип работы LoRA

Линейный слой — матрица весов W размером d×d (для простоты рассматриваем квадратную). При full fine‑tuning для неё обновляется d² элементов. В LoRA веса остаются замороженными, а обучается только добавка ΔWᵈˣᵈ, которая является произведением матриц Bᵈˣʳ и Aʳˣᵈ. Выход h для линейного слоя с новой добавкой вычисляется по формуле:
h = Wx + (α / r) ∆Wx

где:

• x — входной вектор размерностью d;

• ∆W = BA, Aʳˣᵈ и Bᵈˣʳ — обучаемые матрицы весов, где r значительно меньше d. Таким образом, в LoRA обучаются 2*d*r параметров, то есть намного меньше, чем при full finetuning.

• α/r регулирует вклад адаптера:
- r — ёмкость адаптера. Чем она больше, тем сильнее обновления, но тем выше риск переобучения и стоимость шага обучения (время и VRAM). На практике начинают со значений в диапазоне от 4 до 32, при сложных задачах можно увеличить до 64.
- α — масштабирует вклад обновлений LoRA-адаптера. Здесь часто начинают с α = r. Если модель переобучается или градиенты нестабильны, можно уменьшать α (или добавить dropout). Главное — при изменении r держать α/r постоянным: если растет r, то α должен вырасти пропорционально.

Часто LoRA-адаптеры добавляют к линейным проекциям attention — query_proj и value_proj. Для большего качества можно добавить и к другим элементам блока трансформера, например, к MLP или output_proj.

Применение:
• При дообучении LLM для сервисов поиска с RAG, корпоративных ассистентов, мультиязычных моделей и др.
• Также популярен сценарий использования одной базовой LLM с несколькими адаптерами (multi-LoRA) под разные домены и клиентов.

📝Частые вопросы с собеседований

• Зачем матрица обновления ΔW раскладывается на произведение A и B ? Почему бы не использовать одну матрицу?
Если в качестве добавки использовать одну матрицу размером d × d — экономии не будет. Факторизация на Aʳˣᵈ и Bᵈˣʳ, где r значительно меньше d, сокращает количество обучаемых параметров и ускоряет обучение.

• Преимущества LoRA vs классические адаптеры?
LoRA не добавляет новых слоёв на инференсе, как в классических адаптерах, где из-за этого растёт latency и потребление памяти. Здесь их можно смержить в базовые веса, сложив по формуле и убрав накладные расходы на инференсе.

• Когда выбирать LoRA?
◦ Нужно дообучение при ограниченных ресурсах
Даже при 1-2 GPU по 24 GB можно дообучать модели размером 8b c LoRA и 30b с QLoRA, где базовая модель квантуется до 4-бит (NF4).
◦ Нужны лёгкие артефакты или быстрое переключение между доменами
LoRA-адаптеры — небольшие добавочные веса, которые легко подмешиваются / меняются на инференсе. Можно держать адаптеры для разных доменов (например, «техподдержка», «юридический стиль», «код») и по запросу активировать нужный (multi-LoRA).
◦ Важно не удлинять ввод на инференсе
В отличие от prompt / prefix-методов, которые добавляют позиции / KV-префиксы, увеличивают вычисления и KV-кэш, LoRA не меняет длину последовательности. А это критично для latency.
◦ Промптинг не даёт нужного качества или стабильного поведения
Если улучшение промпта не решает задачу, LoRA даёт более стабильное поведение и прирост качества при минимуме обучаемых параметров.

🔗 Полезные ссылки

• Оригинальная статья LoRA
• QLoRA
• Документация huggingface по LoRA

А чтобы знать, как применять finetuning для адаптации LLM под домен в реальном проекте — приходите на наш курс LLM Pro.
Старт — 13 ноября.
Читайте подробнее на сайте и оставляйте заявку до 12 ноября, чтобы присоединиться к обучению со скидкой 5% ⚡️

Автор: Алексей Яндутов

Заглядывайте к нам на второй канал!

В нашей школе преподаёт и учится много крутых инженеров с разной карьерой, интересами и опытом. Кто-то оптимизирует нейросети под мобилку, кто-то делает SLAM для автономных автомобилей, а кто-то занимается мультимодальными LLM.

Поэтому мы сделали формат, где инженеры рассказывают о себе. Каждую неделю в канале хозяйничает новый ведущий. Каждую неделю: новый человек, новая область и домен, новые истории, наблюдения и рекомендации.

Уже 19 человек успело рассказать о себе и своём опыте:

• Давид Свитов, PhD, провёл трансляцию с двух летних школ по DL в Италии и Китае
• Даша Воронкина, лид команды данных в OneCell, рассказала про работу в стартапе и тренды в разметке данных
• Андрей Филатов, лид в GenAI-стартапе, рассказал про митапы
• Илья Ревин, дважды PhD, доцент, лид разработки, филантроп... разобрал статью про тензорные разложения..ии заболел (бывает же!)
• Нина Коновалова, исследователь в AIRI, рассказала про будни ресёчера, межнар по ИИ и про свою свежую работу по контролю в диффузии
• Андрей Шадриков, RnD Lead в verigram, рассказал про опыт организации конференций и подготовку данных
• Лёня Верховцев, senior CV-инженер в Сбере, рассказал про obsidian, сплит-клавиатуру и о том, как отдыхать, чтобы больше деливерить
• Дима Гордин, senior MLE в verigram, дал задачку на биометрию в браузере и рассказал, что не так с ChatGPT для внутренних документов
• Шамиль Мамедов, PhD, senior researcher в Navio, рассказал про задачу планирования в self-driving, про получение PhD и работу в Amazon Robotics
• Артемий Мазаев, лид AI в Cloud.ru, рассказывал про LLM, агентов и вот это вот всё
• Анастасия Старобыховская, руководитель лаборатории Искусств и ИИ при Европейском Университете, рассуждала про организацию команды и поиск идей для решения нетипичных задач!
• Тимур Фатыхов, сооснователь DeepSchool и ex Lead CV-инженер KoronaPay, поделился историей создания DeepSchool и своим опытом тимлидства
• Дмитрий Диденко, инженер машинного обучения в кибербез компании, рассказал про применение ИИ в кибербезе и показал некоторые пет-проекты
• Илья Димов, senior NLP-инженер в Яндексе, рассуждал о карьере и чтении статей. А еще вывел задачки на интерактив!
• Александр Гордеев, Computer Vision Engineer, Sber AI, рассказал про свои пет-проекты и подготовил небольшой экскурс по методам classifier guidance и classifier-free guidance
• Антон Семенюта, ML-инженер в команде восприятия автономного транспорта Яндекса, рассказывал и показывал разное про автономный транспорт
• Алексей Глотов, Head of AI GetCourse, рассказывал про Управление и ИИ
• Артем Кравчук, лид CV-команды в 2ГИС, запустил свою олимпиаду «Изолированный китёнок» (и даже вручил почётную грамоту)
• Макс Шапошников, Research Engineer в Tessl, рассказал про агентов, а также как продолжать непрерывно учиться

Заглядывайте в канал, там интересно! https://t.iss.one/deepschool_underthehood