Как построить RAG?

Знания LLM ограничены данными, которые она видела в процессе обучения. Поэтому ответы на вопросы по актуальным новостям могут быть неполными или неточными. Чтобы решить эту проблему без частого и дорогого дообучения на новых данных, придумали RAG — технику, добавляющую в контекст LLM внешнюю информацию.

В новом ролике Илья Димов показал, как собрать простейшую RAG-систему. Смотрите новый выпуск по ссылке!

А больше о том, как строить реальные RAG-системы, типовых проблемах и их решении рассказываем на наших курсах: LLM и LLM Pro.

How to: детектор лиц на Android

Детекция лиц на смартфоне — популярная задача, для которой существует много решений «в пару кнопок». Но мы решили пойти по хардкору и показать, как запустить детектор лиц на Android, используя только C++ , OpenCV и NCNN.

Это видео поможет:

1. Узнать нюансы при деплое своих моделей на Android-устройстве.
2. Понять, как работают под капотом готовые решения.
3. Запустить свои кастомные модели на платформе Android.

Смотрите новый выпуск по ссылке!

А больше о том, как ускорять инференс моделей под различные устройства рассказываем на курсе «Ускорение нейросетей».

Данные важнее моделей? Подкаст «Под Капотом» c Дарьей Воронкиной

Мы приглашаем в подкаст экспертов из различных областей, чтобы понять, как работают сложные системы изнутри.
Гость этого выпуска Дарья Воронкина — тимлид в медицинском стартапе OneCell.ai и спикер курса «Computer Vision Rocket». В OneCell Дарья руководит построением и оптимизацией процесса разметки медицинских данных и аналитики вокруг них.

В этом выпуске мы обсуждаем:
- как создать масштабируемый процесс аннотации терабайтов гистологических данных для сотен задач
- почему подготовка датасета часто сложнее и интереснее обучения моделей
- как превратить хаотичную разметку в предсказуемый и воспроизводимый процесс

Смотрите выпуск по ссылке: https://youtu.be/4ufQITw-cOI

Осталось 3 часа до лекции по LLM

Сегодня Илья Димов на примере бизнес-кейсов разберёт подводные камни LLM!

На лекции вы узнаете:
- как устроена память у LLM, зачем она нужна и почему “погуляй с собакой в лесу” может звучать зловеще
- как построить рабочую RAG-систему, где LLM действительно извлекает нужное из базы знаний, а не галлюцинирует
- зачем разбивать задачу между несколькими LLM, что умеют агенты, и когда они начинают вредить
- как выбирать модель, если завтра выйдет новая и все побегут её катить — по каким метрикам, с какими ограничениями и как протестировать

В конце представим программу курса LLM и откроем запись со скидкой!

🕕 Регистрируйтесь и приходите сегодня в 19:00 МСК

Курс по LLM для разработчиков без опыта в Deep Learning

Если вы не знакомы с Deep Learning и хотите создать своё первое LLM-приложение при поддержке опытных инженеров, то именно для вас мы запускаем новую программу «‎LLM Start»‎!

Обычно мы создаём программы от DL-инженеров для DL-инженеров. Для этого мы ищем опытных специалистов по каждой теме, проводим собеседования, учим вести лекции и проводим ревью всех материалов, чтобы в итоге качественно передать многолетний опыт.

А теперь мы решили создать новую программу, где не требуем знаний в Deep Learning, но также серьёзно подходим к подготовке лекций и подбору спикеров, чтобы научить вас создавать и деплоить собственные LLM-сервисы.

На курсе «‎LLM Start» вы научитесь:
— выбирать модель под задачу
— дообучать модели под свои данные с помощью готовых инструментов и сервисов
— собирать RAG-системы из готовых частей
— создавать агентов
— поднимать свой сервис c open-source LLM
— и создавать свои LLM-приложения

Коротко о формате курса:
— вести лекции будут ведущие инженеры с опытом в DL от 5 лет
— вы сможете задавать свои вопросы спикерам на лекциях, QA-сессиях и в чате
— спикеры дадут обратную связь на ваши решения домашних заданий
— а в конце вы сдадите проект, чтобы закрепить знания с курса и получить фидбек

⚠️ Для старта обучения вы должны быть знакомы с Python и linux.

Старт в конце июля.

Переходите на страницу программы и оставляйте заявку в форме предзаписи, чтобы получить максимальную скидку на обучение!

Как LLM научились видеть?

Когда-то LLMs работали только с текстом и не обрабатывали входные данные других модальностей: изображения, видео и аудио. Но благодаря прогрессу архитектур и подходов к обучению сегодня они превратились в полноценные мультимодальные системы.

В новой статье рассказываем, какие подходы научили LLM понимать изображения и 3D-сцены.

Читайте новую статью по ссылке!

Кто за рулём?! Трансформер

Автономные автомобили — технология, в которой множество задач на уровне как софта, так и железа. В новой статье разбираем одну из ключевых задач — планирование движения, где на первый план выходит архитектура-трансформер.

Вы узнаете:
- какие существуют подходы к проектированию автономных автомобилей, их преимущества и недостатки
- как трансформеры обрабатывают дорожные сцены и предсказывают траектории
- какие ловушки подстерегают ML-планировщики — от «эффекта подражателя» до физической нереализуемости

Читайте статью по ссылке!

Новый формат в новом канале

В нашей школе преподаёт и учится много крутых инженеров с разной карьерой, интересами и опытом. Кто-то оптимизирует нейросети под мобилку, кто-то делает SLAM для автономных автомобилей, а кто-то занимается мультимодальными LLM . Для кого-то работа — написать статью, для кого-то — управлять краудом и собрать датасет, для кого-то — провести тысячу экспериментов, а для кого-то — вывести модель на пользователей и держать нагрузку. У каждого уникальные истории из опыта, свои радости и боли от работы, любимые книги и статьи. И мемы.

Поэтому мы запускаем новый формат, где инженеры из нашей школы расскажут о себе. Этот формат будет жить в отдельном телеграмм-канале. Каждую неделю ведущим канала становится один из инженеров. Каждую неделю: новый человек, новая область и домен, новые истории, наблюдения и рекомендации.

Первым ведущим будет Давид Свитов. Давид — CV-инженер и исследователь. Долго работал в индустрии, а затем перешёл в академию. Сейчас получает второе PhD в Италии в PAVIS@IIT: занимается 3D-аватарами, представлениями 3D-сцен и трёхмерной графикой.
Люди в индустрии на лето планируют отпуск, а учёные — летние школы. Давид на этой неделе будет аж на двух: в Сицилии и Китае. Будет делиться интересным оттуда.

Переходите в канал знакомиться с Давидом! @deepschool_underthehood

Как LLM научились слышать?

В одной из предыдущих статей мы разобрали, какие подходы научили LLM понимать изображения и 3D-сцены.

В новой статье мы поговорим о добавлении в LLM новой модальности — аудио. От идеи представления звука мел-спектрограммой до генерации музыки по текстовому описанию.

А бонусом станет краткий разбор анализа видео с помощью LLM — задачи, где нужно синхронизировать визуальные и аудиодорожки.

Читайте новую статью по ссылке!

RAG — от первой версии к рабочему решению

RAG кажется простой идеей: берём вопрос пользователя, находим нужную информацию в базе и просим LLM сгенерировать ответ. Однако на практике первая реализация часто разочаровывает. Почему так происходит?

В новой статье пошагово разбираем каждый компонент RAG-системы, объясняем типичные ошибки и даём план действий по улучшению ванильной версии:
— как разбивать данные на чанки
— что влияет на качество эмбеддингов и как выбрать модель
— зачем нужен реранкер и можно ли без него обойтись
— когда достаточно модели «из коробки» и как понять, нужно ли её дообучать

Статья будет особенно полезна новичкам, кто только начинает работать с RAG. Читайте по ссылке!

Соберите первый LLM-прототип за 30 минут

Для разработки приложений с LLM важно освоить три ключевых навыка: дообучение модели на своих данных, подключение внешней базы (RAG), подключение к LLM сторонних инструментов.

Мы подготовили мини-курс, в котором за 4 коротких лекции вы узнаете, как создать работающее LLM-based приложение с агентом и долговременной памятью.

На лекциях мы рассказали:
- что важно, чтобы собрать первое приложение с LLM
- как выгодно использовать open-source модели и чем они отличаются от коммерческих
- из каких частей состоит RAG и как его можно улучшить
- как собрать первого агента с памятью и базой данных за 30 минут

Это мини-курс для разработчиков и it-специалистов без опыта в DL. Но мы рекомендуем посмотреть его и ML/DL-инженерам, чтобы узнать, как быстро собрать проект с LLM.

Переходите в бот и смотрите лекции!

4 подхода к созданию LLM-приложений

Если вы пытались собрать сервис на базе LLM: RAG для корпоративного репозитория, MVP для стартапа или бот для личных задач — наверняка столкнулись с тем, что всё работает не так, как задумывалось.

Модель галлюцинирует или отвечает в неподходящем стиле, промпты не помогают, RAG не находит релевантные данные, агенты игнорируют инструкции — и непонятно, надо ли дообучать LLM или стоит попробовать другую модель, но как выбрать?

В этот четверг мы проведём открытую лекцию, на которой расскажем об ошибках создания LLM-систем, как их решать и как собрать сервис, за который не стыдно.

На лекции вы узнаете про:
- 4 базовых блока LLM-проекта — из чего собираются 99% приложений
- когда достаточно open-source LLM, а когда не обойтись без коммерческой
- как навести порядок в RAG: чанки, поиск, антигаллюцинации
- как работают агенты и их реальные сценарии применения
- файнтюнинг: когда простого промпта недостаточно, как адаптировать модель под свою задачу и когда это нужно

А в конце представим наш новый курс — LLM Start, на котором инженеры без опыта в DL научатся создавать свои первые LLM-приложения под кураторством опытных инженеров.
Всем участникам лекции подарим скидки на обучение, поэтому не пропустите! 🎁

🙋‍♂️ Вести лекцию будет Илья Димов, Senior NLP-инженер, который занимается обучением Multimodal LLM.
🔔 Встречаемся в четверг, 24 июля, в 19:00 МСК.

Регистрируйтесь по ссылке и приходите в четверг вечером!

3D CV, diffusion models и получение PhD | Подкаст «Под Капотом» c Олей Гребеньковой

Гость этого выпуска Оля Гребенькова. Оля получает PhD в LMU, где применяет генеративные модели к 3D-данным, а также спикер курса «3D-CV» в DeepSchool.

В этом выпуске мы обсуждаем:
- как попасть в лабораторию, где создали Stable Diffusion
- процесс исследований в лаборатории компьютерного зрения
- зачем заниматься нехайповыми темами в AI
- как не выгореть в академии

Смотрите выпуск по ссылке: https://youtu.be/YgLYSsQOE0E?si=lHQ2aKZDd-aiOAw_

Что изучать, чтобы разобраться в LLM и сделать свой проект?

❌ Потратить много времени на изучение противоречащих гайдов и статей, в итоге собрать несколько баговых версий.
✅ Прийти учиться к нам на LLM Start, избежать ошибок и сделать свой первый работающий проект вместе с опытными DL-инженерами!

LLM Start — это программа для инженеров без опыта в Deep Learning, на которой вы за 8 недель:
- разберётесь в моделях и научитесь выбирать нужную под задачу
- сможете обучать модели на своих данных, чтобы модель отвечала в нужном стиле и разбиралась в вашей области
- научитесь создавать RAG-системы из готовых модулей
- построите рабочего LLM-агента для вашей задачи

Программу ведут практикующие DL-инженеры. Они отвечают на вопросы во время онлайн-лекций, QA-сессий и в чате, проверяют домашки и дают развёрнутый фидбек.

В конце курса вы напишете свой собственный LLM-сервис. Можно будет реализовать свою идею, выбрать проект из предложенных или принести его с работы. Спикеры курса сделают ревью, ответят на вопросы и помогут при его реализации.

🔔 Обучение начинается 30 июля. А до 29 июля вы можете присоединиться к обучению со скидкой 5%!

⚠️ Для старта вы должны быть знакомы с Linux и Python, уметь читать и писать функции и классы.

Переходите по ссылке, чтобы успеть записаться! 
Если остались вопросы — напишите в нашу поддержку @deepschool_support

Присоединяйтесь к обучению и создавайте работающие LLM-продукты!

Ускоряем LLM на раз, два, три

Иметь личного ассистента на ноуте и запускать мощную модель локально — хорошо. Тратить огромные ресурсы на это — уже не очень.

В новой статье разбираем ключевые методы ускорения и обсуждаем, что действительно работает:
— фреймворки для инференса — какой выбрать, чтобы выжать максимум
— спекулятивное декодирование — почему это must-have для скорости
— квантование — как правильно применять и почему оно превратилось в «народный» метод ускорения

А ещё в статье мы вспоминаем базу — Flash-Attention, технологию, которая помогла развить популяризацию LLM в целом 🚀

Читайте по ссылке!