Flash Attention-2

FlashAttention-2 — реализация алгоритма attention, которая значительно ускоряет вычисления в сравнении с первой версией и работает заметно быстрее стандартной реализации в PyTorch. В статье простыми словами разбираем, за счёт чего это происходит 👨🏼‍💻

Из нового материала вы узнаете:
- какие проблемы были у FlashAttention-1
- как удалось лучше загрузить GPU
- что изменилось в распределении вычислений
- и какую роль играет параллельный softmax

Читайте статью по ссылке! 👈🏼

Про ускорение LLM, дообучение и их деплой рассказываем на курсе LLM. Запишитесь в лист ожидания, чтобы первыми занять место и получить скидки до 20% 🔥

Автор: Антон Наумов

🪔 DeepSchool

Love, 3DCV & Robots

В этот четверг мы проведём воркшоп по использованию трёхмерных данных в CV-системах. На нём вы узнаете, как гуманоидные роботы собирают и обрабатывают 3D-информацию и что роднит их с аппаратом МРТ. Мы разберём, из каких этапов состоит пайплайн обработки 3D-данных и какие применения он находит в частных задачах.

Вы узнаете:
• как и откуда получать 3D-данные
• как их правильно выравнивать и предобрабатывать
• как работать с библиотекой Open3D
• какие 3D DL-модели существуют и для каких представлений данных они подходят
• как оценивать полученный результат
• в каких практических задачах применяется 3D и как именно

Во второй части воркшопа вы самостоятельно построите ключевые элементы пайплайна 3D-зрения для ориентации робота в комнате. Мы разделим вас на группы по 2-3 человека, и вы реализуете агрегацию и фильтрацию 3D-данных для построения модели комнаты, обработку данных нейросетью и извлечение информации для навигации робота. У вас будет эмулятор робота в пространстве, к которому вы допишете фрагменты обработки 3D-сцены.

Чтобы не терять времени на воркшопе, заранее установите Conda и настройте среду, используя этот environment.yml, с помощью команды: conda env create -f environment.yml

🙋‍♂️Спикер воркшопа — Давид Свитов, к.т.н., IIT, ex Researcher Samsung AI Center. Давид расскажет про обработку 3D-данных и поможет вам с выполнением задания.

📅 9 апреля, четверг, в 19:00 МСК

Регистрируйтесь по ссылке и приходите в четверг!

YOLO history. Part 9

А мы возвращаемся с разбором моделей семейства YOLO! 😎 

В прошлой статье обсудили YOLOv8 и YOLOv11 — а значит, подобрались уже к самым передовым моделям. Сегодня рассмотрим все оставшиеся модели в одном посте 🤓

Итак, в новой статье:
- узнаем, как избавиться от NMS на примере YOLOv10
- поговорим об оптимизации attention для ускорения детекции из YOLOv12
- познакомимся с концепцией гиперграфа с помощью YOLOv13

Скорее читайте по ссылке! 👈🏼

🪔 DeepSchool

GENets: Neural Architecture Design For GPU-Efficienet Networks

Для многих GPU — основной девайс для инференса. А значит, получать высокие метрики при низком latency на нём — критически важно. Исследователи из Alibaba утверждают, что текущие быстрые решения не используют весь потенциал GPU.

В работе «Neural Architecture Design for GPU-Efficient Networks» они показывают, как проектировать сети для быстрого инференса на GPU и презентуют семейство backbones GENet.

О принципах построения свёрточных сетей для эффективного инференса на GPU и результатах авторов мы рассказали в новой статье!
Читайте материал по ссылке! 👈🏼

🪔 DeepSchool

Приходите на курс «Ускорение нейросетей», чтобы разобраться в эффективных архитектурах и подходах к ускорению

От ML-инженеров хотят всё больше. Раньше можно было просто обучить модель и перекинуть ноутбук бэкендеру «через стенку». Сейчас где-то нужно завернуть модель в Docker/сделать минимальное демо и довести его до пользователя. Где-то самому встроить модель в сложную систему. А где-то эту систему ещё и спроектировать.

Код-агенты, конечно, сильно упростили жизнь: собрать демку или MVP теперь проще некуда. Но они не сняли с нас главного: ответственности за полученное решение. По шапке будет получать не Claude:)

А отвечать за систему, в которой не знаешь, как устроены «кубики» — сомнительное удовольствие. Ты вроде что-то собрал и оно работает. Но почему именно так? — 🤷‍♂️. Что делать, когда сломается? — 🤷‍♂️. Остаётся верить сетке на слово, что «так правильно». Спойлер: очень часто нет.

Чтобы «кубики» были не чёрными ящиками, а понятным набором инструментов, мы запускаем курс DLOps. За 4 месяца проходим всю цепочку: от сериализации модели и небольшого сервиса на FastAPI до Nvidia Triton, k8s и мониторинга. Учим создавать полноценные сервисы и доводить их до пользователя.

В этом потоке добавили лекцию про LLM observability. Наш DLOps построен вокруг «обычных» DL-моделей. Но чем дальше, тем меньше сервисов не ходит в LLM хотя бы просто по API. А за ними нужен глаз да глаз 😉

Обучение начинается 4 июня, а до 24 мая действует скидка 20% 🔥

Переходите на сайт, изучайте подробности и оставляйте заявку на курс!

Если возникают вопросы, пишите нам в поддержку в Телеграм!

Как улучшить векторный поиск в RAG без сложной нарезки чанков?

В объёмных (юридических / медицинских) документах смысл фрагмента часто зависит от контекста. В классическом RAG документ режут на чанки и векторизуют каждый по отдельности. В результате — сбой в поиске, потому что часть смысла чанка лежит за его границами.

⚫️Late chunking — техника от Jina AI, которую обычно пропускают в RAG-туториалах. Основная идея: вместо предварительной обрезки текста прогоняем через модель весь документ и получаем вектор для токенов, каждый из которых уже «впитал» контекст текста.

Эмбеддинг чанка — усреднение (mean pooling) векторов его токенов. Текст подаётся целиком или большими частями с перекрытием. Это «дороже» с точки зрения вычислений, зато у вектора каждого чанка больше контекста.

💡Пример из статьи: в начале документа стоит «Берлин», далее — «город», «он», «его население». При наивной нарезке чанк «его население…» не содержит слова «Берлин», и модель не связывает местоимение с сущностью. При late chunking тот же чанк «помнит» про Берлин. На длиннодокументных retrieval-бенчмарках late chunking почти всегда обходит наивную нарезку без дообучения.

⚫️Что использовать:
- jina-embeddings-v3/v4 (v5 уже не подойдёт — другой тип пулинга)
- модели Perplexity (pplx-embed-context-v1), более современные, обученные под late chunking специально

Автор: Александр Абугалиев

Глубже про векторный поиск и RAG рассказываем на нашем курсе по LLM для ML/DL-инженеров. Также там разбираем fine-tuning, alignment, агентов, ускорение и деплой LLM. Новый поток стартует 30 июня, а до 21 июня вы можете присоединиться со скидкой 20%!

CTF по LLM 💻

CTF (Capture The Flag) — это соревновательный формат, где участникам даётся живой объект для исследования: сервис, код, сайт, чат-бот. Внутри спрятана секретная строка-флаг. Задача: разобраться в системе, найти слабое место и «вытащить» флаг. Нашёл флаг → решил задачу → получил баллы.

Подготовили для вас трек по LLM. LLM, RAG, агенты: от prompt-инъекций до внутренностей модели.

Всего 7 задач, появляться будут в 19 Мск в течение недели.

Первая задача уже доступна. В ней нужно обойти цензора, которого поставили поверх слишком разговорчивой модели. https://contest.deepschool.ru/t/llm/boltun

Под анонсы задач и разборов завели отдельный канальчик @deepschool_ctf, заглядывайте!

Делитесь с друзьями и коллегами, вместе решать веселее 💻

Ничё вы от первой задачи камня на камне не оставили! Так же будет и со второй? 😊

В ней выяснилось, что белым шрифтом в Confluence писать секреты не так же безопасно, как в сохранёнках телеги все пароли хранить. Ладно, дальше сами. Удачи! ⌨️

https://contest.deepschool.ru/t/llm/rag-doc-leak

Reinforcement Learning: пошаговый план изучения

Reinforcement Learning (RL) лежит в основе многих ключевых достижений современного ИИ: обучение роботов локомоции и манипуляции, пост-обучение языковых моделей (RLHF, GRPO). Сегодня понимание RL — нужный навык для широкого круга ML-инженеров. Чтобы помочь прокачаться в этой области, мы подготовили пошаговый план изучения и полезные ресурсы. Welcome 🙂

⚫️План изучения

1. Основы теории вероятностей
RL опирается на аппарат теории вероятностей и стохастических процессов. Фундамент для понимания: условные вероятности, математическое ожидание и его свойства, основы стохастических процессов. Изучать эти темы лучше по мере необходимости: столкнулись с importance sampling — сразу разбираемся с этой концепцией.
Ресурсы: MML (главы по вероятностям и статистике); любой базовый курс теории вероятностей.

2. Классический RL
Можно начать с формализма марковских процессов принятия решений (MDP): состояния, действия, функция перехода и вознаграждения, дисконтирование. И затем перейти к табличным методам: dynamic programming, Monte Carlo, temporal-difference learning, Q-learning, SARSA. Рекомендуем решать задачи из книги или курса — это критически важно для понимания.
Ресурсы: S&B (Part I) — фундаментальный учебник по RL; Stanford CS234 — академический курс с задачами.

3. Deep Reinforcement Learning
Когда пространство состояний становится слишком большим для табличных методов, применяется аппроксимация функций с помощью нейронных сетей. Ключевые темы: Deep Q-Network (DQN), policy gradient методы, actor-critic архитектуры, методы на основе модели (model-based RL). Если нужно подтянуть основы Deep Learning, рекомендуем открытую книгу Understanding Deep Learning.
Ресурсы: Deep RL (CMU) — курс от Katerina Fragkiadaki с современными методами deep RL; Deep RL (UC Berkeley) — курс от Sergey Levine с открытыми домашними заданиями. Рекомендуем выполнить все практические задания.

4. Policy Gradient и современные алгоритмы
Для практического применения RL необходимо глубокое понимание policy gradient методов. Ключевые алгоритмы: REINFORCE, TRPO, PPO — стандарт в робототехнике и RLHF; GRPO — активно применяется в пост-тренировке LLM. Важно не только знать алгоритмы, но и понимать, почему они работают: какие допущения лежат в их основе и какие практические трюки обеспечивают устойчивое обучение.
Ресурсы: S&B (Part II); лекции из курсов CMU и UC Berkeley по policy gradient.

5. Современный RL и применения
После основ — обзор современных направлений: RLHF для языковых моделей, применение в робототехнике, мультиагентный RL, offline RL, model-based RL. Ценным будет понимание практических «трюков», которые стоят за успешными алгоритмами.
Ресурсы: PML:AT (Kevin P. Murphy) — современные работы в RL и практика к языковым моделям; Substack Cameron Wolf — разборы алгоритмов и их применение к LLM доступным языком.

6. Практика
Мы верим, что действительно глубокое понимание невозможно без практического опыта. Рекомендуем два направления в зависимости от области интересов:
робототехника: курс LeRobot (Hugging Face) с фокусом на RL-часть; самостоятельное обучение реального или симулированного манипулятора;
языковые модели: самостоятельная реализация RLHF (CS336).

✅Полезные ресурсы
Reinforcement Learning: An Introduction (S&B) — Sutton & Barto
Stanford CS234: Reinforcement Learning
Deep RL (CMU) — Katerina Fragkiadaki
Deep RL (UC Berkeley) — Sergey Levine
Probabilistic Machine Learning: Advanced Topics (PML:AT) — Kevin P. Murphy
LeRobot курс (Hugging Face)
Stanford CS336: Language Modeling from Scratch, assignment 5
Substack Cameron Wolf

Автор: Шамиль Мамедов
Ревьюер: Антон Наумов

Помимо робототехники и LLM, RL используется ещё и для обучения LLM-агентов. Об этом глубже рассказываем на нашем курсе по LLM для ML/DL-инженеров. Также там разбираем fine-tuning, alignment, ускорение и деплой LLM. Новый поток стартует 30 июня, а до 21 июня вы можете присоединиться со скидкой 20%!