Forwarded from Information Retriever
Deep RecSys Course, второе занятие.
1. На лекции поговорили про ML дизайн рекомендательных систем и немного про мой опыт работы в R&D. В своё время я придумывал формат последней итерации собеседования по рекомендательным системам в Яндексе, и при подготовке лекции мне этот опыт очень пригодился. В общем, думаю, что получился неплохой начальный материал для подготовки к ML дизайн рексис собеседованию в бигтех. Пользуйтесь :)
2. На семинаре Владимир Байкалов @ducks_recs рассказывал про классические алгоритмы рекомендаций, с которыми можно сравнивать нейросети. И показывал для этих алгоритмов результаты на датасете Yambda. Заодно обсудили ошибки подсчета метрик в Ямбде — например, при подсчете Recall@K часто забывают, что нужно делить не на количество позитивов, а на
Записи занятия уже на ютубе — и лекция, и семинар. В этот раз принёс свой микрофон, поэтому на лекции звук чуть получше. Материалы — на Github (пока только лекция, но семинар тоже скоро выложим).
И ещё поделюсь отдельно парой ссылок с лекции:
1. Много полезной информации про дизайн рексистем есть на канале Миши @WazowskiRecommends. В лекции не раз ссылаюсь — на посты про счётчики, эмбеддинги, Mixigen
2. У Саввы Степурина есть два хороших наглядных доклада про ML дизайн рексистем — рассказ про стек Яндекс Музыки и про рекомендации незнакомого
3. На RecSys 2020 был туториал про feature engineering от Nvidia
4. У VK есть два хороших рассказа про item-to-item рекомендации — про внедрение item-to-item схемы от Дмитрия Шишова и про её улучшение от Андрея Зимовнова
P.S: уже преодолели отметку в 100 часов суммарного просмотра курса на ютубе!
1. На лекции поговорили про ML дизайн рекомендательных систем и немного про мой опыт работы в R&D. В своё время я придумывал формат последней итерации собеседования по рекомендательным системам в Яндексе, и при подготовке лекции мне этот опыт очень пригодился. В общем, думаю, что получился неплохой начальный материал для подготовки к ML дизайн рексис собеседованию в бигтех. Пользуйтесь :)
2. На семинаре Владимир Байкалов @ducks_recs рассказывал про классические алгоритмы рекомендаций, с которыми можно сравнивать нейросети. И показывал для этих алгоритмов результаты на датасете Yambda. Заодно обсудили ошибки подсчета метрик в Ямбде — например, при подсчете Recall@K часто забывают, что нужно делить не на количество позитивов, а на
min{количество позитивов, K}. Я такое видел и в метриках соревнований, и в статьях. А чтобы узнать багу при подсчете nDCG — смотрите семинар :)Записи занятия уже на ютубе — и лекция, и семинар. В этот раз принёс свой микрофон, поэтому на лекции звук чуть получше. Материалы — на Github (пока только лекция, но семинар тоже скоро выложим).
И ещё поделюсь отдельно парой ссылок с лекции:
1. Много полезной информации про дизайн рексистем есть на канале Миши @WazowskiRecommends. В лекции не раз ссылаюсь — на посты про счётчики, эмбеддинги, Mixigen
2. У Саввы Степурина есть два хороших наглядных доклада про ML дизайн рексистем — рассказ про стек Яндекс Музыки и про рекомендации незнакомого
3. На RecSys 2020 был туториал про feature engineering от Nvidia
4. У VK есть два хороших рассказа про item-to-item рекомендации — про внедрение item-to-item схемы от Дмитрия Шишова и про её улучшение от Андрея Зимовнова
P.S: уже преодолели отметку в 100 часов суммарного просмотра курса на ютубе!
Forwarded from Agentic World
Недавно я писал, что хочу полностью пересобрать свой рабочий процесс. У меня почти получилось, я наконец-то дособрал и дотолкал до своего прода AI-ассистента, который работает по голосовухам.
Раскрыл все детали и процесс в статье на хабре, если у вас есть плюсики - буду им очень рад 🤗
Писать код голосовухами через тг - это невероятно круто 🤖🫡
https://habr.com/ru/articles/994454/
Раскрыл все детали и процесс в статье на хабре, если у вас есть плюсики - буду им очень рад 🤗
Писать код голосовухами через тг - это невероятно круто 🤖🫡
https://habr.com/ru/articles/994454/
Хабр
Как я делаю своего голосового AI-ассистента: роботы пишут код и работают, когда я отдыхаю
В этой статье я открою капот своей системы, которая по голосовухе в телеграме сразу делает новые фичи на живых проектах. С появлением LLM я безоговорочно верил в то, что голос станет следующим важным...
#prompt
A cool way to use ChatGPT: "Socratic prompting"
This week I ran into a couple of threads on Twitter about something called "Socratic prompting".
At first I thought, meh.
But my curiosity was piqued.
I looked up the paper they were talking about.
I read it.
And I tried it.
And it is pretty cool.
I’ll tell you.
Normally we use ChatGPT as if it were a shitty intern.
"Write me a post about productivity."
"Make me a marketing strategy."
"Analyze these data."
And the AI does it.
But it does it fast and without much thought.
Socratic prompting is different.
Instead of giving it instructions, you ask questions.
And that changes how it processes the answer.
Here is an example so you can see it clearly.
Normal prompt:
What it gives you, something correct but a bit bland.
Socratic prompt:
What it gives you, something that thought before writing.
The difference is quite noticeable.
Why does it work?
Because language models were trained on millions of examples of people reasoning. On Reddit and sites like that.
When you ask questions, you activate that reasoning mode.
When you give direct orders, it goes on autopilot.
Another example.
Normal prompt:
Socratic prompt:
In the second case you force it to think the problem through before solving it.
The basic structure is this:
1. First you ask something theoretical:
Three questions and then the task.
That simple.
Another example I liked from the thread:
Basically you are telling it, think like an expert, and then act.
I have been using it for a few days and I really notice the difference.
The output is more polished.
P.S. This works especially well for strategic or creative tasks.
If you ask it to summarize a PDF, you will likely not notice much difference.
But for thinking, it works.
A cool way to use ChatGPT: "Socratic prompting"
This week I ran into a couple of threads on Twitter about something called "Socratic prompting".
At first I thought, meh.
But my curiosity was piqued.
I looked up the paper they were talking about.
I read it.
And I tried it.
And it is pretty cool.
I’ll tell you.
Normally we use ChatGPT as if it were a shitty intern.
"Write me a post about productivity."
"Make me a marketing strategy."
"Analyze these data."
And the AI does it.
But it does it fast and without much thought.
Socratic prompting is different.
Instead of giving it instructions, you ask questions.
And that changes how it processes the answer.
Here is an example so you can see it clearly.
Normal prompt:
"Write me a value proposition for my analytics tool."
What it gives you, something correct but a bit bland.
Socratic prompt:
"What makes a value proposition attractive to someone who buys software for their company? What needs to hit emotionally and logically? Okay, now apply that to an AI analytics tool."
What it gives you, something that thought before writing.
The difference is quite noticeable.
Why does it work?
Because language models were trained on millions of examples of people reasoning. On Reddit and sites like that.
When you ask questions, you activate that reasoning mode.
When you give direct orders, it goes on autopilot.
Another example.
Normal prompt:
"Make me a content calendar for LinkedIn."
Socratic prompt:
"What type of content works best on LinkedIn for B2B companies? How often should you post so you do not tire people? How should topics connect to each other so it makes sense? Okay, now with all that, design a 30-day calendar."
In the second case you force it to think the problem through before solving it.
The basic structure is this:
1. First you ask something theoretical:
"What makes this type of thing work well."
2. Then you ask about the framework: "What principles apply here."
3. And finally you ask it to apply it: "Now do it for my case."
Three questions and then the task.
That simple.
Another example I liked from the thread:
"What would someone very good at growth marketing ask before setting up a sales funnel? What data would they need? What assumptions would they have to validate first? Okay, now answer that for my business and then design the funnel."
Basically you are telling it, think like an expert, and then act.
I have been using it for a few days and I really notice the difference.
The output is more polished.
P.S. This works especially well for strategic or creative tasks.
If you ask it to summarize a PDF, you will likely not notice much difference.
But for thinking, it works.
Forwarded from Love. Death. Transformers.
Если вы готовитесь к собесу в норм место вам будет полезно почитать
https://djdumpling.github.io/2026/01/31/frontier_training.html
https://djdumpling.github.io/2026/01/31/frontier_training.html
Alex Wa’s Blog
frontier model training methodologies
How do labs train a frontier, multi-billion parameter model? We look towards seven open-weight frontier models: Hugging Face’s SmolLM3, Prime Intellect’s Intellect 3, Nous Research’s Hermes 4, OpenAI’s gpt-oss-120b, Moonshot’s Kimi K2, DeepSeek’s DeepSeek…
Forwarded from ML Baldini • Nikita Boyandin (Nikita Boyandin)
Подготовка к секции MLSD💃
Для многих, кто в первых раз идет на интервью middle/senior ml, секция ml system design может показаться чем-то сложным и не понятным. Не переживайте, при качественной подготовке, вы получить не интервью в привычном понимании, а прикольный кейс, который проверит ваш опыт, знание инфраструктуры, подходы к решению мл задачи, но все-таки для этого у вас должен быть фундамент.
1️⃣ Разбейте весь системный дизайн по этапам
Тут для меня 9 шагов: постановка бизнес проблемы(тут вы должны получить как можно больше информации от интервьера), метрики, компоненты архитектуры(MVP логика), хранение данные и ее подготовка, Feature Engineering, разработка модели и оффлайн тестирование, Prediction Service, онлайн тестирование и деплой, мониторинг и улучшения. Подбирайте для себя структуру до собеседования, чтобы не отвечать на лету.
2️⃣ Проработаете каждую задачу мл отдельно
Кажется, что проектов и доменов достаточно много, но большенство из них можно описать внутри этих задач: рекомендательная система, поиск, ранговая система, NLP(чат-боты) и CV(OCR). Редко ваша задача будет другой и я советую подготовить каждую из них.
3️⃣ Поучите метрики, аб тесты
В mlsd есть несколько тем, которые нужно доучить специально в mlsd: онлайн-метрики, аб тесты и неплохо еще знать uplift-моделирование. Это поможет вас выделить из толпы.
4️⃣ Подготовке пару кейсов по инфраструктуре
Вам нужно понимать не только мл модель, но и как она будет функционировать на проде, а значит вы должны знать, что такое kuber, docker, s3, kafka и так далее.
5️⃣ Всегда думайте, как вы сможете улучшить ваше решение
В конце интервью вас спросят, а как же вы улучшите вашу систему. Варианта два: либо вы говорите о системе заведомо чуть меньше, а потом упоминаете об этом, либо говорите о данных или инференсе, которые всегда можно улучшить
6️⃣ Проводите перекрестное мок-интервью
Попросите кого то из друзей придумать кейс и с вами его решить и отвалидировать, так вам сразу будут видны ваши пробелы и вы сможете их закрыть перед собесом
7️⃣ Чем больше правильных вопросов вы сможете задать, чем проще вам будет проходить интервью
Важно на первом этапе задать как можно больше вопросов про бизнес задачу и саму систему, потому что дальше хорошим тоном для команды будет то, что вы будете сами рассказывать все решение без их помощи.
Обзательно перед собесом обязательно посмотрите кейсы, которыми занимается команда, часто именно их будут задавать и вы будете уже готовы💃
💗 - если хоть раз проходил секцию mlsd
Для многих, кто в первых раз идет на интервью middle/senior ml, секция ml system design может показаться чем-то сложным и не понятным. Не переживайте, при качественной подготовке, вы получить не интервью в привычном понимании, а прикольный кейс, который проверит ваш опыт, знание инфраструктуры, подходы к решению мл задачи, но все-таки для этого у вас должен быть фундамент.
Тут для меня 9 шагов: постановка бизнес проблемы(тут вы должны получить как можно больше информации от интервьера), метрики, компоненты архитектуры(MVP логика), хранение данные и ее подготовка, Feature Engineering, разработка модели и оффлайн тестирование, Prediction Service, онлайн тестирование и деплой, мониторинг и улучшения. Подбирайте для себя структуру до собеседования, чтобы не отвечать на лету.
Кажется, что проектов и доменов достаточно много, но большенство из них можно описать внутри этих задач: рекомендательная система, поиск, ранговая система, NLP(чат-боты) и CV(OCR). Редко ваша задача будет другой и я советую подготовить каждую из них.
В mlsd есть несколько тем, которые нужно доучить специально в mlsd: онлайн-метрики, аб тесты и неплохо еще знать uplift-моделирование. Это поможет вас выделить из толпы.
Вам нужно понимать не только мл модель, но и как она будет функционировать на проде, а значит вы должны знать, что такое kuber, docker, s3, kafka и так далее.
В конце интервью вас спросят, а как же вы улучшите вашу систему. Варианта два: либо вы говорите о системе заведомо чуть меньше, а потом упоминаете об этом, либо говорите о данных или инференсе, которые всегда можно улучшить
Попросите кого то из друзей придумать кейс и с вами его решить и отвалидировать, так вам сразу будут видны ваши пробелы и вы сможете их закрыть перед собесом
Важно на первом этапе задать как можно больше вопросов про бизнес задачу и саму систему, потому что дальше хорошим тоном для команды будет то, что вы будете сами рассказывать все решение без их помощи.
Обзательно перед собесом обязательно посмотрите кейсы, которыми занимается команда, часто именно их будут задавать и вы будете уже готовы
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
ML Baldini • Nikita Boyandin
Uplift-моделирование📈
⬅️Еще одна неочевидная вещь, которую могут спросить на заключительных собеседованиях, или вести к ней через вопросы и дискуссии. По хорошему, после хакатона по построению моделей оттока клиента, я должен был себя спросить, а зачем…
⬅️Еще одна неочевидная вещь, которую могут спросить на заключительных собеседованиях, или вести к ней через вопросы и дискуссии. По хорошему, после хакатона по построению моделей оттока клиента, я должен был себя спросить, а зачем…
Forwarded from Data Funk
В продолжение предыдущего поста, про статистику в современном мире. Недавно в универе Квебека показали, что обычный метод наименьших квадратов (OLS) математически полностью эквивалентен упрощенному механизму внимания из трансформеров если softmax заменить на линейную функцию. То, что в Attention называется Query, оказывается просто линейной проекцией ваших тестовых данных (для которых ищем ответ) в новое пространство, Key - проекция обучающей выборки в это же пространство. Считаем их скалярную близость, используем её как веса для таргетов обучающей выборки (Value) и всё! Практической пользы ноль, зато педагогическая ценность 10/10. Attention - не какая-то магия, а классическая статистика и взвешивание по сходству (как в OLS/Ridge) на стероидах.
Forwarded from Канал Доброго Вани | Data Science и Продуктики
Продолжаем говорить про Next Item Prediction — сегодня про SASRec
В прошлом посте мы поставили задачу Next Item Prediction (NIP). Теперь давайте разбирать первый «классический» подход, который обычно открывает эту тему — SASRec (Self-Attentive Sequential Recommendation).
Как всегда, держим в голове маркетплейс и нашу матрицу U × D, где у каждого пользователя есть последовательность из последних D действий.
💡 Идея SASRec в двух словах
SASRec — это Transformer-only модель, которая использует self-attention, чтобы понять, какие прошлые действия пользователя важны для предсказания следующего айтема. Ключевая мысль простая: не все предыдущие покупки одинаково полезны. Купил чехол для iPhone год назад — сомнительно, что это важно сейчас. Купил айфон вчера — совсем другое дело.
🧱 Из чего состоит SASRec
Разберём по шагам.
1️⃣ Embedding-слой
Каждый айтем
• Item Embedding
• Positional Embedding (очень важно!)
Почему позиция важна? Потому что последовательности:
iPhone → Чехол и Чехол → iPhone — это вообще разные истории.
На выходе получаем тензор размера: U × D × H
2️⃣ Masked Self-Attention
SASRec использует causal masking, то есть при предсказании айтема на позиции
Формально — обычный Transformer Encoder:
• Multi-Head Attention
• Residual connections
• LayerNorm
Без энкодер-декодер истории, всё строго sequential.
3️⃣ Предсказание Next Item
Для каждой позиции
На практике чаще всего:
• берем последнюю позицию
• сравниваем её эмбеддинг со всеми
• считаем
🧊 Что с холодными пользователями?
SASRec спокойно работает с паддингами:
• паддинги маскируются
• attention их просто игнорирует
Но важно понимать: SASRec — это purely sequential модель. Что это значит?
Если у пользователя 0 или 1 действие, сигнал слабый.
Для совсем холодного старта чаще приходится:
• добавлять популярные айтемы
• комбинировать с non-personalized логикой
👍 Почему SASRec так популярен
✔ Простая и понятная архитектура
✔ Отлично ловит long-range зависимости (по крайней мере, так было в 2018🤷♂️ )
✔ Хорошо масштабируется на большое число айтемов
Не зря его до сих пор используют как точку отсчета почти во всех статьях про NIP.
👀 Ограничения, о которых важно помнить
✖ Нет bidirectional-контекста (в отличие от BERT4Rec)
✖ Не использует user features
✖ Плохо решает cold start без костылей
✖ Использует только позтивные действия в истории пользователя (в то время, как негативные действия могут быть полезны для понимания контекста, что отображено в статьях про Аргус). Так например, для онлайн-кинотеатра мы будем использовать только историю просмотра, хотя могли бы учитывать и те фильмы, от просмотра которых юзер отказался.
Но как первый серьезный Transformer для рекомендаций — это абсолютная классика
Изображение взято из статьи на Хабре
В прошлом посте мы поставили задачу Next Item Prediction (NIP). Теперь давайте разбирать первый «классический» подход, который обычно открывает эту тему — SASRec (Self-Attentive Sequential Recommendation).
Как всегда, держим в голове маркетплейс и нашу матрицу U × D, где у каждого пользователя есть последовательность из последних D действий.
SASRec — это Transformer-only модель, которая использует self-attention, чтобы понять, какие прошлые действия пользователя важны для предсказания следующего айтема. Ключевая мысль простая: не все предыдущие покупки одинаково полезны. Купил чехол для iPhone год назад — сомнительно, что это важно сейчас. Купил айфон вчера — совсем другое дело.
🧱 Из чего состоит SASRec
Разберём по шагам.
Каждый айтем
Item_i кодируется в эмбеддинг размерности H, раскладывающийся на• Item Embedding
• Positional Embedding (очень важно!)
Почему позиция важна? Потому что последовательности:
iPhone → Чехол и Чехол → iPhone — это вообще разные истории.
На выходе получаем тензор размера: U × D × H
SASRec использует causal masking, то есть при предсказании айтема на позиции
t модель не видит будущие позиции t+1, t+2, ... Иначе был бы читинг. Self-attention отвечает на вопрос, на какие прошлые айтемы стоит обратить внимание, чтобы угадать следующий?Формально — обычный Transformer Encoder:
• Multi-Head Attention
• Residual connections
• LayerNorm
Без энкодер-декодер истории, всё строго sequential.
Для каждой позиции
t модель пытается предсказать айтем t+1.На практике чаще всего:
• берем последнюю позицию
• сравниваем её эмбеддинг со всеми
M айтемами• считаем
softmax или sampled softmax
• обучаемся максимизировать вероятность правильного следующего айтема.🧊 Что с холодными пользователями?
SASRec спокойно работает с паддингами:
• паддинги маскируются
• attention их просто игнорирует
Но важно понимать: SASRec — это purely sequential модель. Что это значит?
Если у пользователя 0 или 1 действие, сигнал слабый.
Для совсем холодного старта чаще приходится:
• добавлять популярные айтемы
• комбинировать с non-personalized логикой
👍 Почему SASRec так популярен
✔ Простая и понятная архитектура
✔ Отлично ловит long-range зависимости (по крайней мере, так было в 2018
✔ Хорошо масштабируется на большое число айтемов
Не зря его до сих пор используют как точку отсчета почти во всех статьях про NIP.
👀 Ограничения, о которых важно помнить
✖ Нет bidirectional-контекста (в отличие от BERT4Rec)
✖ Не использует user features
✖ Плохо решает cold start без костылей
✖ Использует только позтивные действия в истории пользователя (в то время, как негативные действия могут быть полезны для понимания контекста, что отображено в статьях про Аргус). Так например, для онлайн-кинотеатра мы будем использовать только историю просмотра, хотя могли бы учитывать и те фильмы, от просмотра которых юзер отказался.
Но как первый серьезный Transformer для рекомендаций — это абсолютная классика
Изображение взято из статьи на Хабре
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from AI, больно! | Рома Филонов
Что же такое MoE?
(Mixture of Experts)
Я уверен, вы все натыкались на это слово в релизах новых LLM, в новостных постах в Telegram - это очень популярная нынче техника, которая позволяет увеличивать размеры модели вширь, не сильно проседая по скорости работы.
Мне лично очень тяжело потреблять текстовый контент; картинками и видео всегда веселее. Поэтому вот - сделал видосик с понятным разбором того, как же всё это работает.
🤓Ориентировано видео в основном на тех кто в сфере работает, и не испугается слова линейный слой.
🟠 Разбираю БЕЗ духоты и с примерами кода🟠 Там оказывается все ОЧЕНЬ ПРОСТО
ВИДЕО: https://youtu.be/cyLFiwlovCQ?si=70a-Q7TGDeGeqO5M
ВИДЕО: https://youtu.be/cyLFiwlovCQ?si=70a-Q7TGDeGeqO5M
ВИДЕО: https://youtu.be/cyLFiwlovCQ?si=70a-Q7TGDeGeqO5M
КОД: CСЫЛОЧКА_НА_КОД
Более подробные разборы:
1) На русском Хабр: ссылка
2) На английском huggingface: ссылка
3) Крутое видео с визуализациями: ссылка
(Mixture of Experts)
Я уверен, вы все натыкались на это слово в релизах новых LLM, в новостных постах в Telegram - это очень популярная нынче техника, которая позволяет увеличивать размеры модели вширь, не сильно проседая по скорости работы.
Мне лично очень тяжело потреблять текстовый контент; картинками и видео всегда веселее. Поэтому вот - сделал видосик с понятным разбором того, как же всё это работает.
🤓Ориентировано видео в основном на тех кто в сфере работает, и не испугается слова линейный слой.
ВИДЕО: https://youtu.be/cyLFiwlovCQ?si=70a-Q7TGDeGeqO5M
ВИДЕО: https://youtu.be/cyLFiwlovCQ?si=70a-Q7TGDeGeqO5M
ВИДЕО: https://youtu.be/cyLFiwlovCQ?si=70a-Q7TGDeGeqO5M
КОД: CСЫЛОЧКА_НА_КОД
Более подробные разборы:
1) На русском Хабр: ссылка
2) На английском huggingface: ссылка
3) Крутое видео с визуализациями: ссылка
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from .ml
Как «пэт-проект» YOLO стал стандартом CV. Разбор v1–v3
Запускаем серию постов об эволюции одной из самых популярных архитектур в компьютерном зрении.
Разберём:
👾 Как YOLO стала стандартом в мире детекций.
👾 Как она принесла своему автору премию Google за прорыв в ML.
👾 Чему может научить история развития YOLO.
👾 Почему стоит интегрировать этот метод в свои проекты.
До 2015 года задача детекции решалась с помощью поиска наиболее вероятных регионов. Были двухэтапные подходы, такие как Faster R-CNN.
Они действовали по схеме:
📝 Сначала искали регионы-кандидаты, а после использовали refine-процесс для уточнения классов и координат.
Нужен был подход, где реалтайм важнее идеального результата. Так появилась YOLO.
📌 YOLO v1: Модель смотрит сцену целиком (2015)
Идея была следующей: превратить детекцию из задачи поиска регионов в задачу регрессии. Объединить все этапы в одну сеть, которая напрямую «выплюнет» координаты.
Как это реализовали технически:
📝 Сделали архитектуру, похожую на GoogLeNet. Два полносвязных и 24 сверточных слоя. Хоть она и большая, зато выделяла б-боксы и сразу определяла координаты.
📝 Все изображения разбивались на сетку 7x7. Каждая ячейка предсказывала по 2 б-бокса и 20 классов. На вход подавалась картинка разрешением 448x448, которая делилась ещё на 64x64.
📌 YOLO v2 / YOLO9000: Появились масштаб и опорные точки (2016-2017)
Чтобы нивелировать сложный LOSS, в новую версию добавили multi-scale: YOLO9000 одновременно определяет более 9000 классов без полной разметки — отсюда и название.
Какие новые фишки:
📝 Anchor Boxes: вместо предсказания координат в лоб, перешли к предсказанию сдвигов относительно осей X и Y для кандидатов. Это максимизировало захват объекта.
📝 Skip Connections: ввели pass-through слои и добавили батч-нормализацию, что решило проблему затухания градиентов.
📌 YOLO v3: Победа над другими моделями (2018)
Благодаря обновлению YOLO v3 стала фундаментом в ML. Она обогнала по популярности Faster R-CNN и стала любимицей многих разработчиков.
Что нового добавили:
📝 Multiscale detection. Он убрал шум при обнаружении мелких объектов и перестал их пропускать.
📝 «Третий глаз». Сеть выдавала сразу три кандидата на разных разрешениях — большом, поменьше и самом маленьком.
Модель развивалась и дальше, но уже не в руках автора оригинала Джозефа Редмона: он ушел из ML и передал проект крупной компании.
В следующем посте разберём, почему YOLO v4 называют «библией инженера», а YOLO v5 — «гадким утёнком».
💜 Этот пост написал Никита Алутис, ML-разработчик в Точка Банк
Запускаем серию постов об эволюции одной из самых популярных архитектур в компьютерном зрении.
Разберём:
👾 Как YOLO стала стандартом в мире детекций.
👾 Как она принесла своему автору премию Google за прорыв в ML.
👾 Чему может научить история развития YOLO.
👾 Почему стоит интегрировать этот метод в свои проекты.
До 2015 года задача детекции решалась с помощью поиска наиболее вероятных регионов. Были двухэтапные подходы, такие как Faster R-CNN.
Они действовали по схеме:
📝 Сначала искали регионы-кандидаты, а после использовали refine-процесс для уточнения классов и координат.
Проблема: процесс шёл очень медленно. Представьте задачу: отследить теннисный мяч на корте во время игры. Старые сетки даже на хорошей GPU тратили бы по 5 минут, чтобы обработать видео. Игрокам приходилось бы стоять и ждать систему VAR.
Нужен был подход, где реалтайм важнее идеального результата. Так появилась YOLO.
📌 YOLO v1: Модель смотрит сцену целиком (2015)
Идея была следующей: превратить детекцию из задачи поиска регионов в задачу регрессии. Объединить все этапы в одну сеть, которая напрямую «выплюнет» координаты.
Как это реализовали технически:
📝 Сделали архитектуру, похожую на GoogLeNet. Два полносвязных и 24 сверточных слоя. Хоть она и большая, зато выделяла б-боксы и сразу определяла координаты.
📝 Все изображения разбивались на сетку 7x7. Каждая ячейка предсказывала по 2 б-бокса и 20 классов. На вход подавалась картинка разрешением 448x448, которая делилась ещё на 64x64.
Проблема: YOLO v1 не умела обрабатывать другие разрешения. Чтобы работать с детекцией на больших картинках, их ресайзили до 448x448 или нарезали на патчи. Из-за лишних операций терялось главное преимущество перед Faster R-CNN — скорость.
📌 YOLO v2 / YOLO9000: Появились масштаб и опорные точки (2016-2017)
Чтобы нивелировать сложный LOSS, в новую версию добавили multi-scale: YOLO9000 одновременно определяет более 9000 классов без полной разметки — отсюда и название.
Какие новые фишки:
📝 Anchor Boxes: вместо предсказания координат в лоб, перешли к предсказанию сдвигов относительно осей X и Y для кандидатов. Это максимизировало захват объекта.
📝 Skip Connections: ввели pass-through слои и добавили батч-нормализацию, что решило проблему затухания градиентов.
Проблема: точность детекций стала сильно зависеть от anchor boxes. Опорные точки подбирались вручную: если их плохо подобрали под датасет, метрики модели проседали.
📌 YOLO v3: Победа над другими моделями (2018)
Благодаря обновлению YOLO v3 стала фундаментом в ML. Она обогнала по популярности Faster R-CNN и стала любимицей многих разработчиков.
Что нового добавили:
📝 Multiscale detection. Он убрал шум при обнаружении мелких объектов и перестал их пропускать.
📝 «Третий глаз». Сеть выдавала сразу три кандидата на разных разрешениях — большом, поменьше и самом маленьком.
Проблема: версия стала медленнее. Из-за усложнения архитектуры v3 стала тяжелее предшественниц. Опорные точки все еще выставлялись вручную, что тоже замедляло процесс детекции.
Модель развивалась и дальше, но уже не в руках автора оригинала Джозефа Редмона: он ушел из ML и передал проект крупной компании.
В следующем посте разберём, почему YOLO v4 называют «библией инженера», а YOLO v5 — «гадким утёнком».
💜 Этот пост написал Никита Алутис, ML-разработчик в Точка Банк
Forwarded from .ml
Инженерная революция и обзывательства со стороны сообщества. Разбор YOLO v4-v6
Начиная с четвёртой версии, разработка перестала быть чисто идейно-эвристической и стала более инженерной.
📌 YOLO v4: Модель превратили в инженерную энциклопедию (2020)
YOLO v4 стала «библией» для улучшения архитектур. В нее вместили максимум трюков, не убив при этом FPS.
💛 Золотая фишка: в новой версии ввели mosaic аугментацию. Она собирает обучающую картинку из нескольких разных, что улучшает работоспособность модели. В результате качество удалось улучшить на +6% mAP по сравнению с YOLOv3, сохранив скорость на уровне 60 FPS.
Другие изменения:
📝 Пирамидальная архитектура (CSPDarknet-53 + PANet + SPP). Вместо простого вырезания кусков из картинки, мультискейл-подход реализовали на уровне самой сети с помощью пирамидального энкодера. Сетка сама извлекала признаки разного масштаба и распознавала контексты.
📝 Трюки и аугментации. В архитектуру интегрировали наработки, такие как Mish-activation, DropBlock и CloU loss. Вместе c mosaic аугментацией они улучшили качество модели на 10%, при этом не меняя её кардинально.
Проблем, которые нужно фиксить, больше нет, поэтому разработчики сосредоточились на улучшениях.
📌 YOLO v5: «Гадкий утенок» и массовое принятие (2020-2021)
YOLO v5 вышла спустя 4 месяца после v4 — версию прозвали «гадким утенком», потому что в ней не было архитектурных прорывов.
💛 Золотая фишка: YOLO v5 переписали на PyTorch и сделали её удобнее для пользователей. Каждый мог интегрировать ее в свой проект и дообучить под свои задачи. Сам PyTorch вскоре стрельнул и задоминировал в области DL, что привело к массовому принятию YOLO.
Других фишек немного — их выпустили, чтобы продвинуть статью о новой версии. Зато появилась куча проблем:
📎 Версия не работала из-за багов. Первые два месяца багнутая имплементация просто не давала пользоваться моделью. Текла память, некорректно уточнялась область по трем кандидатам.
📎Версия не добавляла новизны. Каждая новая YOLO решала либо инженерную проблему, либо идейную. Пятую модель посчитали переписью того, что уже было — просто на другой фреймворк. Сообществу такой подход не понравился.
📎 Версия разрабатывалась компанией Ultralytics. Сообщество относилось к ней с недоверием: раньше над YOLO работала СНГ-шная суперзвезда в области CV — Бачковский, а теперь какие-то ноунеймы. Поэтому разработчики волновались за судьбу полюбившейся модели.
📎 Версия так и не получила статью. Компания обещала выпустить ее в течение нескольких месяцев. Но прошло уже 4 года — статья не появилась. Ограничились парой тех. репортов на архиве.
📌 YOLO v6: Модель сделали удобнее для развертывания (2022)
Компания сосредоточилась на разработке максимально удобного real-time deployment под фреймворки вроде TensorRT и Edge-устройств.
💛 Золотая фишка: ввели Anchor-Free Head. Вместо предсказания сдвигов для кандидатов, модель ищет именно центральную точку объекта. Так быстрее и точнее.
Другие нововведения:
📝 Новая архитектура. В качестве бэкбоуна был выбран EfficientRep — аналог EfficientNet. Еще отказались от DarkNet-бэкбоуна — он давно устарел.
📝 Высокая скорость. Модель стала сверхлегкой и демонстрировала 120 FPS на T4 при разрешении 640x640. Поэтому её использовали в задачах, связанных с тепловизорами и Edge-вычислениями.
В следующем посте разберём, почему YOLO v8 стала самой популярной моделью семейства и как коммерциализация превратила проект в конвейер.
💜 Этот пост написал Никита Алутис, ML-разработчик в Точка Банк
Продолжаем наш цикл постов об эволюции самого популярного семейства моделей для Object Detection.
Начиная с четвёртой версии, разработка перестала быть чисто идейно-эвристической и стала более инженерной.
📌 YOLO v4: Модель превратили в инженерную энциклопедию (2020)
YOLO v4 стала «библией» для улучшения архитектур. В нее вместили максимум трюков, не убив при этом FPS.
💛 Золотая фишка: в новой версии ввели mosaic аугментацию. Она собирает обучающую картинку из нескольких разных, что улучшает работоспособность модели. В результате качество удалось улучшить на +6% mAP по сравнению с YOLOv3, сохранив скорость на уровне 60 FPS.
Другие изменения:
📝 Пирамидальная архитектура (CSPDarknet-53 + PANet + SPP). Вместо простого вырезания кусков из картинки, мультискейл-подход реализовали на уровне самой сети с помощью пирамидального энкодера. Сетка сама извлекала признаки разного масштаба и распознавала контексты.
📝 Трюки и аугментации. В архитектуру интегрировали наработки, такие как Mish-activation, DropBlock и CloU loss. Вместе c mosaic аугментацией они улучшили качество модели на 10%, при этом не меняя её кардинально.
К минусам YOLO v4 можно отнести сложность интеграции модели и ручные гиперпараметры, оставшиеся от предыдущих версий.
Проблем, которые нужно фиксить, больше нет, поэтому разработчики сосредоточились на улучшениях.
📌 YOLO v5: «Гадкий утенок» и массовое принятие (2020-2021)
YOLO v5 вышла спустя 4 месяца после v4 — версию прозвали «гадким утенком», потому что в ней не было архитектурных прорывов.
💛 Золотая фишка: YOLO v5 переписали на PyTorch и сделали её удобнее для пользователей. Каждый мог интегрировать ее в свой проект и дообучить под свои задачи. Сам PyTorch вскоре стрельнул и задоминировал в области DL, что привело к массовому принятию YOLO.
Других фишек немного — их выпустили, чтобы продвинуть статью о новой версии. Зато появилась куча проблем:
📎 Версия не работала из-за багов. Первые два месяца багнутая имплементация просто не давала пользоваться моделью. Текла память, некорректно уточнялась область по трем кандидатам.
📎Версия не добавляла новизны. Каждая новая YOLO решала либо инженерную проблему, либо идейную. Пятую модель посчитали переписью того, что уже было — просто на другой фреймворк. Сообществу такой подход не понравился.
📎 Версия разрабатывалась компанией Ultralytics. Сообщество относилось к ней с недоверием: раньше над YOLO работала СНГ-шная суперзвезда в области CV — Бачковский, а теперь какие-то ноунеймы. Поэтому разработчики волновались за судьбу полюбившейся модели.
📎 Версия так и не получила статью. Компания обещала выпустить ее в течение нескольких месяцев. Но прошло уже 4 года — статья не появилась. Ограничились парой тех. репортов на архиве.
К счастью, Ultralytics модельку не бросили, всячески её дорабатывали и улучшали. Благодаря PyTorch и поддержке от разработчиков, YOLO v5 много где используется как составляющая комплексного решения.
📌 YOLO v6: Модель сделали удобнее для развертывания (2022)
Компания сосредоточилась на разработке максимально удобного real-time deployment под фреймворки вроде TensorRT и Edge-устройств.
💛 Золотая фишка: ввели Anchor-Free Head. Вместо предсказания сдвигов для кандидатов, модель ищет именно центральную точку объекта. Так быстрее и точнее.
Другие нововведения:
📝 Новая архитектура. В качестве бэкбоуна был выбран EfficientRep — аналог EfficientNet. Еще отказались от DarkNet-бэкбоуна — он давно устарел.
📝 Высокая скорость. Модель стала сверхлегкой и демонстрировала 120 FPS на T4 при разрешении 640x640. Поэтому её использовали в задачах, связанных с тепловизорами и Edge-вычислениями.
Явных минусов и проблем у модели не было. Разве что подводила точность в сравнении с v5 и v7. Но зато v6 лучшая для Edge-устройств.
В следующем посте разберём, почему YOLO v8 стала самой популярной моделью семейства и как коммерциализация превратила проект в конвейер.
💜 Этот пост написал Никита Алутис, ML-разработчик в Точка Банк