Скуф-сеньор, бумер-мидл, зумер-джун — различия между грейдами на собесах

В предыдущей части поговорили про различие грейдов в рабочих тасках, сегодня — про собесы.
Раскатываем, в чём разница между грейдами именно на интервью, спасибо ученикам за идею 🍒

1️⃣ Твою сеньорность показывает ML System Design
Если коротко: можешь ли ты зарешать задачу от «подними мне конверсию клика на баннер» до готового решения, которое приносит деньги?

В идеальном мире от тебя ждут, что ты 95% времени сам балаболишь про решение, а 5% времени говорит собеседующий, отвечая на твои вопросы.
Также твою пиздатость показывает не только объём выдавленного из себя решения, но и его качество: подводные камни, релевантные метрики, правильная работа с данными и т. д. 🤔

Кста, у меня есть пост про то, как уничтожать ML System Design на собесах.

2️⃣ Спектр задач, которые решал
Не забываем про опыт. От сеньора ожидают, что он брал полностью проект на себя: от бизнес-постановки до деплоя или A/B-тестов. Или хотя бы зарешал технический ад — то, куда никто не хотел лезть.
От мидла и джуна меньше ожиданий — скорее всего, им давали более низкоуровневые задачи как в технике, так и в бизнесе:
«прикрути фичу», «пофикси даталоадер», «помоги накатить метрику» 😧

3️⃣ Уровень технички
Алгосы, классик ML, DL, пайплайны — это всё дефолтное мясо собесов.
Ожидание от сеньора — это в первую очередь понимание своей доменной области. Если ты крут в RAG’ах — от тебя ждут, что ты там и рыбку съел, и на хуй сел, обучая ретривер 👊

Но бывают и такие собеседования, где от тебя ждут чётких ответов на всё, как по учебнику. Это зависит от вакансии и конкретных требований.
От мидлов и джунов чаще всего ожидают просто правильные ответы.
По личному опыту: самые стрессовые собесы были на джуна, а вот на сеньора — душевные попизделки за технологии и за жизнь 🍷

4️⃣ Жёсткие софты
На каждом грейде смотрят на софты — в конце концов, мы работаем с людьми.
Но от сеньора особенно ждут, что он будет более зрелый:
умеет признавать ошибки, учиться, слушать и слышать, расти и грамотно коммуницировать в команде ❌

5️⃣ Умение задавать вопросы
Есть момент, когда тебе говорят: «а теперь твои вопросы, бро». И это не просто вежливость — это тоже часть собеса.
Интервьюеры смотрят, насколько ты заинтересован, как глубоко копаешь и насколько в теме.
Часто чем глубже вопросы, тем выше твоя экспертиза считывается.

Итог:
Грейд на собесе — это не про то, сколько лет ты пялился в ноут, а про то, как ты думаешь, решаешь и общаешься
Сеньор — это не тот, кто всё знает, а тот, кто умеет дожимать абстрактную ерунду в бизнес-результат и не тянет команду вниз
Мидл — уже не джун, но ещё не сеньор: может многое, но иногда нужен вектор
Джун — это не приговор, а стадия. Главное — расти, впитывать и не стесняться задавать вопросы

А собес — это не экзамен. Это демка того, как с тобой будет работать команда 🥳

Тотальная ликвидация страхов в получении жирного офферсана

В предыдущем посте я попросил вас, своих слонов, пройти опросник. Вы наебенькали целых ~73 ответа, спасибо мои дорогие)
Ответы заставили меня порой улыбнуться, порой заплакать, а порой... заплакать 💀

Цель большинства - это найти первую работу в DS/ML, с небольшим отрывом идут люди, которые просто хотят апгрейднуться по ЗП, получить иностранный оффер или залутать новые знания

Самое частое чувство — страх, а я его люблю пиздеть на канале страха нет 👊
Вот топ мыслей, которые вы начирикали:
1️⃣ «Если не получится сейчас — я останусь ни с чем»
2️⃣ «Все умнее, с физтеха, а я без базы»
3️⃣ «Я боюсь опозориться на собесе»
4️⃣ «Вроде хочу в AI, но с чего начать — непонятно»

А вот что мешает моим слонам:
🟣Нет практики и реальных задач
🟡Непонятно, куда копать — нет роадмапа
🔵Не хватает мотивации
🟢Нет комьюнити рядом

Поэтому я задал себе вопрос: а чем я реально могу быть полезен? И вот что вы мне ответили:
🟣Простые разборы тем с примерами и кодом
🔵Кейсы и задачи (а не теория ради теории)
🟡Чек-листы, подборки ресурсов, роадмапы
🟢Мок-собесы, особенно в NLP и на джунов
🟣Истории людей, которые тоже боялись — и всё равно прошли путь

Поэтому сейчас будет тотальная ликвидация страхов на канале/ютубе/менторстве и кое-где в другом месте, чуть позже узнаете... 😃

Буду рад, если напишешь, какой пост ты хотел бы увидеть в ближайшее время.

ПОВ: Я потихоньку с вами созваниваюсь, также мне помогает моя ассистентка. И мне будет приятно если сделаешь небольшой додеп в опросник 🌭

Уничтожение MLSD по созданию чат-бота

Постановка задачи
Ситуация: Нужен чат-бот-юрист, который сможет первично консультировать клиентов по законам. Например, кто-то дунул газика и теперь тебе нужно найти все статьи и законы, которые связаны с котиками. Пример: «Браток, как защититься от того, что жёстко дал газу в башню и теперь меня ищут менты?» → бот ищет статьи и выдает нормальный структурированный ответ с источниками, которые помогут защититься от легавых 🐒

Ограничения:
🟣Задержка ответа, < 5c
🟡Нет данных для обучения, только открытые источники
🔵Свести галлюцинации к минимуму
🟢Мало мощностей (<16 ГБ VRAM)

Метрики
Бизнес-метрики - метрики, которые важны в первую очередь бизнесу
🟣Conversion Rate: доля пользователей, совершивших целевое действие: запись
на прием или переход по ссылке — через чатик с ботом
🟡Retention: Процент пользователей, вернувшихся к боту в течение N дней
Онлайн-метрики - метрики, которые будем мерить при A/B тестах
🟢CSAT: оценка от пользователей (1-5)
🔵Response Latency: задержка на генерацию ответа
Оффлайн-метрики - метрики, которые мы считаем прям во время разработки модели
🟣Precision@k: Доля релевантных документов среди топ-k результатов поиска.
🟡Recall@k: доля релевантных документов, найденных среди топ-k по сравнению с полным множеством релевантных
🔵LLM-as-a-judge (для оценки генерации): Оцениваем качество сгенерированных ответов LLM, используя другую LLM в качестве судьи - сейчас такое гейство очень актуально в оценки качества генераций. Правила оценки можно задать, опираясь на внутренние требования по общению с клиентами и работе с юридическим документами 😱
Но у нас нет разметки, как получить offline-метрики без разметки? Делаем небольшую ручную разметку через копирайтеров или на основе типичных запросов клиентов, а потом делаем синту через GPT на основе уже размеченных данных. Так можно наиболее точно и эффективно разметит инфу, чтобы чел нашёл абсолютно всё про хапку 😩

Данные:
1️⃣Официальные тексты законов.
2️⃣Очистка/фильтрация чувствительных данных.
3️⃣Чанки по 256–1024 токена (или абзацы).

Индексация и векторизация:
1️⃣ Выбор модели предобученной эмбеддингов: bge-m3, e5-multilingual-large
2️⃣ Построение векторной БД (Qdrant, Faiss, Chroma): вычисление эмбеддингов для каждого чанка и сохранение в векторную БД

Retrieve pipeline — как ищем чанки по газикам
1️⃣ Query preprocessing: нормализация, удаление лишних символов (можно делать через LLM)
2️⃣ Retrieve:
🔵BM25
🟢Vector search (cosine simillarity)
🟡Hybrid (BM25+Vector search)
3️⃣ Выбор top-k чанков для формирования контекста LLM. Рекомендуется 5-10
Формирование ответа с помощью LLM
1️⃣ Делаем какой-то систем промпт, чтобы наша модель была очень крутой, отвечала всегда честно и экологично, а то расскажет не про то как задефаться от хапки газика, а как сделать сам газик - нам такое не нужно
2️⃣ Кидаем в API ллмки (API: GPT, Gemini, Claude) систем промпт, чанки и вопрос пользователя и нам рождается ответ

Проблемы:
🟣Есть такая хуйня - Prompt Injection. Это когда злые дядьки пытаются через промпты попросить у модели внутренние данные. Что стоит сделать: или добавить жёсткие правила по фильтрации, или добавить ЛЛМку, которая будет фильтровать запрос пользователя и у неё не будет доступ к внутренним данным 👎
🟢Также в чанках может чуствтительная инфа (данные пользователей компании - если данные утекут, то из вас сделают газик), которая не должна слиться пользователям. Поэтому стоит внимательно следить за чанками и что в них попадает 💩

Итоговый пайплайн:
Запрос → Предобработка → Поиск чанков → Промпт → Ответ → Пользователь.
Это был baseline, который дальше можно улучшать и улучшать, у которого есть свои проблемы. И их в одном посте я точно описать не смогу

Что можно улучшить 👊
- Провести тесты с разными ЛЛМ-ками и энкодерами
- Проработать агентную систему, которая будет улучшать качество и безопасность системы. К примеру, query routing - классифицировать запрос: материальное право / процесс / процедурка / «как оформить»; под каждый — свой шаблон ответа и k.
- Сделать tool call при необходимости