Ещё один пост про ИИ-агентов для разработки, на этот раз намного более конкретный, про Claude Code и мой опыт его использования. Гайд очень субъективный, могут быть косяки или глупости - очень уж быстро всё меняется.

И несколько объявлений:
- Очень ждём ваши ML-заявки на Codefest. Всё такой же майский, новосибирский и классный. По всем вопросам можно мне в личку - @crazyfrogspb

- Ура, мой доклад взяли на OpenTalks.AI в Белграде! Если будете там 18-20 февраля и хотите поболтать или покурить калик, пишите. Промокод на 25% - SpeakerColleagueOT2026

- Ура, я еду на Snow Base! Я обожаю South Hub, но в этом году туда, скорее всего, не попадаю, так что вдвойне радостно будет поехать. Это такой кэмп для всяких C-level и Head of в ML/DL/LLM/AI в горах Красной Поляны. Буду рад повидаться и там

#Жека #llm

#resume #prompt

Как достать соседа нанимающего менеджера?
Вопросами, на которые он не знает ответа

Когда-то давно я уже выкладывала список вопросов, которые нужно обязательно задать команде и рекрутеру в процессе собеседований.
Но я бы назвала этот список «джуновским»: там всего лишь один вопрос о планах развития команды.
И в этом ключевая проблема.
Бэклог на год вперёд не спасёт продукт, если нет стратегии.

Но чтобы задавать вопросы, касаемые этой стратегии, нужно сделать домашнюю работу:

1. изучить сайт компании и пройтись по основным сценариям использования (web/app)
2. понять их монетизацию, за счет чего они хлеб с маслом/без едят (у некоторых вместо хлеба оказывается совсем другое).
3. какие у них каналы привлечения пользователей
4. посмотреть как растут фин.показатели от года к году и открытые данные на similarweb.com
5. изучить прямых и косвенных конкурентов и их предложения, узнать у кого какая примерно доля рынка.

Готово!
Пушка-бомба, вы великолепны.
Тут только не хватает еще 1го пункта, но об этом в конце.

Теперь к реальной ситуации из опыта: вот мы готовимся к собеседованию и прилежно проделываем домашку.
Вырисовывается следующая картина:
- небольшая компания, но уже давно на рынке.
- в портфеле активных 4 сервиса, один из них b2b. 1 сервис недавно закрыли, но плашечка на сайте предательски заманивает в него, хотя и ведет в никуда.
- дофига конкурентов, поэтому доля на рынке в районе 2-2.4% (и последние 4 года не меняется).

Что происходит на самом собесе*.
- Какой сервис для вас наиболее прибыльный? Мне без цифр конкретных, просто понять за счет чего живете в большей степени.
Нанимающий: NDA
- Какие у вас планы на развитие продукта? Планируете ли открывать новые сервисы?
Нанимающий: нет, нам есть чем заняться внутри существующих 2х сервисов.
- А у вас вот был сервис и вы активно его продвигали, но вижу плашечка больше никуда не ведет. Почему закрыли?
Нанимающий: не пошло, спроса нет.
- Странно, но конкуренты же развивают подобные сервисы активно и выстраивают экосистему. За счет чего тогда планируете выделяться и расширять свою долю на рынке?
Нанимающий: а чего такой интерес к этому сервису-то? надо будет, откроем назад.

Это были прекрасные 30 минут подобного диалога 🫠
Впечатления остались неоднозначные, все туманно.
Подумала, может мне просто показалось.
И тут я вспомнила, что в домашке пропустила последний этап — почитать отзывы на DreamJob.
А там ну просто мееееед 🍯:

- отсутствие стратегии развития бизнеса
- тoкcичнoe руководство
- на рынке компания уверенно держится только за счёт B2B направления; остальные продукты уверенно проигрывают конкуренцию
- прошли массовые сокращения (35-40% IT-департамента)
- большая часть зп в виде премии, часть из которой могут не выплатить за то, что ты не затрекал время рабочее, не включил камеру на созвонах и т.д

Получается, не показалось все же.

Считаю, что работать в компании без стратегии — опасно.
- нет ощущения значимости работы
- хаос в процессах
- токсичная среда
- работаешь в ожидании увольнения
- рассказы про сложность рынка/времени и тд.

🚩А вы задаете вопросы про развитие продукта и куда компания движется глобально? А подобную «домашку» проделываете перед собесом?

*Компания может и не стремиться расширять долю на рынке, это нормально. Вопрос только к способностям нанимающего менеджера внятно рассказать о планах и основных фокусах, чего в данном случае не было.

p.s. кстати, напоминаю про бота для подготовки к собеседованиям @DataismPrepBot.
Сезон найма ближе, чем ты думаешь.

#dl #courses

🔥Курс по Deep Learning (Fall 2024) от MIT доступен онлайн!

Один из лекторов - Phillip Isola, чень крутой ресерчер в Computer Vision. Олды помнят его легендарный CycleGAN (2017).

Выложили и слайды, и доп материалы, и видео лекций, и домашки (можете по-честному их выполнить и отправить на проверку в Claude Code :))

Очень качественный базовый курс. Если хотите разобраться в Deep Learning немного глубже промптов, то очень рекомендую к просмотру!

Курс целиком можно скачать тут:
https://ocw.mit.edu/courses/6-7960-deep-learning-fall-2024/video_galleries/lecture-videos/

P.S. Еще один хрестоматийный курс по DL - это Стенфордский CS231 от Карпатого.

#ликбез
@ai_newz

#softskills #career

#ML

Про анализ важности фичей

В очередной модели, которую попросили «посмотреть», обнаружил сразу три графика по важности фичей в бустинге:

— По числу сплитов по фиче (дефолтный feature_importances_)
— По gain
— По tree shap

Пропустим пока вопрос о дрифте фич (а они бывают разные с разными эффектами) — про них отдельно стоит написать.

Дальше я наивно ждал интерпретации — но увы.
Когда я об этом спросил услышал две версии от двух тимлидов:
Астерикс— «где gain выше та фича и сильнее»,
Обеликс — «где shap выше та фича и сильнее».

Поскольку галлы строят модели под влиянием волшебного друидского зелья и не знакомы с латинским, немного навайбкодил примеров чтобы показать что для анализа фичей нужны все три важности (это еще не считая анализа стабильности этой важности во времени / по фолдам).

Ключевое в них — кросс-плоты feature_importance по cплитам vs по gain и по shap vs по gain.
Это два графика, которые нужно обязательно смотреть в бустингах.

Если вкратце:

1. Важность по gain сильно завышает редкие бинарные фичи с резким эффектом (в тетрадке это x_strong_rare). Модель редко использует их (малый SHAP), но когда использует — один сплит даёт огромный выигрыш.

Что с такими фичами делать?
Если они сами по себе интерпретируемы и срабатывают редко —

их нужно выносить в сигналы до модели!

Иначе будут проблемы и с обучением (понадобится больше деревьев и стабильность пострадает) и с интерпретируемостью — такая фича забьет рабочие лошадки по важности + начнет ломать интерпретируемость shap (либо придется считать отдельно для x_strong_rare = 1 или x_strong_rare = 0).
Смотрят либо фичи вылетевшие вверх на графике shap vs gain либо проверяют фичи которые в топе по gain но не в топе по shap.
Бонусом к отдельному сигналу — частота у такой фичи может сильно скакать во времени что еще больше нарушит стабильность модели.
Так что вынос такой фичи в отдельный сигнал — это еще и интерпретабельность PSI модели.
Как это повлияет на калибровку?
Ухудшит “глобальную” калибровку, но улучшает там, где модель реально работает (при x_strong_rare = 0).


2. Есть фичи вроде x_weak_often — с высоким сплитом, но низким shap и gain.

Здесь может быть несколько вариантов:

— +/- симметрично распределенный непрерывный шум
— фича костыль: есть небольшая коррекции с таргетом, но в модель ничего не добавляет
— фича по построения состоит из нескольких бакетов

В любом случае если зажали max_depth / n_estimators чтобы «регуляризоваться» то модель потратит кучу деревьев и сплитов на такие шумные и удобные для сплита фичи вместо того чтобы поймать реальный сигнал.

Еще она может массировать другие проблемы вроде мультиколлинеарности или ликов.

Не выбросить такую фичу — ошибка!

Как еще их можно отловить?

Строить feature_importance по месяцам/фолдам и проверять стабильность важности фичи.
Следить за дисперсией метрики (ex: Gini) на CV.

3. Есть фичи с низким split и не самым высоким gain, но с высоким SHAP.

То есть модель редко по ним сплитится, но почти в каждом объекте они двигают prediction.

Выбрасывать такие фичи — тоже ошибка!

Итого:

1. Строим:
- split vs gain
- shap vs gain

2. Если фича:
- top gain, но не top shap → кандидат в сигнал
- top split, но низко по shap и gain → кандидат на выброс
- low split, not high gain, high shap → не трогать, это рабочая фича (пока мы не исследовали ее стабильность по времени)

3. Проверяем:
- стабильность importance по фолдам / времени
- Дисперсию метрики по фолдам кросс-валидации
- PSI условно (x_strong_rare=0)

4. Только после этого:
- feature selection
- регуляризация

Те кто внезапно дочитал до этого момента могут заключить что второй тимлид был прав и надо смотреть только на shap.

Но

высокий shap ничего не гарантирует!

.
Особенно, если:

⁃ Он высокий только на трейне
⁃ Нестабилен по фолдам / или времени
⁃ Фича сама по себе нестабильна
⁃ Модель деградирует на OOT

PS.
низкий SHAP не значит что фича плохая.

Например:
— фича-разделитель (регион),
— стабилизирует модель,
— работает только в хвостах,
часто имеют низкий SHAP, но без них качество и стабильность падают.