➡️Советы по вайбкодингу

Как и обещал на выступлении, прикладываю ссылку на презу. В pptx - есть видео с демонстранцией. В pdf - отсутствует

Нежданчик от Gamma

Презентацию делал в Гамме. Экспортировал в паверпоинт за день до выступления. Вылез баг - размеры шрифтов заголовков на каждом слайде с картинками очень различаются. Видимо, Гамма автоматически подстраивает размер под объем контента. На сайте этот как-то было не сильно заметно, а вот в паверпоинте заиграло новыми красками🤦‍♂️

Пришлось поздно вечером форматировать всю презу.

На будущее буду сохранять из гаммы часть слайдов и допиливать их уже в паверпоинте. Чтобы все картинки были на одном уровне и шрифты не плясали.

Как вытащить БОЛЬ из рекрутера и техлида прямо сейчас

Прямо сейчас на трансляции мы разбираем, как перестать быть «одним из 30» в очереди и начать диктовать свои условия. Но чтобы продать решение, нужно сначала понять, что у них болит 👀

Не надо гадать на кофейной гуще - тут нужно просто спросить. Ловите вопросы, которые превратят ваш монолог в допрос для компании, после которой вы будете знать её боли лучше, чем сама компания знает свои

1️⃣ HR-скрининг (Ищем Бизнес-боль)
Здесь мы узнаем контекст. HR - твой союзник, он сольет тебе инфу, если правильно спросить.

«В чем сейчас главная боль команды? Какую задачу нужно "тушить" в первую очередь?»

«А какие задачи будут приоритетными для нового человека, чтобы усилить то направление, которым занимался предыдущий сотрудник?»

«Позиция новая или это замена? Если замена — чего не хватило прошлому сотруднику?»

«Каких конкретных результатов вы ожидаете от специалиста через 3 месяца после начала работы? Что будет критерием успешного прохождения испытательного срока?»
2️⃣ Техническое собеседование (Ищем Техническую боль)
Здесь ты говоришь с носителем боли. Поговоришь с людьми, которые либо решают эту боль, или её испытывают.

«Расскажите, пожалуйста, как выглядит путь модели от идеи до продакшена? С какими основными сложностями (узкими местами) команда сталкивается при деплое сейчас?»

«Каково примерное соотношение времени, которое команда тратит на поддержку текущих решений и на разработку новых фичей/моделей?»

«Как у вас выстроен процесс работы с данными? Есть ли в команде выделенные дата-инженеры, или подготовка данных и построение пайплайнов полностью лежат на ML-разработчиках?»

«Много времени уходит на поддержку легаси-моделей?»

«Насколько чистые данные приходят? Сколько времени уходит на feature engineering, а сколько на обучение?»

3️⃣ Поведенческое / Финал (Ищем Культурный код)
Здесь смотрим, сработаемся ли мы по-человечески.

«На какие ключевые метрики бизнеса влияет работа вашей команды? Как именно эта роль помогает компании достигать глобальных целей?»

«Как у вас организован рабочий процесс? Как обычно ставятся задачи и как команда справляется с пиковыми нагрузками или срочными дедлайнами?»

«Опишите, пожалуйста, идеального кандидата для этой роли. Какими софтами должен обладать человек, чтобы максимально органично вписаться в вашу команду?»

«Основываясь на нашем разговоре, есть ли у вас какие-то сомнения относительно моего опыта или навыков, которые мы могли бы обсудить и прояснить прямо сейчас?»

Залетай на эфир, там сейчас самый сок - разбираем, как эти ответы превратить в оффер

Diff-in-Diff на самом деле

Вокруг методов квазиэкспериментов (diff-in-diff, regression discontinuity, Propensity Score Matching и тд), которые применяются в случае, когда A/B невозможен, есть некая атмосфера крутизны. Считается, что обычные A/B тесты это база, которую умеют делать все, а вот методы причинного вывода это реально сложно и интересно. Хотя все понимают (надеюсь), что с точки зрения валидности и надежности выводов правильно задизайненный и проведенный A/B тест опережает все вышеперечисленное. Все остальные квазиэксперименты это "A/B для бедных". Тем не менее, иногда действительно нет возможности провести A/B тест по разным причинам. Например, он технически невозможен или этически недопустим, однако эффект все равно оценить нужно, тогда без квазиэкспериментов никак.
У меня самой было в планах наконец-то разобраться с этими методами, так как это интересно, а еще про это любят спрашивать на собеседованиях 😏.

И вот оно: по работе возникла задача посчитать влияние уже внедренной фичи, которую запускали сразу на 100% без A/B (были на это причины). Это как раз типичный кейс применения diff-in-diff. Я обрадовалась возможности с этим разобраться на реальных данных (ооо наконец-то сложные методы), так что поставила задачку на себя и пошла читать статьи как это работает.

Оказалось, что аналитики в очередной раз назвали умными словами обычную линейную регрессию с двумя факторами и взаимодействием. Основная сложность метода не в формуле, а как обычно в наличии качественных данных и в умении правильно их приготовить. Например, нужно выбрать подходящую контрольную группу или построить синтетическую, проверить выполняются ли параллельные тренды до вмешательства, при необходимости добавить ковариаты, но это уже детали.
Общую идею метода неплохо объяснили в статье на хабре, но мне немного показалось, что в статье есть то самое "назвать простое сложным".

Сама формула:

y = β0 + β1*treat + β2*post + β3*(treat × post) + ε

Как видите, это обычная формула линейной регрессии с взаимодействием, где

β0 (Intercept) – значение интересующего показателя, например конверсии, в контрольной группе до воздействия.
β1 – значение показателя в тестовой группе до воздействия.
β2 – значение показателя в контрольной группе после воздействия.

β3 – тот самый эффект взаимодействия, Diff-in-Diff, дополнительное изменение конверсии в тестовой группе после воздействия по сравнению с контрольной группой.

Никакой сложной математики, старая добрая линейная регрессия в тренде 😎

Пример кода на 🖥

# предварительно уже создан df, в комментарии пришлю как сгенерировать
model <- lm(y ~ treat*post, data = data)
summary(model)

Пример кода на 🐍

# предварительно уже создан df, в комментарии пришлю как сгенерировать
import statsmodels.formula.api as smf # ключевой import для работы с Diff-in-Diff
df['did'] = df['treat'] * df['post'] # создание переменной взаимодействия
model = smf.ols("y ~ treat + post + did", data=df).fit()
print(model.summary())

Самое главное для применения метода подобрать подходящий контроль с соблюдением параллельности трендов до воздействия, а дальше сама формула занимает буквально две строчки. И необязательно делать вид, что это что-то супер сложное и крутое, потому что по сравнению с моделями, с которыми сталкиваются ученые, это совсем не рокет саенс 🤓

Вот еще несколько полезных ссылок:
1) Статья из книги Causal Inference for the Brave and True
2) Небольшая заметка на kaggle
3) Хорошая статья от X5 на хабре

👇В комментарии приложила пример кода для генерации подходящих под Diff-in-Diff данных на R и Python

#analytics #stats