Отзыв о ММ 25
Я участвую в конференциях этих организаторов уже в четвертый раз, была на двух Aha и двух матемаркетингах, включая этот. На мой взгляд, нынешний матемаркетинг точно лучше ахи, и возможно лучше предыдущего. Понравилось наполнение докладами, не без недостатков, но лучше чем на прошлой Aha. Отмечу доклады Сергея Матросова про оценку кумулятивных эффектов, Ромы Царегородцева, про который писала выше, еще мне посоветовали доклад от Островка, посмотрю чуть позже.
Стендовые активности тоже на уровне, но в этот раз постаралась чуть больше сходить на доклады)
Несколько докладов показались достаточно поверхностными, но в принципе это нормально, так как конференция рассчитана на разные грейды. Что-то подобное я могу сама рассказывать в следующий раз)
Про causal inference в очередной раз рассказали непонятно, уже классика. Поняла для себя, что доклады про LLM автоскип, ну вот реально очень неинтересно про это слушать. Да, LLM есть, пользуемся, но слушать очередной доклад про внедрение AI в своем инструменте утомило. Удивило отсутствие Авито на стендах и вообще ощущение как будто аналитиков из Авито было мало в этот раз. Кто оттуда – отзовитесь, интересно узнать, почему так.
В основном общалась с коллегами из Литрес, приятно развиртуализироваться, у нас был самый большой десант на конфу в этот раз 😎
Также приятно было встретить старых знакомых (привет Юра, Серега, Олег).
А вы были на конференции? Пишите, какие доклады запомнились, и с каким мерчом уехали 😁
Я участвую в конференциях этих организаторов уже в четвертый раз, была на двух Aha и двух матемаркетингах, включая этот. На мой взгляд, нынешний матемаркетинг точно лучше ахи, и возможно лучше предыдущего. Понравилось наполнение докладами, не без недостатков, но лучше чем на прошлой Aha. Отмечу доклады Сергея Матросова про оценку кумулятивных эффектов, Ромы Царегородцева, про который писала выше, еще мне посоветовали доклад от Островка, посмотрю чуть позже.
Стендовые активности тоже на уровне, но в этот раз постаралась чуть больше сходить на доклады)
Несколько докладов показались достаточно поверхностными, но в принципе это нормально, так как конференция рассчитана на разные грейды. Что-то подобное я могу сама рассказывать в следующий раз)
Про causal inference в очередной раз рассказали непонятно, уже классика. Поняла для себя, что доклады про LLM автоскип, ну вот реально очень неинтересно про это слушать. Да, LLM есть, пользуемся, но слушать очередной доклад про внедрение AI в своем инструменте утомило. Удивило отсутствие Авито на стендах и вообще ощущение как будто аналитиков из Авито было мало в этот раз. Кто оттуда – отзовитесь, интересно узнать, почему так.
В основном общалась с коллегами из Литрес, приятно развиртуализироваться, у нас был самый большой десант на конфу в этот раз 😎
Также приятно было встретить старых знакомых (привет Юра, Серега, Олег).
А вы были на конференции? Пишите, какие доклады запомнились, и с каким мерчом уехали 😁
2❤28👍8👏4👎1
Diff-in-Diff на самом деле
Вокруг методов квазиэкспериментов (diff-in-diff, regression discontinuity, Propensity Score Matching и тд), которые применяются в случае, когда A/B невозможен, есть некая атмосфера крутизны. Считается, что обычные A/B тесты это база, которую умеют делать все, а вот методы причинного вывода это реально сложно и интересно. Хотя все понимают (надеюсь), что с точки зрения валидности и надежности выводов правильно задизайненный и проведенный A/B тест опережает все вышеперечисленное. Все остальные квазиэксперименты это "A/B для бедных". Тем не менее, иногда действительно нет возможности провести A/B тест по разным причинам. Например, он технически невозможен или этически недопустим, однако эффект все равно оценить нужно, тогда без квазиэкспериментов никак.
У меня самой было в планах наконец-то разобраться с этими методами, так как это интересно, а еще про это любят спрашивать на собеседованиях 😏.
И вот оно: по работе возникла задача посчитать влияние уже внедренной фичи, которую запускали сразу на 100% без A/B (были на это причины). Это как раз типичный кейс применения diff-in-diff. Я обрадовалась возможности с этим разобраться на реальных данных (ооо наконец-то сложные методы), так что поставила задачку на себя и пошла читать статьи как это работает.
Оказалось, что аналитики в очередной раз назвали умными словами обычную линейную регрессию с двумя факторами и взаимодействием. Основная сложность метода не в формуле, а как обычно в наличии качественных данных и в умении правильно их приготовить. Например, нужно выбрать подходящую контрольную группу или построить синтетическую, проверить выполняются ли параллельные тренды до вмешательства, при необходимости добавить ковариаты, но это уже детали.
Общую идею метода неплохо объяснили в статье на хабре, но мне немного показалось, что в статье есть то самое "назвать простое сложным".
Сама формула:
Как видите, это обычная формула линейной регрессии с взаимодействием, где
β0 (Intercept) – значение интересующего показателя, например конверсии, в контрольной группе до воздействия.
β1 – значение показателя в тестовой группе до воздействия.
β2 – значение показателя в контрольной группе после воздействия.
β3 – тот самый эффект взаимодействия, Diff-in-Diff, дополнительное изменение конверсии в тестовой группе после воздействия по сравнению с контрольной группой.
Никакой сложной математики, старая добрая линейная регрессия в тренде 😎
Пример кода на🖥
Пример кода на🐍
Самое главное для применения метода подобрать подходящий контроль с соблюдением параллельности трендов до воздействия, а дальше сама формула занимает буквально две строчки. И необязательно делать вид, что это что-то супер сложное и крутое, потому что по сравнению с моделями, с которыми сталкиваются ученые, это совсем не рокет саенс🤓
Вот еще несколько полезных ссылок:
1) Статья из книги Causal Inference for the Brave and True
2) Небольшая заметка на kaggle
3) Хорошая статья от X5 на хабре
👇 В комментарии приложила пример кода для генерации подходящих под Diff-in-Diff данных на R и Python
#analytics #stats
Вокруг методов квазиэкспериментов (diff-in-diff, regression discontinuity, Propensity Score Matching и тд), которые применяются в случае, когда A/B невозможен, есть некая атмосфера крутизны. Считается, что обычные A/B тесты это база, которую умеют делать все, а вот методы причинного вывода это реально сложно и интересно. Хотя все понимают (надеюсь), что с точки зрения валидности и надежности выводов правильно задизайненный и проведенный A/B тест опережает все вышеперечисленное. Все остальные квазиэксперименты это "A/B для бедных". Тем не менее, иногда действительно нет возможности провести A/B тест по разным причинам. Например, он технически невозможен или этически недопустим, однако эффект все равно оценить нужно, тогда без квазиэкспериментов никак.
У меня самой было в планах наконец-то разобраться с этими методами, так как это интересно, а еще про это любят спрашивать на собеседованиях 😏.
И вот оно: по работе возникла задача посчитать влияние уже внедренной фичи, которую запускали сразу на 100% без A/B (были на это причины). Это как раз типичный кейс применения diff-in-diff. Я обрадовалась возможности с этим разобраться на реальных данных (ооо наконец-то сложные методы), так что поставила задачку на себя и пошла читать статьи как это работает.
Оказалось, что аналитики в очередной раз назвали умными словами обычную линейную регрессию с двумя факторами и взаимодействием. Основная сложность метода не в формуле, а как обычно в наличии качественных данных и в умении правильно их приготовить. Например, нужно выбрать подходящую контрольную группу или построить синтетическую, проверить выполняются ли параллельные тренды до вмешательства, при необходимости добавить ковариаты, но это уже детали.
Общую идею метода неплохо объяснили в статье на хабре, но мне немного показалось, что в статье есть то самое "назвать простое сложным".
Сама формула:
y = β0 + β1*treat + β2*post + β3*(treat × post) + ε
Как видите, это обычная формула линейной регрессии с взаимодействием, где
β0 (Intercept) – значение интересующего показателя, например конверсии, в контрольной группе до воздействия.
β1 – значение показателя в тестовой группе до воздействия.
β2 – значение показателя в контрольной группе после воздействия.
β3 – тот самый эффект взаимодействия, Diff-in-Diff, дополнительное изменение конверсии в тестовой группе после воздействия по сравнению с контрольной группой.
Никакой сложной математики, старая добрая линейная регрессия в тренде 😎
Пример кода на
# предварительно уже создан df, в комментарии пришлю как сгенерировать
model <- lm(y ~ treat*post, data = data)
summary(model)
Пример кода на
# предварительно уже создан df, в комментарии пришлю как сгенерировать
import statsmodels.formula.api as smf # ключевой import для работы с Diff-in-Diff
df['did'] = df['treat'] * df['post'] # создание переменной взаимодействия
model = smf.ols("y ~ treat + post + did", data=df).fit()
print(model.summary())
Самое главное для применения метода подобрать подходящий контроль с соблюдением параллельности трендов до воздействия, а дальше сама формула занимает буквально две строчки. И необязательно делать вид, что это что-то супер сложное и крутое, потому что по сравнению с моделями, с которыми сталкиваются ученые, это совсем не рокет саенс
Вот еще несколько полезных ссылок:
1) Статья из книги Causal Inference for the Brave and True
2) Небольшая заметка на kaggle
3) Хорошая статья от X5 на хабре
#analytics #stats
Please open Telegram to view this post
VIEW IN TELEGRAM
6🔥40❤17👍15👏3🎉2🙏2💯2👎1
Есть ли жизнь в аналитике после науки?
Здесь будет пост-рефлексия, впечатления о продуктовой аналитике спустя два с половиной года. Немного рассказывала про это на стриме с Юрой Борзило, а сейчас распишу другие аспекты.
Контекст: я ушла из науки в конце 2022 года (это на третьем курсе аспирантуры), первую работу в аналитике данных нашла в июне 2023 (подробнее про это писала здесь). Конкретно в продуктовую аналитику перекатилась год назад, сейчас в Литресе повысили до синьора. Я понимаю, что синьор в одной компании далеко не равен синьору везде, но все равно приятно, так что принимаю поздравления 🎉
Как оно тут без науки?
Меня часто спрашивают (правда-правда 😁), не скучно ли в аналитике после науки, по-моему это одно из основных опасений ученых, кто тоже думает уходить из науки.
Я бы сказала, что разнообразие задач не меньше, чем в науке и можно выбрать, чем приоритетно хочется заниматься. Рутины в аналитике не больше чем в науке, а в науке ее немало, при этом есть целый ряд задач, которые можно назвать исследовательскими, без четкого ТЗ, похоже на научные.
Что в науке отличается из неочевидного?
Относительно научной жизни в аналитике нужно намного больше общаться с людьми, даже не будучи руководителем, поэтому мне понадобилось довольно сильно прокачать те самые софт-скиллы. Если раньше было проблемой пойти в общий тред и что-то спрашивать, то теперь это любимое занятие/всегда пожалуйста. Это совершенно необходимо для грейдов выше миддла, потому что становится критично не только уметь писать код, считать A/B тесты, но и понимать, в каких случаях это можно не делать.
Режим работы
Более расслабленный по сравнению с наукой. С одной стороны, в рабочее время нужно быть на связи в рабочем мессенджере, присутствовать на встречах, нет этой легкости, что можно целый день не приходить в институт и никто ничего не скажет. Но с другой стороны, нет необходимости перерабатывать, при нормально выстроенных процессах удается все сделать в рабочее время. Немного есть сезонность – в конце квартала обычно загруженность больше, но по-моему написание грантов, отчетов по ним и статей сложнее и напряженнее.
Есть ли желание возвращаться в науку?
Пока за два с половиной года не возникло, хотя иногда смотрю как однокурсники и друзья защитились и становится немного грустно) но это скорее что-то иррациональное, из разряда хочу красивую защиту, чтобы все поздравляли (но писать диссер и готовиться не хочу), поэтому всерьез желания возвращаться нет.
Насколько сильно отличаются подходы к сбору и анализу данных в областях?
Тут сложно сказать, есть разные аспекты. По моим ощущениям в науке данных меньше, но собирают их более тщательно (стараются), в то время как в бизнесе данных много, собираются они можно сказать автоматически, но в результате качество часто получается ниже среднего. Методы анализа в продуктовой аналитике обычно довольно простые и стандартные: наши любимые z-тесты и t-тесты, но бывают и более сложные и интересные, из недавнего писала про Diff-in-Diff. В науке в этом смысле похоже, многие вещи можно закрыть простыми методами, t-test, ANOVA, логистическая регрессия, но если этого недостаточно, то спектр сложных методов неограничен, их реально очень много.
Формулирует ли кто-то перед экспериментами нулевую и альтернативную гипотезы или как и в науке не сильно запариваются с этим?
В A/B тестировании формулировать гипотезы, как бизнесовые, так и статистические, является золотым стандартом индустрии. Думаю, что у всех компаний со зрелой аналитической культурой это обязательный чекпойнт перед запуском теста.
Какие навыки из научной жизни пригодились тебе в аналитике (кроме кодинга и статистики)?
Думаю самое ценное – это умение понятно доносить информацию, это касается и устных выступлений, и письменных отчетов, потому что в научной карьере это прокачивается очень хорошо.
Пишите в комментариях, если есть еще вопросы на эту тему!
#analytics
Здесь будет пост-рефлексия, впечатления о продуктовой аналитике спустя два с половиной года. Немного рассказывала про это на стриме с Юрой Борзило, а сейчас распишу другие аспекты.
Контекст: я ушла из науки в конце 2022 года (это на третьем курсе аспирантуры), первую работу в аналитике данных нашла в июне 2023 (подробнее про это писала здесь). Конкретно в продуктовую аналитику перекатилась год назад, сейчас в Литресе повысили до синьора. Я понимаю, что синьор в одной компании далеко не равен синьору везде, но все равно приятно, так что принимаю поздравления 🎉
Как оно тут без науки?
Меня часто спрашивают (правда-правда 😁), не скучно ли в аналитике после науки, по-моему это одно из основных опасений ученых, кто тоже думает уходить из науки.
Я бы сказала, что разнообразие задач не меньше, чем в науке и можно выбрать, чем приоритетно хочется заниматься. Рутины в аналитике не больше чем в науке, а в науке ее немало, при этом есть целый ряд задач, которые можно назвать исследовательскими, без четкого ТЗ, похоже на научные.
Что в науке отличается из неочевидного?
Относительно научной жизни в аналитике нужно намного больше общаться с людьми, даже не будучи руководителем, поэтому мне понадобилось довольно сильно прокачать те самые софт-скиллы. Если раньше было проблемой пойти в общий тред и что-то спрашивать, то теперь это любимое занятие/всегда пожалуйста. Это совершенно необходимо для грейдов выше миддла, потому что становится критично не только уметь писать код, считать A/B тесты, но и понимать, в каких случаях это можно не делать.
Режим работы
Более расслабленный по сравнению с наукой. С одной стороны, в рабочее время нужно быть на связи в рабочем мессенджере, присутствовать на встречах, нет этой легкости, что можно целый день не приходить в институт и никто ничего не скажет. Но с другой стороны, нет необходимости перерабатывать, при нормально выстроенных процессах удается все сделать в рабочее время. Немного есть сезонность – в конце квартала обычно загруженность больше, но по-моему написание грантов, отчетов по ним и статей сложнее и напряженнее.
Есть ли желание возвращаться в науку?
Пока за два с половиной года не возникло, хотя иногда смотрю как однокурсники и друзья защитились и становится немного грустно) но это скорее что-то иррациональное, из разряда хочу красивую защиту, чтобы все поздравляли (но писать диссер и готовиться не хочу), поэтому всерьез желания возвращаться нет.
Насколько сильно отличаются подходы к сбору и анализу данных в областях?
Тут сложно сказать, есть разные аспекты. По моим ощущениям в науке данных меньше, но собирают их более тщательно (стараются), в то время как в бизнесе данных много, собираются они можно сказать автоматически, но в результате качество часто получается ниже среднего. Методы анализа в продуктовой аналитике обычно довольно простые и стандартные: наши любимые z-тесты и t-тесты, но бывают и более сложные и интересные, из недавнего писала про Diff-in-Diff. В науке в этом смысле похоже, многие вещи можно закрыть простыми методами, t-test, ANOVA, логистическая регрессия, но если этого недостаточно, то спектр сложных методов неограничен, их реально очень много.
Формулирует ли кто-то перед экспериментами нулевую и альтернативную гипотезы или как и в науке не сильно запариваются с этим?
В A/B тестировании формулировать гипотезы, как бизнесовые, так и статистические, является золотым стандартом индустрии. Думаю, что у всех компаний со зрелой аналитической культурой это обязательный чекпойнт перед запуском теста.
Какие навыки из научной жизни пригодились тебе в аналитике (кроме кодинга и статистики)?
Думаю самое ценное – это умение понятно доносить информацию, это касается и устных выступлений, и письменных отчетов, потому что в научной карьере это прокачивается очень хорошо.
Пишите в комментариях, если есть еще вопросы на эту тему!
#analytics
2🔥46❤15🎉15👏10👎2
🐺Накрутка опыта: да или нет?
Совместно с каналом Dataism решили затронуть эту холиварную тему – накрутку опыта и так называемый "волчизм". У меня тут будут аргументы против, а у Ани аргументы в защиту.
Для начала нужно определиться с терминологией, что именно считать накруткой, например округлить опыт работы с 10-11 месяцев до года на мой взгляд не проблема.
Кроме этого, не считаю сильно зазорным указать наличие опыта A/B тестирования для человека из науки, так как ученые обычно хорошо разбираются в статистике, а подтянуть именно бизнесовую часть вопрос времени, особенно если человек уже с опытом в аналитике.
Здесь будем рассматривать накрутку в ее крайнем проявлении – полностью придуманные компании, должности, годы опыта.
Итак, поехали
Найм уже и так сломан, а приколы с накруткой дополнительно усложняют жизнь всем
Здесь, на мой взгляд, отлично работает теория игр.
В моменте накрутка приносит выгоду отдельному кандидату, но создаёт негативный эффект для всей системы.
Из-за накрутки входные фильтры ужесточаются, придумываются более абсурдные критерии, и в какой-то момент уже обычные честные кандидаты перестают проходить отбор. Получается замкнутый круг: накрутка → ужесточение → ещё больше накрутки.
В итоге страдают все: как нанимающие менеджеры, так и честные соискатели, да и накрутчикам приходится тоже адаптироваться под дальнейшее усложнение отбора.
Плюс еще сейчас AI дополнительно ломает найм с AI-резюме, AI-откликами и AI-отказами, но накрутка от этого не особо спасает.
Накрутка обычно вскрывается на собеседовании или испытательном сроке
Расскажу небольшой кейс. Весной собеседовали кандидата на миддл продуктового аналитика, резюме очень четкое, про себя рассказал тоже круто, я уже подумала, что настолько синьорного кандидата не потянем. Но дальше человек не смог задизайнить простейший A/B тест и написать джойн и GROUP BY. При таком заявленном опыте это выглядело странно и оставило ощущение накрутчика, который просто натренировался хорошо рассказывать про себя.
Но если человек сумел успешно пройти собеседование, испытательный срок и отлично перформит, то у меня нет никаких претензий, если была до этого накрутка.
Рынок аналитики не такой большой (по крайней мере в РФ)
Репутационный урон может быть довольно существенным, недавно вот был интересный случай в одном аналитическом чате: человек похвастался на аудиторию почти двух тысяч участников в накрутке опыта, с целью продать свою экспертизу как ментора. Однако благодаря бдительности одного из участников чата удалось выяснить, что все крутые достижения были несколько преувеличены🤓
В общем, думаю много кто уже не наймет после такой истории, но я знаю, что такие люди могут под другими именами и с совершенно другим опытом проходить собесы, и тем не менее.
А больше аргументов, почему накрутка это неизбежно можно почитать в канале dataism, пишите, кто был более убедительным 😎
И еще у автора канала есть классный телеграм-бот для подготовки к собесам на позиции дата/продуктовый/bi-аналитик.
Дополнительно можно почитать посты:
- как решать продуктовые кейсы
- диагностика отрицательного роста
- шпаргалка про продуктовые метрики
Подписывайтесь, чтобы не накручивать опыт 💪
#analytics #collab
Совместно с каналом Dataism решили затронуть эту холиварную тему – накрутку опыта и так называемый "волчизм". У меня тут будут аргументы против, а у Ани аргументы в защиту.
Для начала нужно определиться с терминологией, что именно считать накруткой, например округлить опыт работы с 10-11 месяцев до года на мой взгляд не проблема.
Кроме этого, не считаю сильно зазорным указать наличие опыта A/B тестирования для человека из науки, так как ученые обычно хорошо разбираются в статистике, а подтянуть именно бизнесовую часть вопрос времени, особенно если человек уже с опытом в аналитике.
Здесь будем рассматривать накрутку в ее крайнем проявлении – полностью придуманные компании, должности, годы опыта.
Итак, поехали
Найм уже и так сломан, а приколы с накруткой дополнительно усложняют жизнь всем
Здесь, на мой взгляд, отлично работает теория игр.
В моменте накрутка приносит выгоду отдельному кандидату, но создаёт негативный эффект для всей системы.
Из-за накрутки входные фильтры ужесточаются, придумываются более абсурдные критерии, и в какой-то момент уже обычные честные кандидаты перестают проходить отбор. Получается замкнутый круг: накрутка → ужесточение → ещё больше накрутки.
В итоге страдают все: как нанимающие менеджеры, так и честные соискатели, да и накрутчикам приходится тоже адаптироваться под дальнейшее усложнение отбора.
Плюс еще сейчас AI дополнительно ломает найм с AI-резюме, AI-откликами и AI-отказами, но накрутка от этого не особо спасает.
Накрутка обычно вскрывается на собеседовании или испытательном сроке
Расскажу небольшой кейс. Весной собеседовали кандидата на миддл продуктового аналитика, резюме очень четкое, про себя рассказал тоже круто, я уже подумала, что настолько синьорного кандидата не потянем. Но дальше человек не смог задизайнить простейший A/B тест и написать джойн и GROUP BY. При таком заявленном опыте это выглядело странно и оставило ощущение накрутчика, который просто натренировался хорошо рассказывать про себя.
Но если человек сумел успешно пройти собеседование, испытательный срок и отлично перформит, то у меня нет никаких претензий, если была до этого накрутка.
Рынок аналитики не такой большой (по крайней мере в РФ)
Репутационный урон может быть довольно существенным, недавно вот был интересный случай в одном аналитическом чате: человек похвастался на аудиторию почти двух тысяч участников в накрутке опыта, с целью продать свою экспертизу как ментора. Однако благодаря бдительности одного из участников чата удалось выяснить, что все крутые достижения были несколько преувеличены
В общем, думаю много кто уже не наймет после такой истории, но я знаю, что такие люди могут под другими именами и с совершенно другим опытом проходить собесы, и тем не менее.
А больше аргументов, почему накрутка это неизбежно можно почитать в канале dataism, пишите, кто был более убедительным 😎
И еще у автора канала есть классный телеграм-бот для подготовки к собесам на позиции дата/продуктовый/bi-аналитик.
Дополнительно можно почитать посты:
- как решать продуктовые кейсы
- диагностика отрицательного роста
- шпаргалка про продуктовые метрики
Подписывайтесь, чтобы не накручивать опыт 💪
#analytics #collab
Please open Telegram to view this post
VIEW IN TELEGRAM
2❤35👍13🔥13👎7🤔3
Записываемся на менторство по продуктовой аналитике 💅💅💅
Хочу поделиться: я менторю по продуктовой аналитике и статистике и помогаю:
🟡 разобраться с продуктовыми метриками и теорией A/B тестирования,
🟡 перестать путаться в p-value, альфе и ошибках первого и второго рода 🤓
🟡 подготовиться к собеседованиям на продуктового аналитика (без накрутки опыта 😎),
🟡 прокачать т.н. продуктовое мышление.
Раньше я преподавала в основном статистику и анализ данных в R, подробнее с результатами можно ознакомиться здесь (правда давно не обновляла). Сейчас у меня есть несколько успешных кейсов помощи с собесами на продуктового аналитика, так что продолжаю преподавать уже не только статистику.
Формат – индивидуальные консультации, подготовка к собесам, перекат из аналитики данных в продуктовую.
Записаться можно на сайте Хи-хи квадрат – это топовое аналитическое сообщество с проверенными менторами. Там же есть:
– ML-щики,
– DWH-инженеры,
– системные аналитики
– и другие продуктовые аналитики.
А еще основатель сообщества Хи-хи квадрата Вова – любитель аниме и вообще крутой чувак
Заглядывайте на сайт, выбирайте ментора по душе👇
Хочу поделиться: я менторю по продуктовой аналитике и статистике и помогаю:
Раньше я преподавала в основном статистику и анализ данных в R, подробнее с результатами можно ознакомиться здесь (правда давно не обновляла). Сейчас у меня есть несколько успешных кейсов помощи с собесами на продуктового аналитика, так что продолжаю преподавать уже не только статистику.
Формат – индивидуальные консультации, подготовка к собесам, перекат из аналитики данных в продуктовую.
Записаться можно на сайте Хи-хи квадрат – это топовое аналитическое сообщество с проверенными менторами. Там же есть:
– ML-щики,
– DWH-инженеры,
– системные аналитики
– и другие продуктовые аналитики.
А еще основатель сообщества Хи-хи квадрата Вова – любитель аниме и вообще крутой чувак
Заглядывайте на сайт, выбирайте ментора по душе
Please open Telegram to view this post
VIEW IN TELEGRAM
2❤32🔥22👏7👎4
Итоги года 🌲🌲🌲
Настало и у меня время подвести итоги года, что удалось сделать, а что нет.
📚 Отметила первый год работы в Литрес продуктовым аналитиком, пока полет нормальный, много чего крутого успели сделать и есть еще немало идей по дальнейшему развитию аналитических проектов.
✍️ Написала тот самый разбор курса на степике "Основы статистики" (между прочим лидер по числу просмотров за год).
👍 Сгоняла на конференции aha и матемаркетинг, пообщалась с приятными людьми, набралась идей и мерча 😁
✨ Посетила биоинформатический хакатон в Алматы от Института Биоинформатики в качестве жюри.
✨ Еще совместно с Институтом Биоинформатики прочитала лекцию о мифах в визуализации данных.
🖥 Прочитала на базе Бластим про то, нужна ли нормальность распределения для t-теста и о ошибках в статистике.
📺 Провели пару стримов с Юрой про жизнь в аналитике после науки и с Ромой аналитический антисобес.
Но не все получилось сделать из запланированного, а именно:
Собиралась больше выпускать образовательного контента, продолжить тему с лекциями на степике и ютубе, но к сожалению совсем не хватило на это времени. Также выпустила чуть меньше хардовых материалов по статистике, чем планировала. В этом году лекции не обещаю, но надеюсь лонгридов по статистике станет больше (а пока можно почитать недавний материал про diff-in-diff).
Желаю всем в новом году, чтобыSQL-запросы выполнялись, мощности хватало, а также чтобы данные всегда были качественными и полными! На новогодних праздниках отдохните, наберитесь сил, это самое главное.
Оставайтесь на связи, после нового года запланировано кое-что интересное в честь роста канала 😎
Настало и у меня время подвести итоги года, что удалось сделать, а что нет.
✍️ Написала тот самый разбор курса на степике "Основы статистики" (между прочим лидер по числу просмотров за год).
Но не все получилось сделать из запланированного, а именно:
Собиралась больше выпускать образовательного контента, продолжить тему с лекциями на степике и ютубе, но к сожалению совсем не хватило на это времени. Также выпустила чуть меньше хардовых материалов по статистике, чем планировала. В этом году лекции не обещаю, но надеюсь лонгридов по статистике станет больше (а пока можно почитать недавний материал про diff-in-diff).
Желаю всем в новом году, чтобы
Оставайтесь на связи, после нового года запланировано кое-что интересное в честь роста канала 😎
Please open Telegram to view this post
VIEW IN TELEGRAM
3🎉45❤15👍11🔥6✍2👎1🐳1
Иду на тренинг по дашбордам от Насти Кузнецовой, го со мной👇
С 30 января стартует тренинг «Осмысленные дашборды» — про то, как делать BI красивым и полезным для бизнеса.
Почему я решила идти:
🟡 Мне нравится тема визуализации данных, я даже сама читала лекцию, а здесь будет возможность усилить навыки проектирования дашбордов и сторителлинга
🟡 У Насти Кузнецовой крутой телеграм-канал по BI-аналитике
🟡 Для продуктового аналитика навык качественной визуализации данных достаточно актуален, у меня дашборды занимают процентов 30 рабочих задач
Курс будет полезен, если вы:
🟡 аналитик / BI-специалист (junior–middle)
🟡 делаете дашборды и чувствуете, что можно лучше
🟡 хотите понимать, что и зачем показывать бизнесу, а не просто «рисовать графики»
Формат: онлайн, 9 недель, с заданиями и разбором кейсов.
Все подробности и программа здесь 👉 simulative.ru/bi-training
Если давно хотели прокачать BI-мышление — отличный повод пойти вместе 🚀
С 30 января стартует тренинг «Осмысленные дашборды» — про то, как делать BI красивым и полезным для бизнеса.
Почему я решила идти:
Курс будет полезен, если вы:
Формат: онлайн, 9 недель, с заданиями и разбором кейсов.
Все подробности и программа здесь 👉 simulative.ru/bi-training
Если давно хотели прокачать BI-мышление — отличный повод пойти вместе 🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
3🔥23❤7👍3😁2👌1🐳1
p-value, альфа и ошибка первого рода: как не перепутать
Это будет простой теоретический разбор ключевых понятий в статистике.
Для разогрева я спрятала под спойлер определения, попробуйте их распределить самостоятельно и ответить, как они связаны между собой.
alpha – верхняя граница вероятности ошибки первого рода.
p-value – вероятность найти такие же или еще более экстремальные значения тестовой статистики при условии верности нулевой гипотезы.
ошибка первого рода – отвергли нулевую гипотезу, когда она была верна (например, нашли отличия, там где их на самом деле нет).
А как они связаны между собой?
1. Мы сравниваем p-value с альфой, чтобы отвергнуть или не отвергнуть нулевую гипотезу.
2. При проведении множества независимых тестов с верностью нулевой гипотезы ожидаемая доля ошибок первого рода не превышает заданную альфу. Например, если мы проводим 100 A/A-тестов с α = 0.05, то в среднем примерно в 5 тестах мы отвергнем H₀ (то есть сделаем ошибку первого рода).
Важно: в конкретном тесте мы никогда не знаем, совершили ли ошибку первого рода (это уже случилось или нет). Но когда мы фиксируем альфу заранее, мы контролируем долгосрочную частоту таких ошибок — при большом числе повторений она будет близка к α (но есть нюансы, подробнее ниже).
3. Следствие: чем меньше альфа, тем реже будет ошибка первого рода. Однако при этом увеличится ошибка второго рода, всегда приходится балансировать между двумя типами ошибок.
Нюанс: в реальной жизни альфа не всегда совпадает с фактической вероятностью ошибки первого рода (ошибка бывает больше). Когда это происходит и как этого избежать?
🟡 Множественные сравнения
При тестировании множества гипотез (несколько групп, метрик) возрастает вероятность совершить хотя бы одну ошибку первого рода. Если не делать поправку, то мы уже не контролируем альфа на заданном уровне.
Решение: использовать поправки на множественные сравнения (Бонферрони, Холм, FDR) в зависимости от задачи. Более подробно можно почитать здесь.
🟡 Подглядывание в A/B тесты
Если мы многократно проверяем результаты A/B теста и останавливаем эксперимент при первом p-value < 0.05, это эквивалентно множественным проверкам гипотез и приводит к завышению ошибки первого рода.
Решение: использовать методы sequential testing.
🟡 Не выполнены предпосылки теста
Например, используем t-тест Стьюдента (не Велча) для выборок с разной дисперсией и разного объема, в результате мы можем сильно завысить уровень ошибки первого рода, подробнее здесь.
Решение: использовать тест Велча.
Другие примеры, когда ошибка первого рода возрастает в случае несоблюдения предпосылок теста, предлагаю накидать в комментарии.
Подсказка: это может быть связано с одной из любимых тем на этом канале)
Пишите в комментариях, не путаете ли вы термины, и сталкивались ли с ситуациями, когда ошибка первого рода превышала альфу.
#stats #stat_hard #analytics
Это будет простой теоретический разбор ключевых понятий в статистике.
Для разогрева я спрятала под спойлер определения, попробуйте их распределить самостоятельно и ответить, как они связаны между собой.
А как они связаны между собой?
1. Мы сравниваем p-value с альфой, чтобы отвергнуть или не отвергнуть нулевую гипотезу.
2. При проведении множества независимых тестов с верностью нулевой гипотезы ожидаемая доля ошибок первого рода не превышает заданную альфу. Например, если мы проводим 100 A/A-тестов с α = 0.05, то в среднем примерно в 5 тестах мы отвергнем H₀ (то есть сделаем ошибку первого рода).
Важно: в конкретном тесте мы никогда не знаем, совершили ли ошибку первого рода (это уже случилось или нет). Но когда мы фиксируем альфу заранее, мы контролируем долгосрочную частоту таких ошибок — при большом числе повторений она будет близка к α (но есть нюансы, подробнее ниже).
3. Следствие: чем меньше альфа, тем реже будет ошибка первого рода. Однако при этом увеличится ошибка второго рода, всегда приходится балансировать между двумя типами ошибок.
Нюанс: в реальной жизни альфа не всегда совпадает с фактической вероятностью ошибки первого рода (ошибка бывает больше). Когда это происходит и как этого избежать?
При тестировании множества гипотез (несколько групп, метрик) возрастает вероятность совершить хотя бы одну ошибку первого рода. Если не делать поправку, то мы уже не контролируем альфа на заданном уровне.
Решение: использовать поправки на множественные сравнения (Бонферрони, Холм, FDR) в зависимости от задачи. Более подробно можно почитать здесь.
Если мы многократно проверяем результаты A/B теста и останавливаем эксперимент при первом p-value < 0.05, это эквивалентно множественным проверкам гипотез и приводит к завышению ошибки первого рода.
Решение: использовать методы sequential testing.
Например, используем t-тест Стьюдента (не Велча) для выборок с разной дисперсией и разного объема, в результате мы можем сильно завысить уровень ошибки первого рода, подробнее здесь.
Решение: использовать тест Велча.
Другие примеры, когда ошибка первого рода возрастает в случае несоблюдения предпосылок теста, предлагаю накидать в комментарии.
Подсказка: это может быть связано с одной из любимых тем на этом канале)
Пишите в комментариях, не путаете ли вы термины, и сталкивались ли с ситуациями, когда ошибка первого рода превышала альфу.
#stats #stat_hard #analytics
Please open Telegram to view this post
VIEW IN TELEGRAM
11❤57🔥13✍7🙏7👍1
Дизайн A/B теста: пошаговая инструкция
Продолжаю рубрику вопросов с собеседований, сегодня предлагаю разогнать классический кейс на дизайн A/B теста.
К тебе приходит продакт с легендарной идеей покрасить кнопку “купить” в зеленый.
В таких вопросах A/B тест это не всегда единственный и лучший вариант, но в данном случае A/B наиболее просто задизайнить и объяснить.
Примерная структура ответа:
1. Уточнить контекст:
Какую проблему решаем (низкая конверсия, плохая заметность кнопки), какой ожидаемый эффект, как дорого это для разработки (в данном примере скорее всего недорого).
2. Выбрать метрики: ключевые, вспомогательные, заградительные
В данном случае скорее всего ключевой метрикой будет конверсия в успешную покупку, в качестве вспомогательных можно взять конверсию в клик по кнопке.
3. Сформулировать гипотезы: бизнесовые и статистические
Бизнес-гипотеза:
Зелёная кнопка повысит заметность, увеличит желание нажать на нее и увеличит конверсию в покупку.
Статистические гипотезы
H₀: конверсия в тестовой группе не отличается от контрольной;
H₁: конверсия в тестовой группе отличается от контрольной.
По умолчанию проводим именно двусторонний тест, так как наше воздействие может быть в обе стороны. Вообще односторонний тест на практике обычно не применяется и требует явного обоснования.
4. Дизайн эксперимента, расчет размера выборки
Вот здесь обычно начинаются сложности, рекомендую почитать пост Макса и планирую написать про это отдельно.
В рамках этого поста разберем буквально в двух словах:
Для расчета размера выборки нужно зафиксировать три параметра:
🟡 α - верхняя граница вероятности ошибки первого рода.
🟡 Мощность - вероятность обнаружить реальный эффект
🟡 MDE (Minimum Detectable Effect) - это минимальный размер эффекта, который эксперимент должен уметь обнаружить с заданной альфой и мощностью + имеет бизнес-смысл.
Дальше логика такая:
- от базовой конверсии выбираем MDE,
- фиксируем α и power,
- фиксируем сплитование: 50/50 даёт максимальную мощность, любой другой сплит нужно уметь объяснить.
- считаем размер выборки,
- делим на дневной трафик → получаем длительность теста,
- при необходимости учитываем недельную сезонность.
Важно понимать: чем меньше MDE, тем больше выборка и длиннее тест. Подробнее можно почитать здесь
5. Зафиксировать критерии принятия решения
Ещё на этапе дизайна договариваемся с продактом:
- Какой результат теста признаем успешным
- В каких сегментах будем смотреть
- Что будем делать с серым тестом (статистически незначимым)
- Какие критерии экстренной остановки теста
В некоторых случаях продакты могут раскатывать и серый тест, но нужно осознавать, какие могут быть последствия у этого.
6. Бонус: A/A тесты
На собеседовании упоминание A/A — скорее плюс:
- A/A полезен для проверки сплитовалки и метрик
- если система уже валидирована, перед каждым A/B его обычно не проводят
7. Подведение итогов теста
После завершения эксперимента:
- проверяем SRM (Sample Ratio Mismatch)
- сравниваем конверсии (обычно используется z-тест пропорций)
- смотрим доверительные интервалы
- анализируем заградительные и вспомогательные метрики (но решение принимаем по ключевой)
- отдаем продакту решение, а не просто p-value
Главное на собеседовании – уметь структурировать ответ, понимать ограничения A/B тестов и не запутаться в вопросах о статистике, если они будут!
Всем удачных собеседований и адекватных собеседующих 💪
#собес_PA #analytics #AB_tests
Продолжаю рубрику вопросов с собеседований, сегодня предлагаю разогнать классический кейс на дизайн A/B теста.
К тебе приходит продакт с легендарной идеей покрасить кнопку “купить” в зеленый.
В таких вопросах A/B тест это не всегда единственный и лучший вариант, но в данном случае A/B наиболее просто задизайнить и объяснить.
Примерная структура ответа:
1. Уточнить контекст:
Какую проблему решаем (низкая конверсия, плохая заметность кнопки), какой ожидаемый эффект, как дорого это для разработки (в данном примере скорее всего недорого).
2. Выбрать метрики: ключевые, вспомогательные, заградительные
В данном случае скорее всего ключевой метрикой будет конверсия в успешную покупку, в качестве вспомогательных можно взять конверсию в клик по кнопке.
3. Сформулировать гипотезы: бизнесовые и статистические
Бизнес-гипотеза:
Зелёная кнопка повысит заметность, увеличит желание нажать на нее и увеличит конверсию в покупку.
Статистические гипотезы
H₀: конверсия в тестовой группе не отличается от контрольной;
H₁: конверсия в тестовой группе отличается от контрольной.
По умолчанию проводим именно двусторонний тест, так как наше воздействие может быть в обе стороны. Вообще односторонний тест на практике обычно не применяется и требует явного обоснования.
4. Дизайн эксперимента, расчет размера выборки
Вот здесь обычно начинаются сложности, рекомендую почитать пост Макса и планирую написать про это отдельно.
В рамках этого поста разберем буквально в двух словах:
Для расчета размера выборки нужно зафиксировать три параметра:
Дальше логика такая:
- от базовой конверсии выбираем MDE,
- фиксируем α и power,
- фиксируем сплитование: 50/50 даёт максимальную мощность, любой другой сплит нужно уметь объяснить.
- считаем размер выборки,
- делим на дневной трафик → получаем длительность теста,
- при необходимости учитываем недельную сезонность.
Важно понимать: чем меньше MDE, тем больше выборка и длиннее тест. Подробнее можно почитать здесь
5. Зафиксировать критерии принятия решения
Ещё на этапе дизайна договариваемся с продактом:
- Какой результат теста признаем успешным
- В каких сегментах будем смотреть
- Что будем делать с серым тестом (статистически незначимым)
- Какие критерии экстренной остановки теста
В некоторых случаях продакты могут раскатывать и серый тест, но нужно осознавать, какие могут быть последствия у этого.
6. Бонус: A/A тесты
На собеседовании упоминание A/A — скорее плюс:
- A/A полезен для проверки сплитовалки и метрик
- если система уже валидирована, перед каждым A/B его обычно не проводят
7. Подведение итогов теста
После завершения эксперимента:
- проверяем SRM (Sample Ratio Mismatch)
- сравниваем конверсии (обычно используется z-тест пропорций)
- смотрим доверительные интервалы
- анализируем заградительные и вспомогательные метрики (но решение принимаем по ключевой)
- отдаем продакту решение, а не просто p-value
Главное на собеседовании – уметь структурировать ответ, понимать ограничения A/B тестов и не запутаться в вопросах о статистике, если они будут!
Всем удачных собеседований и адекватных собеседующих 💪
#собес_PA #analytics #AB_tests
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥39❤10👍9✍4❤🔥2
Прошло уже два занятия на курсе осмысленные дашборды, пока полет нормальный, нравится как Настя рассказывает.
Вкинула в рабочий чат скрин из лекции, была дискуссия, можно ли применить рекомендации в реальной работе. Бывает такое, что знаешь всю теорию, как делать правильно, но у бизнеса нет на это потребности и им главное быстро решить задачу (дашборд некрасивый, но работает – ок). Я сама считаю что наводить красоту только ради красоты нет смысла, но курс именно про повышение ценности дашбордов для бизнеса, а не только про красивую верстку.
С точки зрения A/B тестов такое тоже бывает, но здесь ошибки критичнее, чем некрасивость дашборда, поэтому тут стараемся все делать по науке и не разрешать продактам смотреть в миллионе сегментов, или катить серые тесты, если этого не было оговорено заранее.
Жду тему про подготовку данных для дашборда, надеюсь там будет про оптимизацию, потому что сейчас один из дашбордов очень тяжело грузится, надо бы найти способ его ускорить.
Еще можно присоединиться к этому потоку или записаться на следующий, курс рекомендую 👍
#analytics #data_vis
Вкинула в рабочий чат скрин из лекции, была дискуссия, можно ли применить рекомендации в реальной работе. Бывает такое, что знаешь всю теорию, как делать правильно, но у бизнеса нет на это потребности и им главное быстро решить задачу (дашборд некрасивый, но работает – ок). Я сама считаю что наводить красоту только ради красоты нет смысла, но курс именно про повышение ценности дашбордов для бизнеса, а не только про красивую верстку.
С точки зрения A/B тестов такое тоже бывает, но здесь ошибки критичнее, чем некрасивость дашборда, поэтому тут стараемся все делать по науке и не разрешать продактам смотреть в миллионе сегментов, или катить серые тесты, если этого не было оговорено заранее.
Жду тему про подготовку данных для дашборда, надеюсь там будет про оптимизацию, потому что сейчас один из дашбордов очень тяжело грузится, надо бы найти способ его ускорить.
Еще можно присоединиться к этому потоку или записаться на следующий, курс рекомендую 👍
#analytics #data_vis
2🔥16❤6👍2
А вам важно подтверждение своих скиллов от внешних экспертов?
Недавно сгоняла на экзамен по A/B-тестированию по мотивам кейсов Т-Банка.
Сразу к главному – я сдала и получила подтверждение своих навыков в A/B от крутых ребят, так что можно радоваться 🎉
По формату общения было похоже на собеседование с разбором кейсов по A/B. С точки зрения задания это по сути ревью A/B тестов: нужно было посмотреть, все ли нормально с экспериментом, и если нет, то дать рекомендации, как исправить. Именно такой формат исходно был в Т-Банке, подробнее про движ можно почитать здесь.
Что было интересного?
На прикрепленной фотографии перечислены темы и полученные оценки. Мы обсудили по-моему все, что связано с A/B, начиная с базы про MDE и сплитование, а заканчивая поправками на множественное тестирование, линеаризацией, CUPED и sequential testing.
Из сложного – немного запнулась на вопросах про линеаризацию и sequential testing. На практике с этим особо не работала, только читала статьи на хабре, поэтому возникли сложности. У нас большинство тестов закрываются без продвинутых методов, но постепенно внедряем больше сложного и интересного, ну и еще бы не помешало улучшить качество данных 😏. В принципе идем в этом направлении, данные становятся лучше и можно применять что-то посерьезнее, чем z-тест конверсий.
В остальных вопросах все четко, короче я прошла в список экспертов по A/B (по мнению Ромы Филева из Т-Банка 😁), спасибо за возможность проверить свои знания.
Записывайтесь ко мне на менторство, если хотите быть тоже спецами в A/B 😎
#analytics #AB_tests #собес_PA
Недавно сгоняла на экзамен по A/B-тестированию по мотивам кейсов Т-Банка.
Сразу к главному – я сдала и получила подтверждение своих навыков в A/B от крутых ребят, так что можно радоваться 🎉
По формату общения было похоже на собеседование с разбором кейсов по A/B. С точки зрения задания это по сути ревью A/B тестов: нужно было посмотреть, все ли нормально с экспериментом, и если нет, то дать рекомендации, как исправить. Именно такой формат исходно был в Т-Банке, подробнее про движ можно почитать здесь.
Что было интересного?
На прикрепленной фотографии перечислены темы и полученные оценки. Мы обсудили по-моему все, что связано с A/B, начиная с базы про MDE и сплитование, а заканчивая поправками на множественное тестирование, линеаризацией, CUPED и sequential testing.
Из сложного – немного запнулась на вопросах про линеаризацию и sequential testing. На практике с этим особо не работала, только читала статьи на хабре, поэтому возникли сложности. У нас большинство тестов закрываются без продвинутых методов, но постепенно внедряем больше сложного и интересного, ну и еще бы не помешало улучшить качество данных 😏. В принципе идем в этом направлении, данные становятся лучше и можно применять что-то посерьезнее, чем z-тест конверсий.
В остальных вопросах все четко, короче я прошла в список экспертов по A/B (по мнению Ромы Филева из Т-Банка 😁), спасибо за возможность проверить свои знания.
Записывайтесь ко мне на менторство, если хотите быть тоже спецами в A/B 😎
#analytics #AB_tests #собес_PA
5🔥46❤14👏9👍3👎3
Мощный розыгрыш книг и самого лютого статистического мерча
Нас уже больше 5000 🎉
Спасибо каждому, кто читает, репостит, обсуждает в комментариях, вы лучшие!
И в честь этого объявляю розыгрыш самых тематических призов
Как принять участие?
🟡 Быть подписчиком канала Статистика и R в науке и аналитике;
🟡 Написать в комментариях, как посты с этого канала помогли в работе, исследовании, A/B тесте и тд, прикрепив ссылку на соответствующий пост;
А что в призах?
📚 Книга по R, статистике или A/B-тестам – самый залайканный комментарий (без накрутки плиз);
🎁 Авторский мерч, пример на прикрепленной фотке – рандомно выбранный комментарий;
🎓 30-минутная консультация со мной по статистике, продуктовой аналитике и тд – для комментария, который мне понравится (все субъективно).
Будет круто собрать подборку самого полезного и интересного, чтобы больше понимать ценность для аудитории.
Результаты объявлю 4 марта в 18.00 МСК, до этого момента принимаются комментарии и лайки.
Жду ваших комментариев! 🍿
Нас уже больше 5000 🎉
Спасибо каждому, кто читает, репостит, обсуждает в комментариях, вы лучшие!
И в честь этого объявляю розыгрыш самых тематических призов
Как принять участие?
А что в призах?
📚 Книга по R, статистике или A/B-тестам – самый залайканный комментарий (без накрутки плиз);
🎁 Авторский мерч, пример на прикрепленной фотке – рандомно выбранный комментарий;
🎓 30-минутная консультация со мной по статистике, продуктовой аналитике и тд – для комментария, который мне понравится (все субъективно).
Будет круто собрать подборку самого полезного и интересного, чтобы больше понимать ценность для аудитории.
Результаты объявлю 4 марта в 18.00 МСК, до этого момента принимаются комментарии и лайки.
Жду ваших комментариев! 🍿
Please open Telegram to view this post
VIEW IN TELEGRAM
2🔥44👍8🎉7❤4
Про роадмапы стат тестов
Все, кто когда-либо изучал статистику, сталкивались с картами, деревьями или блок-схемами по выбору статистического критерия для проверки гипотез. Если данные нормально распределены, то используем t-тест, если нет, то Манн-Уитни... узнали, согласны?
Среди экспертов мнения разнятся: одни уверены, что карты помогают ориентироваться в многообразии статметодов, особенно новичкам, другие - сильно против, считая их некорректным упрощением.
Я предложила коллегам из @blastim разобраться в этой теме и провести онлайн-семинар «Статистика по навигатору: куда приводят карты выбора статистических методов?». Уже завтра, в 18:30 мск, мы с Еленой Рыбиной обсудим все pros and cons использования таких блок-схем.
Повестка встречи:
Приглашаем всех, кто мучается от недостатка знаний по статистике и теряется, когда нужно отвечать на каверзные вопросы рецензентов.
📍 Дата и время: 6 марта в 18:30 мск
🔗 Зарегистрироваться в боте Бластим: https://sbsite.pro//web0326_1
Запись вебинара будет доступна всем зарегистрировавшимся
Все, кто когда-либо изучал статистику, сталкивались с картами, деревьями или блок-схемами по выбору статистического критерия для проверки гипотез. Если данные нормально распределены, то используем t-тест, если нет, то Манн-Уитни... узнали, согласны?
Среди экспертов мнения разнятся: одни уверены, что карты помогают ориентироваться в многообразии статметодов, особенно новичкам, другие - сильно против, считая их некорректным упрощением.
Я предложила коллегам из @blastim разобраться в этой теме и провести онлайн-семинар «Статистика по навигатору: куда приводят карты выбора статистических методов?». Уже завтра, в 18:30 мск, мы с Еленой Рыбиной обсудим все pros and cons использования таких блок-схем.
Повестка встречи:
➤ какие существуют нюансы выбора статистического метода для тестирования гипотез
➤ насколько можно доверять картам и схемам из гайдов и методичек
➤ стоит ли жестко соблюдать их предписания или можно расслабиться и действовать более вольно
Приглашаем всех, кто мучается от недостатка знаний по статистике и теряется, когда нужно отвечать на каверзные вопросы рецензентов.
Запись вебинара будет доступна всем зарегистрировавшимся
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤31🔥17💯6🤔3👎1🐳1
Округлые кнопки увеличивают конверсию на 55% (или нет 🤓 )
В 2024 году в Journal of Consumer Research вышло исследование, что более скругленные кнопки на сайтах увеличивают конверсию в клик. В одном из тестов конверсия выросла с 7.2% до 11.2% – рост на 55%, с p-value 0.037 🚀
Аргументация авторов: округлые углы приятнее глазу, ассоциируются с безопасностью и меньшей жесткостью. Звучит как легкий способ поднять метрики без регистрации и смс)
Ну как, вы уже пошли проверять форму кнопок в своём продукте?
Но не торопимся скруглять кнопки – Рон Кохави (босс A/B тестов, автор книги "Trustworthy Online Controlled Experiments") с коллегами попытался воспроизвести эти результаты на реальном трафике. И вот что показали масштабные A/B тесты в 4 разных компаниях:
🟡 SeaWorld Orlando – 2.9 млн пользователей, эффект +0.16%, p-value=0.20, незначимо
🟡 Obs (норвежский ритейл) – 1.8 млн пользователей, эффект 0.73, p-value=0.09, незначимо
🟡 Obs-BYGG (норвежский ритейл) – 2.2 млн пользователей, эффект +0.3%, p-value=0.29, незначимо
🟡 Metro Russia – 7.4 млн пользователей, эффект -0.07%, p-value=0.83, незначимо. Пример скругленных и квадратных кнопок прикреплен к посту.
Каждая репликация была в тысячи раз масштабнее оригинала, но ни одна не подтвердила такую ракету роста.
В эксперименте от Metro Russia было еще интересное о правильном выборе ключевой метрики, подробнее можно почитать в посте Андрея Андреева (Head of eMerchandising). Коротко: разница между бинарной метрикой (добавил в корзину – да/нет) и счетчиком (количество добавлений) увеличивает нужный размер выборки в 8 раз – для счетчика выборка нужна больше. Вместо 1 млн пользователей вам нужно 8 млн и крутить тест 16 недель. Но в любом случае отсутствие эффекта было показано как на бинарной метрике, так и на счетчике.
А почему в исходном исследовании был показан рост на +55%?
Это классическое проклятие победителя (winner's curse) – когда публикуют только значимые результаты, причем самые успешные, с завышением истинной оценки эффекта. Часто в A/B тестировании можно обнаружить эффект больше, чем реально существующий (как посчитать реальный эффект рассказывал Сергей Матросов на прошлом матемаркетинге).
В оригинальном тесте было всего по ~450 человек на группу. На такой маленькой выборке рост конверсии по случайным причинам может превратиться в статистически значимый результат. Кохави применил метод Small Telescopes – суть в том, что если эффект, обнаруженный на малой выборке, действительно существует, то на миллионах пользователях мы его тем более обнаружим. Однако реального эффекта обнаружено не было, мощность оригинального исследования была недостаточной и есть серьезные основания думать, что рост конверсии на 55% был получен по случайным причинам.
Круто, а есть еще подобное?
История с круглыми кнопками это часть большого проекта: Кохави с коллегами запустили проект Trustworthy A/B Patterns – независимую проверку популярных UX-паттернов, которые считаются рабочими. Эксперты работают бесплатно, помогают компаниям правильно спроектировать и провести эксперименты, а взамен получают право публиковать результаты (тут самое сложное согласовать это со своим PR-отделом🤓 ).
В очереди на проверку – открытие ссылок в новой вкладке, анализ размера поля купона, подчеркивание ссылок и не только, буду писать здесь о новых интересных результатах.
А вам больше нравятся круглые или квадратные кнопки?
#analytics #AB_tests
В 2024 году в Journal of Consumer Research вышло исследование, что более скругленные кнопки на сайтах увеличивают конверсию в клик. В одном из тестов конверсия выросла с 7.2% до 11.2% – рост на 55%, с p-value 0.037 🚀
Аргументация авторов: округлые углы приятнее глазу, ассоциируются с безопасностью и меньшей жесткостью. Звучит как легкий способ поднять метрики без регистрации и смс)
Ну как, вы уже пошли проверять форму кнопок в своём продукте?
Но не торопимся скруглять кнопки – Рон Кохави (босс A/B тестов, автор книги "Trustworthy Online Controlled Experiments") с коллегами попытался воспроизвести эти результаты на реальном трафике. И вот что показали масштабные A/B тесты в 4 разных компаниях:
Каждая репликация была в тысячи раз масштабнее оригинала, но ни одна не подтвердила такую ракету роста.
В эксперименте от Metro Russia было еще интересное о правильном выборе ключевой метрики, подробнее можно почитать в посте Андрея Андреева (Head of eMerchandising). Коротко: разница между бинарной метрикой (добавил в корзину – да/нет) и счетчиком (количество добавлений) увеличивает нужный размер выборки в 8 раз – для счетчика выборка нужна больше. Вместо 1 млн пользователей вам нужно 8 млн и крутить тест 16 недель. Но в любом случае отсутствие эффекта было показано как на бинарной метрике, так и на счетчике.
А почему в исходном исследовании был показан рост на +55%?
Это классическое проклятие победителя (winner's curse) – когда публикуют только значимые результаты, причем самые успешные, с завышением истинной оценки эффекта. Часто в A/B тестировании можно обнаружить эффект больше, чем реально существующий (как посчитать реальный эффект рассказывал Сергей Матросов на прошлом матемаркетинге).
В оригинальном тесте было всего по ~450 человек на группу. На такой маленькой выборке рост конверсии по случайным причинам может превратиться в статистически значимый результат. Кохави применил метод Small Telescopes – суть в том, что если эффект, обнаруженный на малой выборке, действительно существует, то на миллионах пользователях мы его тем более обнаружим. Однако реального эффекта обнаружено не было, мощность оригинального исследования была недостаточной и есть серьезные основания думать, что рост конверсии на 55% был получен по случайным причинам.
Круто, а есть еще подобное?
История с круглыми кнопками это часть большого проекта: Кохави с коллегами запустили проект Trustworthy A/B Patterns – независимую проверку популярных UX-паттернов, которые считаются рабочими. Эксперты работают бесплатно, помогают компаниям правильно спроектировать и провести эксперименты, а взамен получают право публиковать результаты (тут самое сложное согласовать это со своим PR-отделом
В очереди на проверку – открытие ссылок в новой вкладке, анализ размера поля купона, подчеркивание ссылок и не только, буду писать здесь о новых интересных результатах.
А вам больше нравятся круглые или квадратные кнопки?
#analytics #AB_tests
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥57❤23✍7😱4👍3😁3👎1🙏1
Ускорение A/B тестов: Variance Weighted Estimator (осторожно много формул)
Снижение дисперсии – основной способ повысить чувствительность теста, а значит ускорить его без увеличения выборки. Классика жанра: CUPED, стратификация, последовательное тестирование.
Сегодня хочу рассказать про менее известный метод уменьшения дисперсии: Variance Weighted Estimator (VWE). Он похож на CUPED, тоже использует данные предпериода и ковариаты, но устроен немного иначе.
🟡 Как работает CUPED
CUPED – это можно сказать ANCOVA (Analysis of covariance). Мы подбираем на предпериоде (до проведения теста) такую ковариату
Мы вычитаем из
🟡 Как работает VWE
VWE – это взвешенный линейный оцениватель, в котором каждому наблюдению назначается вес, обратно пропорциональный его условной дисперсии:
На практике
По сути это WLS (Weighted least squares) регрессия, которая больше доверяет наблюдениям с низкой дисперсией.
Мне еще понравилась аналогия от ребят из exp-tools: 10 человек оценивают стоимость квартиры — девять говорят уверенно «12–13 млн», один говорит «5–30 млн». Умный агрегатор меньше доверяет неуверенному.
🟡 Ключевые отличия от CUPED:
– Гетероскедастичность: VWE эффективнее CUPED, когда дисперсия метрики неоднородна (например, сильно отличается между сегментами или типами пользователей).
– Множественные ковариаты: VWE естественным образом обобщается на несколько признаков через матрицу весов (но multi-cuped тоже можно делать).
VWE может хорошо зайти при большой частоте повторных действий (повторные покупки, взаимодействия с карточками товара и тп).
🟡 VWE vs CUPED: что использовать
CUPED это база. Если подобрать хорошую ковариату, такую что корреляция X и Y высокая, то можно хорошо снизить дисперсию довольно простым способом.
VWE — более гибкий, но и сложнее. Выигрывает, когда дисперсия неоднородна между пользователями или сегментами. Если данные однородны, то преимущества перед CUPED особо нет. При использовании VWE нужно быть осторожнее: в некоторых случаях после подбора весов математическое ожидание может не сохраниться, и оценка станет смещенной. VWE требует более строгого контроля качества данных.
🟡 Критически важные условия
Оба метода корректны только при соблюдении:
1. Ковариаты строго на предпериоде
2. Ковариаты не зависят от назначения в группы
3. Нет утечек информации из эксперимента
Важный нюанс: если веса или ковариаты оценены плохо, выигрыш в дисперсии может исчезнуть или обернуться проигрышем.
🟡 Можно ли комбинировать?
Да, будет просто WLS-регрессия с ковариатами. Гарантии дополнительного снижения дисперсии нет, но при сильно неоднородных данных такая модель может выигрывать у каждого метода по отдельности.
🟡 Попробовать на практике
Интерактивная симуляция, где можно посмотреть, как меняется дисперсия при разной корреляции и уровне шума. Чекайте канал Вита за обновлениями.
🟡 Что еще почитать:
Статья от фейсбука с подробным математическим обоснованием
#AB_tests #analytics
Снижение дисперсии – основной способ повысить чувствительность теста, а значит ускорить его без увеличения выборки. Классика жанра: CUPED, стратификация, последовательное тестирование.
Сегодня хочу рассказать про менее известный метод уменьшения дисперсии: Variance Weighted Estimator (VWE). Он похож на CUPED, тоже использует данные предпериода и ковариаты, но устроен немного иначе.
CUPED – это можно сказать ANCOVA (Analysis of covariance). Мы подбираем на предпериоде (до проведения теста) такую ковариату
X, которая была бы скоррелирована с нашей метрикой Y:Y_adj = Y − θ(X − E[X]), где θ = Cov(Y,X) / Var(X)Мы вычитаем из
Y ту часть вариативности, которую объясняет X. Ковариата должна измеряться на предпериоде и не зависеть от разбиения на группы. Работает тем лучше, чем выше корреляция X и Y.Пример:
Вы тестируете новый дизайн корзины, где целевая метрика ARPPU. В качестве ковариаты X вы берете доход от того же пользователя за 2 недели до теста.
Результат: Те, кто много тратил раньше, скорее всего, много потратят и сейчас. CUPED «вычитает» этот вклад, оставляя влияние вашего изменения. Это резко уменьшает дисперсию и увеличивает мощность теста.
VWE – это взвешенный линейный оцениватель, в котором каждому наблюдению назначается вес, обратно пропорциональный его условной дисперсии:
w_i ∝ 1/Var(Y|X_i).На практике
Var(Y|X) неизвестна и оценивается по данным, поэтому нам нужны исторические данные хорошего качества.По сути это WLS (Weighted least squares) регрессия, которая больше доверяет наблюдениям с низкой дисперсией.
Пример:
Вы анализируете время сессии в мобильном приложении. У вас есть два сегмента: «старички» (время на сервисе > 1 года) и «новички». У старичков поведение стабильно (низкая дисперсия), а новички ведут себя хаотично: кто-то закрывает через секунду, кто-то изучает всё подряд.
Результат: VWE присвоит более высокий вес данным стабильных пользователей. Это позволяет снизить итоговую дисперсию.
Мне еще понравилась аналогия от ребят из exp-tools: 10 человек оценивают стоимость квартиры — девять говорят уверенно «12–13 млн», один говорит «5–30 млн». Умный агрегатор меньше доверяет неуверенному.
– Гетероскедастичность: VWE эффективнее CUPED, когда дисперсия метрики неоднородна (например, сильно отличается между сегментами или типами пользователей).
– Множественные ковариаты: VWE естественным образом обобщается на несколько признаков через матрицу весов (но multi-cuped тоже можно делать).
VWE может хорошо зайти при большой частоте повторных действий (повторные покупки, взаимодействия с карточками товара и тп).
CUPED это база. Если подобрать хорошую ковариату, такую что корреляция X и Y высокая, то можно хорошо снизить дисперсию довольно простым способом.
VWE — более гибкий, но и сложнее. Выигрывает, когда дисперсия неоднородна между пользователями или сегментами. Если данные однородны, то преимущества перед CUPED особо нет. При использовании VWE нужно быть осторожнее: в некоторых случаях после подбора весов математическое ожидание может не сохраниться, и оценка станет смещенной. VWE требует более строгого контроля качества данных.
Оба метода корректны только при соблюдении:
1. Ковариаты строго на предпериоде
2. Ковариаты не зависят от назначения в группы
3. Нет утечек информации из эксперимента
Важный нюанс: если веса или ковариаты оценены плохо, выигрыш в дисперсии может исчезнуть или обернуться проигрышем.
Да, будет просто WLS-регрессия с ковариатами. Гарантии дополнительного снижения дисперсии нет, но при сильно неоднородных данных такая модель может выигрывать у каждого метода по отдельности.
Интерактивная симуляция, где можно посмотреть, как меняется дисперсия при разной корреляции и уровне шума. Чекайте канал Вита за обновлениями.
Статья от фейсбука с подробным математическим обоснованием
#AB_tests #analytics
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥28✍5❤3👍2👎2❤🔥1👏1
🎲 Какая вероятность встретить динозавра на улице?
50/50: либо встречу, либо нет
🎲 Статистик утонул, переходя реку, средняя глубина которой составляла один метр
🎲 Летят два статистика в самолёте. Один другому говорит:
— Последнее время я очень боюсь летать самолётом, так как я рассчитал, что вероятность того, что на борту бомба, даже выше, чем вероятность погибнуть в автокатастрофе. Второй статистик отвечает:
— Да, я тоже проделал эти же вычисления и пришёл к такому же результату. Но я пошёл дальше. Вероятность того, что в самолёте две бомбы ничтожно мала, поэтому я теперь одну всегда вожу с собой.
🎲 Охотились как-то вместе три статистика. Видят — стоит олень. Первый БАХ. И попал на метр левее. Второй БАБАХ и попал на метр правее. А третий и стрелять не стал:
— Все! По статистике мы его уже подстрелили!
🎲 Один статистик 40 лет проработал в самой успешной биотех компании. Долго, хорошо работал, тимлидом стал.
И была у него всю жизнь одна привычка: каждое утро он открывал левый верхний ящичек стола, заглядывал в него, а потом закрывал на ключик. Когда он ушел на пенсию, сотрудники бросились к столу и вскрыли этот ящик – там лежала старая-старая, потрепанная бумажка, на которой было написано:"p-value это вероятность получить такое же или еще более экстремальное значение тестовой статистики при условии верности нулевой гипотезы"
😏 😏 😏
Ну вы поняли, с 1 апреля 😎
#stat_fun
🎲 Статистик утонул, переходя реку, средняя глубина которой составляла один метр
🎲 Летят два статистика в самолёте. Один другому говорит:
— Последнее время я очень боюсь летать самолётом, так как я рассчитал, что вероятность того, что на борту бомба, даже выше, чем вероятность погибнуть в автокатастрофе. Второй статистик отвечает:
— Да, я тоже проделал эти же вычисления и пришёл к такому же результату. Но я пошёл дальше. Вероятность того, что в самолёте две бомбы ничтожно мала, поэтому я теперь одну всегда вожу с собой.
🎲 Охотились как-то вместе три статистика. Видят — стоит олень. Первый БАХ. И попал на метр левее. Второй БАБАХ и попал на метр правее. А третий и стрелять не стал:
— Все! По статистике мы его уже подстрелили!
🎲 Один статистик 40 лет проработал в самой успешной биотех компании. Долго, хорошо работал, тимлидом стал.
И была у него всю жизнь одна привычка: каждое утро он открывал левый верхний ящичек стола, заглядывал в него, а потом закрывал на ключик. Когда он ушел на пенсию, сотрудники бросились к столу и вскрыли этот ящик – там лежала старая-старая, потрепанная бумажка, на которой было написано:
Ну вы поняли, с 1 апреля 😎
#stat_fun
Please open Telegram to view this post
VIEW IN TELEGRAM
1😁120🔥15❤11❤🔥7💯3🐳2
Ребрендинг канала: пора или нет
В это воскресенье хочу немного поностальгировать и посоветоваться с вами.
Немного истории: я создала этот канал еще в аспирантуре, почти 5 лет назад. Идея была рассказывать про статистику простыми словами, так появились первые посты про бутстреп (сейчас они мне кажутся слабыми, но все не доходят руки переписать). Писать только про статистику было сложно (да и сейчас так), и тематика естественно расширилась на🖥 , так как в академической среде это был наш основной язык программирования.
3.5 года назад я ушла из аспирантуры и перекатилась в аналитику данных (можно почитать подробнее здесь), глобально база осталась той же, но фокус сместился.
Сейчас мне кажется плавно тематика съехала в совсем специфически аналитические вещи, и похоже, что название канала не совсем уже отражает суть: не то чтоб пишу про науку и R теперь тоже нечастый гость в постах.
И поэтому дорогие подписчики, у меня к вам есть пара вопросов.
🟡 Из какой вы сферы: наука, аналитика или что-то еще, опрос запилю ниже
🟡 Как думаете, надо ли привести название канала в большее соответствие содержанию или оставить на память об истоках? Если есть идеи нового названия, велком в комментарии! 👇
В это воскресенье хочу немного поностальгировать и посоветоваться с вами.
Немного истории: я создала этот канал еще в аспирантуре, почти 5 лет назад. Идея была рассказывать про статистику простыми словами, так появились первые посты про бутстреп (сейчас они мне кажутся слабыми, но все не доходят руки переписать). Писать только про статистику было сложно (да и сейчас так), и тематика естественно расширилась на
3.5 года назад я ушла из аспирантуры и перекатилась в аналитику данных (можно почитать подробнее здесь), глобально база осталась той же, но фокус сместился.
Сейчас мне кажется плавно тематика съехала в совсем специфически аналитические вещи, и похоже, что название канала не совсем уже отражает суть: не то чтоб пишу про науку и R теперь тоже нечастый гость в постах.
И поэтому дорогие подписчики, у меня к вам есть пара вопросов.
Please open Telegram to view this post
VIEW IN TELEGRAM
2❤30👎5🤯4🔥2👌2
Please open Telegram to view this post
VIEW IN TELEGRAM
❤13👎2
А почему конверсия больше 100% у тебя на дашборде?
Или немного о вечном: качестве данных.
Представьте ситуацию: приходит продакт и спрашивает, почему на дашборде какая-то ерунда, например конверсия в определенный способ оплаты больше 100%. Меня всегда забавляет этот вопрос, потому что в его основе лежит предположение, что дашборд обманывает. В то время как дашборд показывает только то, что лежит в источнике данных, и если на графиках что-то странное, то в большинстве случаев проблема в источнике, значит надо искать, что изменилось в сырых данных.
Например, в случае конверсии выше 100% очень похоже, что в каких-то случаях перестали отправляться события начала оплат, поэтому успешных оплат больше чем начатых. Сходите в разработку с этим пожалуйста))
Также этот вопрос может встретиться на собеседовании, обычно в формулировке: у нас упали продажи за вчера на 20%, аларм, ужас, что будем делать?
В большинстве случаев тут ожидают продуктового решения, но на практике в 70% случаев проблема оказывается в данных: упал пайплайн, сломался трекинг событий, не обновился источник и так далее. Поэтому и на собеседовании, и в жизни стоит начать с проверки целостности и качества данных, а потом уже закапываться в продуктовые причины.
Это актуально для всех, кто работает с данными, не только для аналитиков. Например, в биоинформатике тоже нередко были ситуации, когда для RNA-seq была плохо проведена пробоподготовка, тогда тоже хоть как ни старайся провести анализ, скорее всего ничего путного не получится. Конечно, в определенных случаях можно пытаться это исправить, например есть пакеты для выявления батч эффекта, но если на входе совсем мусор, то самые крутые методы анализа уже не помогут.
В общем сегодня немного базы: garbage in – garbage out.
Уважаемые подписчики, пожалуйста следите за качеством данных, мониторинги и алертинги наши друзья, без этого никакого дата дривен и технологической сингулярности не случится 😏
#analytics
Или немного о вечном: качестве данных.
Представьте ситуацию: приходит продакт и спрашивает, почему на дашборде какая-то ерунда, например конверсия в определенный способ оплаты больше 100%. Меня всегда забавляет этот вопрос, потому что в его основе лежит предположение, что дашборд обманывает. В то время как дашборд показывает только то, что лежит в источнике данных, и если на графиках что-то странное, то в большинстве случаев проблема в источнике, значит надо искать, что изменилось в сырых данных.
Например, в случае конверсии выше 100% очень похоже, что в каких-то случаях перестали отправляться события начала оплат, поэтому успешных оплат больше чем начатых. Сходите в разработку с этим пожалуйста))
Также этот вопрос может встретиться на собеседовании, обычно в формулировке: у нас упали продажи за вчера на 20%, аларм, ужас, что будем делать?
В большинстве случаев тут ожидают продуктового решения, но на практике в 70% случаев проблема оказывается в данных: упал пайплайн, сломался трекинг событий, не обновился источник и так далее. Поэтому и на собеседовании, и в жизни стоит начать с проверки целостности и качества данных, а потом уже закапываться в продуктовые причины.
Это актуально для всех, кто работает с данными, не только для аналитиков. Например, в биоинформатике тоже нередко были ситуации, когда для RNA-seq была плохо проведена пробоподготовка, тогда тоже хоть как ни старайся провести анализ, скорее всего ничего путного не получится. Конечно, в определенных случаях можно пытаться это исправить, например есть пакеты для выявления батч эффекта, но если на входе совсем мусор, то самые крутые методы анализа уже не помогут.
В общем сегодня немного базы: garbage in – garbage out.
Уважаемые подписчики, пожалуйста следите за качеством данных, мониторинги и алертинги наши друзья, без этого никакого дата дривен и технологической сингулярности не случится 😏
#analytics
1❤37💯18🔥12👍6🤯1🙏1👌1
Считаем размер выборки без регистрации и смс
Ребята из experiment hub разработали приятный калькулятор для расчета размера выборки и длительности A/B теста. В основе стандартные параметры: MDE, alpha, мощность, трафик, а также можно наоборот: на основе трафика, то есть зная размер выборки, оценить величину возможного эффекта.
Что понравилось:
- есть простой режим аналогичный калькулятору Эвана-Миллера (это база, это знать надо)
- в продвинутом режиме можно использовать взвешенный Бонферрони в качестве поправки, это новая фишка
- есть возможность использовать конверсионные и непрерывные метрики
- крутой импорт отчетов в markdown и в виде готовой картинки, очень вайбово
Я сама в Литрес запилила подобный инструмент, но на основе своих БД, поэтому он чисто для внутреннего использования, а здесь можно применить всем, зная значения конверсии и трафика.
Заходите https://abntester.ru/
А также заглядывайте на канал к Роме, который это создал, там много всего крутого на тему АБ
Ребята из experiment hub разработали приятный калькулятор для расчета размера выборки и длительности A/B теста. В основе стандартные параметры: MDE, alpha, мощность, трафик, а также можно наоборот: на основе трафика, то есть зная размер выборки, оценить величину возможного эффекта.
Что понравилось:
- есть простой режим аналогичный калькулятору Эвана-Миллера (это база, это знать надо)
- в продвинутом режиме можно использовать взвешенный Бонферрони в качестве поправки, это новая фишка
- есть возможность использовать конверсионные и непрерывные метрики
- крутой импорт отчетов в markdown и в виде готовой картинки, очень вайбово
Я сама в Литрес запилила подобный инструмент, но на основе своих БД, поэтому он чисто для внутреннего использования, а здесь можно применить всем, зная значения конверсии и трафика.
Заходите https://abntester.ru/
А также заглядывайте на канал к Роме, который это создал, там много всего крутого на тему АБ
❤26👍10🔥8❤🔥1🥰1👏1😁1
Как прокачивать продуктовое мышление?
Чтобы улучшить продуктовое мышление нужнодумать как продукт
Шучу! Или нет.
Давайте сразу договоримся о терминологии, что в рамках этого поста продукт – это решение задачи определённого сегмента потребителей в конкретном контексте (определение честно взяла отсюда). Примеры продуктов – маркетплейс, музыкальный стриминг, сервис такси, даже телеграм-канал можно воспринимать как продукт.
А еще здесь могли быть ваши шутки про продукты в пятерочке🤓
Зачем мыслить как продукт?
Для продуктового аналитика одним из ключевых скиллов является "продуктовое мышление", наравне с остальными хард скиллами: SQL, A/B тесты, дашборды и так далее, потому что аналитик полноценный партнер бизнесу, а не выгружатель данных по запросу.
Поскольку это требуется в работе, то и на собеседованиях очень часто спрашивают на продуктовой/бизнесовой секции.
Я сама раньше писала, что невозможно прокачать продуктовое мышление кроме как непосредственно на работе продуктовым аналитиком. Сейчас согласна с этим частично, потому что так развивается лучше всего, но все-таки можно подготовиться и не будучи продуктовым аналитиком. Хотя конечно это чуть сложнее, чем учить SQL и питон, и даже статистику, но возможно.
Как мыслить как продукт?
Когда я сама переходила в продуктовую аналитику, мне помогло разгонять знакомые мне продукты с точки зрения воронки AARRR, ключевых метрик и моделей монетизации. Глобально идея понять как продукт привлекает пользователей и зарабатывает, какая у него может быть North Start Metric. Можно валидировать свои ответы с помощью нейросети, конечно нейросеть может обмануть, но тут важно скорее мыслить в правильном направлении, детали важны меньше.
Такое упражнение очень хорошо помогает повышать насмотренность и не впадать в ступор при вопросах на собеседовании/в работе. Из побочных эффектов – утомила всех рассуждениями про модели монетизации и рекламу 😁
На собеседованиях могут спросить следующее:
🟡 прикинуть дерево метрик для конкретного продукта (может быть тот продукт куда собеседуетесь или наоборот НЕ тот куда общаетесь и точно не тот, где работаете). Здесь можно заранее подготовить продукт, которым пользуетесь каждый день и примерно разложить дерево метрик.
🟡 описать, на каком этапе развития находится продукт, какие ключевые метрики и вызовы перед ним могут стоять.
🟡 упала метрика, что делать
🟡 запускаем новую фичу, как оценить эффективность внедрения. Это может быть кейс на A/B, но необязательно
Это далеко не все возможные примеры вопросов, но чтобы разобрать детальнее нужен отдельный пост. Ставьте реакции 🔥, в следующий раз могу написать, какие типы вопросов бывают, как к ним готовиться и отвечать 💪
#analytics #собес_PA
Чтобы улучшить продуктовое мышление нужно
Давайте сразу договоримся о терминологии, что в рамках этого поста продукт – это решение задачи определённого сегмента потребителей в конкретном контексте (определение честно взяла отсюда). Примеры продуктов – маркетплейс, музыкальный стриминг, сервис такси, даже телеграм-канал можно воспринимать как продукт.
А еще здесь могли быть ваши шутки про продукты в пятерочке
Зачем мыслить как продукт?
Для продуктового аналитика одним из ключевых скиллов является "продуктовое мышление", наравне с остальными хард скиллами: SQL, A/B тесты, дашборды и так далее, потому что аналитик полноценный партнер бизнесу, а не выгружатель данных по запросу.
Поскольку это требуется в работе, то и на собеседованиях очень часто спрашивают на продуктовой/бизнесовой секции.
Я сама раньше писала, что невозможно прокачать продуктовое мышление кроме как непосредственно на работе продуктовым аналитиком. Сейчас согласна с этим частично, потому что так развивается лучше всего, но все-таки можно подготовиться и не будучи продуктовым аналитиком. Хотя конечно это чуть сложнее, чем учить SQL и питон, и даже статистику, но возможно.
Как мыслить как продукт?
Когда я сама переходила в продуктовую аналитику, мне помогло разгонять знакомые мне продукты с точки зрения воронки AARRR, ключевых метрик и моделей монетизации. Глобально идея понять как продукт привлекает пользователей и зарабатывает, какая у него может быть North Start Metric. Можно валидировать свои ответы с помощью нейросети, конечно нейросеть может обмануть, но тут важно скорее мыслить в правильном направлении, детали важны меньше.
Такое упражнение очень хорошо помогает повышать насмотренность и не впадать в ступор при вопросах на собеседовании/в работе. Из побочных эффектов – утомила всех рассуждениями про модели монетизации и рекламу 😁
На собеседованиях могут спросить следующее:
Это далеко не все возможные примеры вопросов, но чтобы разобрать детальнее нужен отдельный пост. Ставьте реакции 🔥, в следующий раз могу написать, какие типы вопросов бывают, как к ним готовиться и отвечать 💪
#analytics #собес_PA
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥35❤10✍5😁1