А/В тесты на пальцах - введение

Давно не было постов, напрямую связанных с аналитикой, поэтому сейчас начну рассказ про одну из самых непростых и глобальных задач в аналитике - А/В тестирование

Представь, что ты аналитик и у тебя есть:
- мобильное приложение (т.е. продукт), которое ты исследуешь 📱
- нереально крутая гипотеза, как этот продукт-приложение можно улучшить 🔥

Давай на примере: у тебя есть онлайн-магазин, и тебе пришла гениальная идея как-то круто поменять дизайн страницы с продажей товара, так как это сильно бустанёт твои продажи -> приведёт к увеличению прибыли 🤑
Так, мы бы могли просто разработать новый дизайн и показывать его абсолютно всем пользователям. Но есть проблема: наши субъективное мнение не всегда совпадает с истинной реальностью, а значит может получиться так, что пользователям на самом деле вообще не нравится наш новый дизайн, и это приведёт к уменьшению продаж 😭 (кратко: тебе нравится, а пользователям это нахрен не нужно)
Когда бизнес большой, такие ошибки могут стоить очень дорого. Отсюда и появляется главный вопрос: а как нам понять, что наше изменение действительно скажется положительно? Или более глобально: действительно ли наша гипотеза работает?

- Так давайте спросим пользователей! Они же знают, понравится им или нет...
Но в этом решении тоже есть большие проблемы:
1) Не всем пользователям понравятся лишние опросы (кратко: пользователям нахрен не нужны твои опросы, они хотят кайфовать от приложения)
2) Пользователи знают, что их спрашивают, и от этого могут солгать.
3) Пользователи сами не знают, чего хотят. А если и знают, то могут сильно ошибаться (например, в детстве ты хотел стать космонавтом, но что-то поменялось и теперь ты не видишь себя в скафандре, но ведь в детстве ты не врал и действительно того хотел)

Теперь можешь подумать над тем, как бы ты решал эту задачу - так ты сильно прокачаешь себя в решении подобных бизнес-кейсов, а также лучше подготовишь себя к правильному ответу ☺️

- Так где же правильный ответ?
- Через 5-7 дней я допишу пост про то, как действительно решаются такие задачи с помощью так называемых "A/B тестов"

А сейчас можешь почитать в канале Сергея Романова (product-lead в Тинькофф) пост про то, как решаются такие задачи с точки зрения менеджмента. В том же канале можно узнать, как можно развивать лидерские качества, а также почитать про развитие продукта на реальных кейсах. И вот тогда ты будешь полностью готов узнать красивое аналитическое решение этой задачки 🔝

Отправляй пост друзьям и заходи в комменты: там я привёл пару примеров, как правильные A/B тесты помогают существенно улучшить продукт 📈

Введение в A/B тесты, часть 2

Для начала важно напомнить: если у нас есть продукт, то мы можем отслеживать его состояние по различным метрикам (например, количество пользователей продукта в день, средний чек в приложении и тд.) 📈

- Так как же нам корректно оценить, стоит ли нам менять дизайн нашей странички? 🥸
- Давай подумаем, как бы мы хотели решать эту задачу в идеальном случае. Для начала мы бы определили, за какой метрикой мы бы хотели наблюдать, чтобы заметить изменение в продукте. Например, в случае изменения дизайна сайта оплаты мы бы, вероятно, хотели увеличить метрику конверсии в покупку. В идеале мы бы хотели «клонировать» каждого пользователя и поместить его в две ситуации: в одном случае мы бы показывали ему старый дизайн, а в другом - новый. И тогда бы мы могли точно отследить, в каком из этих случаях при прочих равных условиях увеличивается конверсия в покупку.

Иными словами, мы бы хотели проверить наше изменение в двух совершенно одинаковых условиях, чтобы замерить эффект только от нашего изменения. Если условия будут различными, то мы не можем считать, что изменения в продукте были вызваны именно нашей новой фичей (возможно конверсия увеличилась не из-за нашего нового дизайна, а из-за новогодних праздников, которые выпали на период запуска нового дизайна ☃️)

Увы, но в нашем мире мы почти никогда не можем обеспечить абсолютно одинаковые условия для нашего теста, и вот тут вступает в дело та самая теория вероятностей и математическая статистика, которая поможет нам даже при наличии погрешностей оценить, насколько значительно наше изменение повлияло на целевую метрику 📚

Я не хотел углубляться в детали, но вкратце математически это можно описать так: после теста у нас получаются две выборки. В первой выборке находятся значения целевой метрики для первой группы пользователей со старым дизайном (эту группу назовём А), а во второй выборке - метрики пользователей с новым дизайном (назовём её группой В), при этом сами эти группы пользователей в идеале должны быть одинаковые по поведению и параметрам, чтобы обеспечить как можно более идентичные условия за исключением нашего исследуемого изменения. Затем мы делаем предположение, что две эти выборки на самом деле были получены из одного и того же распределения. Исходя из этого предположения мы рассчитываем, какая была вероятность получить именно такое различие в выборках. Если же получить такое изменение выборки было практически невозможно, то мы отклоняем наше предположение о том, что выборки были получени из одного распределения -> это буквально значит, что наше изменение действительно статистически значимо повлияло на целевую метрику (ааа сложнааа)

Итак, совсем кратко про A/B тест:
- определяем целевую метрику, по которой будем судить об изменениях в продукте 📏
- разделяем пользователей на равнозначные по параметрам и поведению группы (объёмы групп и длительность теста также можно корректно определить) 🙎‍♂️🙍‍♀️
- одной из групп показываем изменение, другим - не показываем. Замеряем целевую метрику 📊
- проверяем, что изменение метрики не было "случайностью" (тут под капотом скрывается теорвер и матстат) 🎰
- если изменение метрики нас устроило и оно является статистически значимым (т.е. не вызвано случайностью), то новое изменение можно катить абсолютно на всех пользователей 🥳

В посте ниже скину пример задачки на АБ тест, которую мне дали на собеседовании на аналитика (я её не решил 😢)

А вот и необычная задачка на АБ тест с собеседования, которую я однажды не решил и, следовательно, завалил собес 😢

У вас есть одинаковые с виду бочка с кока-колой и бочка с пепси (вы знаете, что в какой бочке находится) 🥤
Также у вас есть группа людей, которых можно использовать для испытания. Мы хотим понять, умеют ли люди отличать кока-колу от пепси на вкус. Как нам это сделать при помощи АБ теста?

Ответы можно писать в комментарии, а за самый правильный ответ подарим подписку тг-преимум на 3 месяца 🎁

Победителя определим 31-го декабря в 21:00 по Москве ☃️🎄☃️

В ответе необязательно глубоко погружаться в мат.статистику (про критерии и уровень значимости писать будет избыточно, но в целом никто не будет против). Можно, например, в общих словах описать алгоритм такого теста и указать, на основе какой метрики будем принимать решение 📊

Ребята из Changellenge выложили топовый пост про то, как начать путь аналитиком в Яндексе, где я поделился гениальным способом хакнуть систему выиграть желаемый курс в розыгрыше 😂

А вообще в их канале можно найти анонсы стажировок, кейс-чемпионатов и много другого образовательного контента. Настоятельно рекомендую подписаться тем, кто только начинает свой карьерный путь 📈

Новость первая:
ровно год назад я начал свой путь в ❤️ в качестве стажёра. Для меня это, вероятно, одно из самых больших событий в жизни, поэтому если ты давно задумываешься о стажировке, то сейчас самое время начать, а я помогу с рекомендацией 🥰

Новость вторая: тебе в помощь вместе с Яндекс.Практикумом подготовили небольшой подарочек :)
Сохраняй в закладочки и делись с друзьями моей подборкой полезных материалов по Data Science для начинающих на Хабре

Новость третья: в комментариях или мне в лс (@rafaeldks) прошу тебя написать, какие темы стоит подробнее раскрыть в следующих постах или на канале в целом 💛

Стажировки в Яндексе - это конечно ❤️, но я не могу не отметить, что есть много других классных мест, где можно начать карьеру.

И сейчас очень кстати будет упомянуть об открытом наборе на оплачиваемую стажировку в банке ВТБ по аналитике и по другим направлениям 📊

Чуть подробнее о главных преимуществах, которые я вижу:
- возможность на практике заниматься анализом больших данных, подготовкой дашбордов и отчётностей на Python, SQL и Power BI в интересующем тебя направлении
- сможешь получить ценный опыт участия в бизнес-процессах и их автоматизации
- наличие ДМС со стоматологией с первого месяца работы и другие корпоративные бенефиты (к слову, на первом курсе я мечтал работать хотя бы за ДМС)
- есть наставник, который поделится опытом и поддержит на протяжении стажировки (одна из топовых фичей, которая быстрее помогает влиться в команду)
- наличие гибридного формата, чтобы можно было совмещать стажировку с учёбой

В общем, выполняются все требования классной стажировки, так что погнали 💨 строить карьеру по ссылке 🤙

🔥 Weekend оффер в топовые команды аналитики Лавки и Еды 🍫🍔

На этой неделе появляется очень крутая возможность податься в аналитику Яндекса, а именно в команды фудтеха (Яндекс.Лавка и Яндекс.Еда) - за топовость команд я ручаюсь!

Буквально до завтра можно решить тестовое (базовый тервер+python), а в выходные - пройти секции и уже получить заветный оффер. А вот здесь мой коллега-лид из Лавки рассказал про секции и про то, как к ним готовиться.

Зарегистрироваться можно тут