Кто такой менеджер проектов и в чём он похож на аналитика?

Раньше я совсем не знал, кто такой менеджер проектов и чем он занимается, однако недавно я познакомился с Артёмом - менеджером проектов в Яндекс.Драйве 🚙 (сервис аренды авто), из беседы с которым узнал много нового про его деятельность и отметил несколько аналитических навыков, которые могут помочь менеджеру в решении задач

И вот уже завтра в 20:00 по Москве мы с Артёмом в прямом эфире на его канале обсудим следующие темы:

- кто такой менеджер проектов, какие менеджеры бывают и кому подходит это направление 👨‍💻
- как Артём проходил отбор и что ему помогло уже на 3-м курсе попасть на позицию менеджера в 😀
- какие аналитические навыки могут помочь менеджеру 📊
- как Артём собрал крупное сообщество людей, интересующихся менеджментом в IT 👩‍🎓

К слову, в чате его сообщества зачастую появляются вакансии и другие интересные предложения от айтишников, а также туда всегда можно скинуть свой запрос (если он по теме, разумеется)

Возможно именно ты захочешь стать менеджером, поэтому обязательно приходи на эфир 🔥

А/В тесты на пальцах - введение

Давно не было постов, напрямую связанных с аналитикой, поэтому сейчас начну рассказ про одну из самых непростых и глобальных задач в аналитике - А/В тестирование

Представь, что ты аналитик и у тебя есть:
- мобильное приложение (т.е. продукт), которое ты исследуешь 📱
- нереально крутая гипотеза, как этот продукт-приложение можно улучшить 🔥

Давай на примере: у тебя есть онлайн-магазин, и тебе пришла гениальная идея как-то круто поменять дизайн страницы с продажей товара, так как это сильно бустанёт твои продажи -> приведёт к увеличению прибыли 🤑
Так, мы бы могли просто разработать новый дизайн и показывать его абсолютно всем пользователям. Но есть проблема: наши субъективное мнение не всегда совпадает с истинной реальностью, а значит может получиться так, что пользователям на самом деле вообще не нравится наш новый дизайн, и это приведёт к уменьшению продаж 😭 (кратко: тебе нравится, а пользователям это нахрен не нужно)
Когда бизнес большой, такие ошибки могут стоить очень дорого. Отсюда и появляется главный вопрос: а как нам понять, что наше изменение действительно скажется положительно? Или более глобально: действительно ли наша гипотеза работает?

- Так давайте спросим пользователей! Они же знают, понравится им или нет...
Но в этом решении тоже есть большие проблемы:
1) Не всем пользователям понравятся лишние опросы (кратко: пользователям нахрен не нужны твои опросы, они хотят кайфовать от приложения)
2) Пользователи знают, что их спрашивают, и от этого могут солгать.
3) Пользователи сами не знают, чего хотят. А если и знают, то могут сильно ошибаться (например, в детстве ты хотел стать космонавтом, но что-то поменялось и теперь ты не видишь себя в скафандре, но ведь в детстве ты не врал и действительно того хотел)

Теперь можешь подумать над тем, как бы ты решал эту задачу - так ты сильно прокачаешь себя в решении подобных бизнес-кейсов, а также лучше подготовишь себя к правильному ответу ☺️

- Так где же правильный ответ?
- Через 5-7 дней я допишу пост про то, как действительно решаются такие задачи с помощью так называемых "A/B тестов"

А сейчас можешь почитать в канале Сергея Романова (product-lead в Тинькофф) пост про то, как решаются такие задачи с точки зрения менеджмента. В том же канале можно узнать, как можно развивать лидерские качества, а также почитать про развитие продукта на реальных кейсах. И вот тогда ты будешь полностью готов узнать красивое аналитическое решение этой задачки 🔝

Отправляй пост друзьям и заходи в комменты: там я привёл пару примеров, как правильные A/B тесты помогают существенно улучшить продукт 📈

Введение в A/B тесты, часть 2

Для начала важно напомнить: если у нас есть продукт, то мы можем отслеживать его состояние по различным метрикам (например, количество пользователей продукта в день, средний чек в приложении и тд.) 📈

- Так как же нам корректно оценить, стоит ли нам менять дизайн нашей странички? 🥸
- Давай подумаем, как бы мы хотели решать эту задачу в идеальном случае. Для начала мы бы определили, за какой метрикой мы бы хотели наблюдать, чтобы заметить изменение в продукте. Например, в случае изменения дизайна сайта оплаты мы бы, вероятно, хотели увеличить метрику конверсии в покупку. В идеале мы бы хотели «клонировать» каждого пользователя и поместить его в две ситуации: в одном случае мы бы показывали ему старый дизайн, а в другом - новый. И тогда бы мы могли точно отследить, в каком из этих случаях при прочих равных условиях увеличивается конверсия в покупку.

Иными словами, мы бы хотели проверить наше изменение в двух совершенно одинаковых условиях, чтобы замерить эффект только от нашего изменения. Если условия будут различными, то мы не можем считать, что изменения в продукте были вызваны именно нашей новой фичей (возможно конверсия увеличилась не из-за нашего нового дизайна, а из-за новогодних праздников, которые выпали на период запуска нового дизайна ☃️)

Увы, но в нашем мире мы почти никогда не можем обеспечить абсолютно одинаковые условия для нашего теста, и вот тут вступает в дело та самая теория вероятностей и математическая статистика, которая поможет нам даже при наличии погрешностей оценить, насколько значительно наше изменение повлияло на целевую метрику 📚

Я не хотел углубляться в детали, но вкратце математически это можно описать так: после теста у нас получаются две выборки. В первой выборке находятся значения целевой метрики для первой группы пользователей со старым дизайном (эту группу назовём А), а во второй выборке - метрики пользователей с новым дизайном (назовём её группой В), при этом сами эти группы пользователей в идеале должны быть одинаковые по поведению и параметрам, чтобы обеспечить как можно более идентичные условия за исключением нашего исследуемого изменения. Затем мы делаем предположение, что две эти выборки на самом деле были получены из одного и того же распределения. Исходя из этого предположения мы рассчитываем, какая была вероятность получить именно такое различие в выборках. Если же получить такое изменение выборки было практически невозможно, то мы отклоняем наше предположение о том, что выборки были получени из одного распределения -> это буквально значит, что наше изменение действительно статистически значимо повлияло на целевую метрику (ааа сложнааа)

Итак, совсем кратко про A/B тест:
- определяем целевую метрику, по которой будем судить об изменениях в продукте 📏
- разделяем пользователей на равнозначные по параметрам и поведению группы (объёмы групп и длительность теста также можно корректно определить) 🙎‍♂️🙍‍♀️
- одной из групп показываем изменение, другим - не показываем. Замеряем целевую метрику 📊
- проверяем, что изменение метрики не было "случайностью" (тут под капотом скрывается теорвер и матстат) 🎰
- если изменение метрики нас устроило и оно является статистически значимым (т.е. не вызвано случайностью), то новое изменение можно катить абсолютно на всех пользователей 🥳

В посте ниже скину пример задачки на АБ тест, которую мне дали на собеседовании на аналитика (я её не решил 😢)

А вот и необычная задачка на АБ тест с собеседования, которую я однажды не решил и, следовательно, завалил собес 😢

У вас есть одинаковые с виду бочка с кока-колой и бочка с пепси (вы знаете, что в какой бочке находится) 🥤
Также у вас есть группа людей, которых можно использовать для испытания. Мы хотим понять, умеют ли люди отличать кока-колу от пепси на вкус. Как нам это сделать при помощи АБ теста?

Ответы можно писать в комментарии, а за самый правильный ответ подарим подписку тг-преимум на 3 месяца 🎁

Победителя определим 31-го декабря в 21:00 по Москве ☃️🎄☃️

В ответе необязательно глубоко погружаться в мат.статистику (про критерии и уровень значимости писать будет избыточно, но в целом никто не будет против). Можно, например, в общих словах описать алгоритм такого теста и указать, на основе какой метрики будем принимать решение 📊

Ребята из Changellenge выложили топовый пост про то, как начать путь аналитиком в Яндексе, где я поделился гениальным способом хакнуть систему выиграть желаемый курс в розыгрыше 😂

А вообще в их канале можно найти анонсы стажировок, кейс-чемпионатов и много другого образовательного контента. Настоятельно рекомендую подписаться тем, кто только начинает свой карьерный путь 📈