Давно замечаю, что подавляющее большинство менеджеров (продакты, маркетологи, growth-менеджеры) ограничиваются, в основном, одним статистическим методом — хи-квадратом (Chi-squared test) — что уже неплохо, но это только верхушка айсберга. Методов гораздо больше, и каждый из них может закрывать свои задачи.

Я долго искал, что могло бы стать готовым помощником для менеджеров, но ничего, что отвечало бы всем требованиям, так и не нашёл.

Поэтому собрал свой справочник с методами частотной аналитики (без учёта Байеса, о нём напишу отдельно). В справочнике две вкладки: первая включает популярные и часто используемые методы, вторая — те, что не так распространены, но могут быть полезны в работе.

Для каждого метода добавил основные параметры, которые помогут выбрать подходящий инструмент для вашей задачи.

Содержание:

1. Название метода
2. Когда использовать
3. Пример решаемой задачи
4. Число пользователей в выборке
5. Тип данных
6. Сколько групп сравнивает
7. Предположения о данных
8. Выходные параметры
9. Нюансы использования
10. Инструменты (Excel, Python, R)
11. Ссылка на онлайн-калькулятор

Старался сделать всё максимально просто: без формул, сложных терминов и заумных объяснений. Главное — чтобы было интуитивно понятно, какой метод выбрать и для какой задачи.

Справочник статистических методов для менеджеров продукта и маркетологов

Пользуйтесь, друзья

Коридор, логотип, а там, чуть дальше, пройдя вдоль переговорок и налево, в гуще столов, растений и крайне талантливых людей — моё рабочее место.

Я проходил тут много-много раз, кажется, что и с закрытыми глазами найду путь в переплетённых коридорах Авроры.

Сегодня я прошёл этим маршрутом в последний раз — сегодня мой последний рабочий день в Геосервисах Яндекса.

Уходить всегда грустно.. Это было увлекательное путешествие длиной почти в 5 лет, от growth-менеджера до Head of Growth. И главное, мне посчастливилось пройти этот путь с невероятной командой, лучшей, что я встречал.

Но, пора и мне идти дальше.
ГЕО в ❤️

P.S.
Из Яндекса не ухожу, скоро вернусь с подробностями.

Ну что ж, год заканчивается, финишная прямая — самое время напомнить о самом, на мой взгляд, полезном из мною написанного в 2024 году, возможно вы что-то да пропустили.

Публикации:

• Справочник статистических методов — собрал свой справочник с методами частотной аналитики для продактов, маркетологов. Без формул, сложных терминов и заумных объяснений. Главное — чтобы было интуитивно понятно, какой метод выбрать и для какой задачи.
• Рост продуктов с помощью метода VelocityBoost — объёмная статья, в которой я детально описываю, как создать «конвейер экспериментов» в it-компании.

Посты:

• SRM (Sample Ratio Mismatch) — узнаете, как не допустить частой ошибки при проведении а/б-тестов.
• Как сделать ежедневное чтение привычной — мой опыт чтения ~ 800 часов в год.
• Технический софт-лонч — о важной составляющей вывода продукта на новый рынок.
• Менеджерская "зрелость" — моя интерпретация навыков, которые отражают это понятие.
• Метазадачи — что это и как использовать.
• Правила коммуникации — небольшой список правил, которых я придерживаюсь.
• Весы позиционирования — инструмент осознанной работы со знанием стейкхолдеров о проекте.
• О корпоративной культуре — личное мнение о корп. культуре и три книги для большего погружения в тему.

Книги:

• Growth-полка — а ещё в этом году у меня появилась полка на Яндекс Книгах, там я выкладываю книги, которые читал и могу рекомендовать (прикладная литература, помогающая развивать hard и soft skills). На полке уже 63 книги — заходите 😉 точно найдёте, что почитать на праздниках.

Хорошо вам отдохнуть, друзья — увидимся в следующем году.

Куда пропал? Чего не пишешь? Всё хорошо?

Переход на новую работу — процесс непростой, выбивающий из привычной колеи.

Широкая, с не всегда чёткими контурами зона ответственности; другой, более сложный продукт; новые люди и процессы, существующие много лет, вполне хорошо и без меня. Так что скучать не приходится — втягиваюсь )

А пока расскажу о внутреннем ощущении от первых месяцев, пока оно ещё свежее и чётко отпечаталось в образ.

Представьте: ваша задача — собрать огромный паззл из мелких деталей, разбросанных по комнате. Какие-то лежат на полу, а какие-то хранятся у людей вам не знакомых. Собирать его придётся в кромешной темноте, а сама картина — необычная, н-нет — Кандинский, не меньше. Ваши коллеги уже знают, как она выглядит, и уже строят новую её часть. Вам же нужно одновременно восстановить базовую картину и достраивать новую вместе с ними.

Думаю, такое ощущение возникает плюс-минус у всех, кто меняет работу.

А пока ваши глаза не привыкнут к "темноте" и не начнут видеть не хуже других в "комнате", вам просто не обойтись без хорошего "фонарика". А именно людей, которые живут в этой комнате давно. Тех, кто поможет, подскажет и подсветит то, что в первые месяцы по слепоте своей не разглядеть.

С людьми, к слову, мне в этой огромной "комнате" крайне повезло.

А у вас-то как дела? Как начало года?

5 лет в Яндексе, или все 10, как говорила HR, которая меня нанимала: "Артём, у нас тут год за два" – тогда я отнёсся с юмором, а сейчас уже и не смешно ).

А всё началось с неожиданного звонка поздним вечером обыденного дня. На экране смартфона высветилось "Яндекс Драйв" — звонка я не ждал, ни от Яндекса, ни от Драйва.

Звонила HR Яндекса с предложением о какой-то "интересной" позиции в Геосервисах, которая должна меня заинтересовать. Подробностей было мало — ни ссылки на вакансию, ничего. Сошлись на том, что пообщаюсь с нанимающим менеджером на сл. день.
На тот момент меня всё устраивало в Лаборатории Касперского, и варианты не искал — но тут любопытство сыграло.

На следующий день состоялась встреча и её было достаточно, чтобы понять две вещи: интересность проекта и наличие "рабочей химии" (сходство видения рабочего процесса, ментальностей — явное понимание, что мы сработаемся) с руководителем.
А потом — бесконечные секции/задания. Ожидал, что в конце нужно будет пройти главного босса — Аркадия Воложа, но миновало😁.

Кстати, вакансию я увидел только когда вышел в Я.

Ну а что сейчас? Совсем забыл, что не рассказывал вам, чем я занимаюсь — нехорошо, исправляюсь!

Вот уже 5 месяцев как я в Яндекс Поиске и отвечаю за рост, собственно, Яндекс Поиска в РФ. Но Поиск — продукт огромный и встроенный в другие продукты Я (как Браузер, Яндекс с Алисой и т.д.), где мой фокус не требуется. Сейчас я сфокусирован на росте дефолтного Яндекс Поиска и метапоиска в РФ.

Ребята, а расскажите, как и какие AI-сервисы используете в работе?
Что уже получилось (оптимизировать/автоматизировать), что планируете внедрить? Интересен ваш опыт.

Двухнедельный отпуск, первый с момента моего перехода в Поиск, подошел к концу. И, нужно признать, отдыхать я совсем не умею.

Я проехал пол-Америки; А я был в Эфиопии: забрался на гору/ лежал на пляже/ сёрфил и т.д., Артём, а ты-то как провел отпуск?

Увы, но я так не отдохну — телом я не отдыхаю.

Я могу куда-то ехать, где-то быть, но только для семьи, для меня отдых начнется уже по приезду в Москву. В спокойствии.

Пишу — отдыхаю; думаю, читаю — отдыхаю. Как ни странно, но работая, я не устаю, мне не нужен саббатикал, время для переключения – тоже ни к чему (для этого мне достаточно листка бумаги и времени для саморефлексии), и пока выгорание физическое я не ощущал (может, еще впереди?!)

Вот так и живем. У вас как дела? Расскажите о своем отпуске, что для вас важно в этом деле? Ведь отпуск, как ни крути, важнейший пункт для роста продуктов (через людей).

2010 год. Малави. Вы — ответственный менеджер за внедрение инноваций в стране, и досталась вам непростая задача — изменить укоренившийся веками метод посадки сельскохозяйственных культур.

Для вас причина внедрения инновации очевидна: метод поможет как земледельцам, так и стране в целом в борьбе с голодом. Но простые крестьяне ваш энтузиазм не разделяют и отказываться от способа, переданного им предками, не спешат.

Вы решаете пойти проверенным, как швейцарские часы, путем и запускаете большую медийную кампанию: билборды завешали все доступные места, а с ТВ и радио лидеры мнений трубят без перебоя об эффективности нового метода земледелия. Огромные федеральные бюджеты слиты, результат — нулевой.

В поисках эффективного решения и при отсутствии бюджета вы меняете тактику и переходите к проведению эксперимента. 200 деревень вы разбиваете на четыре (гомогенные) группы, в каждой из которых используется своя стратегия внедрения инноваций:

1. Стратегия "Дробовик" — агенты изменений (купленные землевладельцы, которые использовали новый метод) распределяются в разных точках деревни, аналогия с выстрелом дробью.
2. "Серебряная пуля" — концентрируемся на одном ключевом "инфлюэнсере" — харизматичном лидере деревни, которому под силу вызвать и поддержать цепную реакцию новых изменений.
3. Стратегия "снежного кома" в одном социальном кластере — агенты изменений находились в близком кругу общения и жили неподалеку друг от друга.
4. Стратегия "снежного кома" для соседей — агенты находились поблизости (на одной улице, районе), но не входили в близкий круг общения.

Какой метод, по-вашему, мог бы сработать? Подумайте минутку перед тем, как узнать правильный ответ.

Кейс невыдуманный — действительно проводился такой эксперимент (занявший четыре года) группой ученых под руководством экономиста Лори Бимана.

Худшими методами оказались "серебряная пуля" и "дробовик" — их влияние было незначительным. Далее с эффективностью +50% (по сравнению с двумя проигравшими стратегиями) идет "снежный ком" на соседей. А победителем стал "снежный ком" в одном соц. кластере с эффективностью +300%.

Логика довольно проста: два земледельца из одного соц. кластера быстро "заражали" всю группу, причем неосознанно. Просто третий человек из этой социальной группы, видя, что двое (таких же, как он) используют новый метод, переходил на него. Четвертый земледелец, также видя рядом более двух "зараженных", тоже менял метод. И так накапливался снежный ком, стремительно проходя волной по всему поселку. Вложения были минимальны (достаточно всего двух агентов на деревню и пары долларов), а результат — неожиданно хорош.

Мы как семья. И мы не иерархическая организация: здесь каждый имеет право голоса.

В моём личном рейтинге компаний есть одна, на которую я равняюсь в работе с людьми и создании продуктов — это Pixar ранних лет, ещё до объединения с Disney.
Это была уникальная смесь: инновации, ранее не существовавшие в принципе, и команда талантов, собранных вместе, сумевших создать ту самую среду, где творчество и технологии работают в унисон.

Предлагаю вам взглянуть на компанию с разных сторон, прикоснуться к её внутренней кухне, вобрать знания и применить их в своей команде.

→ "Корпорация гениев: Как управлять командой творческих людей" Эд Кэтмелл

Пособие по созданию "правильной" корпоративной культуры от сооснователя и гения компьютерной анимации Эда Кэтмелла. Это книга, которую я перечитывал несколько раз, и та, которая (в отличие от множества прочитанных книг в электронном виде) в бумажном варианте лежит у меня на полке.

→ "PIXAR. Перезагрузка. Как вдохнуть в бизнес новую жизнь" Л. Леви

Я не осознавал, насколько мрачной была финансовая ситуация Pixar. У компании не было наличных денег, не было резервов, а в своем финансировании она зависела от прихоти человека, чье непостоянство стало легендарным (о Стиве Джобсе).

Иметь продукт, команду и творческую, особую культуру — недостаточно для выживания компании. В книге вам предстоит взглянуть на Pixar глазами нового финансового директора, пришедшего в компанию в её худшее время, и пройти вместе с ним череду трудностей и успехов..

→ "Умение предвидеть. Чему я научился за 15 лет на посту главы Walt Disney" Р. Айгер

Pixar сыграл большую роль в новой истории Disney: сначала как "партнер" по производству анимационных фильмов, а далее (после объединения) команда Pixar возродила студию Disney Animation, вдохнув в неё жизнь и ту самую свою знаменитую культуру. Роберт Айгер был инициатором объединения и подробно рассказывает о тонкостях этой сделки.

--

Маст-рид для менеджеров нынешних и будущих.
Уделите время, друзья

Друзья, у меня в команде (в Яндекс Поиске) открылась отличная возможность для старта - позиция Growth Marketing Manager (Junior).

Описание: https://hh.ru/vacancy/128145338

Ищу начинающего, но амбициозного специалиста, который хочет расти вместе с командой и напрямую влиять на ключевые метрики главного продукта Яндекса.

Это позиция младшего специалиста, поэтому не ожидаю от кандидата огромного опыта. Главное - проактивность, умение быстро учиться и базовый набор знаний необходимых для работы (указан в описании вакансии). Всему остальному научим в процессе.
Для подходящего кандидата - серьёзный рывок в карьере и опыте.

Буду рад рекомендациям.

UPD: набрали большое количество кандидатов - вакансию скрыли.
Но вероятен и новый набор - опубликую в канале, как появится вакансия.