Как ускорять А/В-тестирование

В своих выступлениях я часто говорю, что А/В-тест - достаточно долгий инструмент для проверки гипотез. Но есть лайфхаки, как его можно ускорить:

1. Определите ключевые метрики: перед началом тестирования определите, какие метрики будут являться ключевыми для оценки результатов. Это поможет сократить объем тестирования и сфокусироваться на наиболее значимых метриках. Определите наиболее важные изменения: сфокусируйтесь на наиболее значимых изменениях, которые могут повлиять на ключевые метрики. Это поможет сократить время на разработку и тестирование.

2. Уменьшите размер выборки: уменьшение размера выборки поможет ускорить А/B-тестирование, но необходимо убедиться, что результаты остаются статистически значимыми.

3. Используйте CUPED - это метод, который позволяет уменьшить влияние искажений на результаты исследования, связанных с различными факторами, которые могут повлиять на конечный результат. Он основан на использовании контрольной группы, которая исключена из эксперимента, но используется для сравнения с тестовой группой и оценки эффекта воздействия на тестовой группе. Кроме того, метод CUPED использует методы разности в различных периодах времени для более точной оценки эффекта воздействия.

4. Используйте стратификацию - это метод, который используется для улучшения точности результатов, путем разделения выборки на группы (страты), имеющие общие характеристики. Каждая страта может быть подвергнута отдельному анализу, и в конечном итоге результаты могут быть обобщены для всей выборки. Этот метод позволяет более точно определить различия между группами и улучшить точность выводов на основе выборки.

5. Отсеките выбросы. Выброс - это экстремальные значение в данных, которые находятся далеко за пределами других наблюдений. Например, в приложении пользователи тратят в среднем от 8 до 12 долларов, и внезапно появляется пользователь, который заплатил 100 долларов. Выбросы в данных А/Б-тестов увеличивают дисперсию метрики и длительность теста, а также смещают оценку среднего. Это может привести, в итоге, к неверному решению о принятии проверяемой гипотезы

6. Используйте многоразовые шаблоны: создание многоразовых шаблонов для элементов дизайна и контента сайта или приложения может значительно сократить время на разработку и внедрение изменений.

7. Используйте предварительное тестирование: проведите предварительное тестирование, чтобы проверить, какие изменения наиболее эффективны, прежде чем начать полноценное A/B-тестирование

Ликбез про Graceful degradation

- Graceful degradation - это подход к разработке веб-приложений, который предполагает, что если какая-то часть функциональности приложения не работает или не поддерживается в браузере пользователя, то приложение должно продолжать работать и отображаться, но с упрощенной или частичной функциональностью.

- В контексте веба graceful degradation — это способность сайта адаптироваться под браузер, который несовместим с различным функционалом, использованным на сайте. Помимо наиболее распространенных случаев, таких как отключенный JavaScript или отключенные изображения, это может быть, например, не поддерживаемое CSS-свойство. В результате сайт упрощается, но остается доступным.

- Цель подхода — обеспечить доступ к ресурсу для максимального числа пользователей. При этом часть из них сможет видеть весь контент и работать с полным функционалом, а часть с сокращённым контентом и базовыми функциями. В веб-разработке GD применяется в ответ на развитие браузеров: веб-сервисы создаются под новые версии, в то время как большее число людей пользуются старыми.

- Чтобы реализовать этот подход, необходимо провести анализ возможностей браузеров, которые используют пользователи, и определить, какие функции могут быть не поддержаны.
При этом, важно не забывать о том, что любая функция, которая не работает в полной мере, должна быть явно указана пользователю, чтобы он не пытался использовать недоступную функциональность и не был разочарован в работе приложения.

- Нужно хорошо знать и изучать алгоритмы graceful degradation логики, которые используются в фичах. Тут в Авито рассказали историю: после релиза новой фичи на платформе заметили аномалию — жители маленького дагестанского села за неделю внезапно создали 45 тысяч новых резюме. Чтобы выяснить, что пошло не так, пришлось устраивать целое расследование.

QA-инженер компании Алёна Луцик рассказал на vc.ru про этот опыт. Разбирать ошибки всегда полезно, в автотестах важно завязываться не только на факт создания данных, но и на их корректность, а graceful degradation логика также решает.

Все подробности — по ссылке.

Механики масштабирования Agile и Scrum

1. Создание нескольких команд: если объем работы слишком большой для одной команды, можно создать несколько небольших команд, каждая из которых будет отвечать за свою часть проекта. Каждая команда будет работать по методологии Scrum, а вся работа будет координироваться и согласовываться между командами.Каждая команда работает по методологии Scrum, а команды взаимодействуют друг с другом на регулярных встречах, называемых Scrum of Scrums. На этих встречах команды обсуждают свой прогресс, координируют работу и идентифицируют возможные проблемы.

2. Скрамбан: Scrum и Kanban можно объединить в одном методологическом подходе, который называется скрамбан. Этот подход позволяет справляться с более сложными проектами, где требуется гибридный подход. Scramban позволяет гибко управлять рабочим процессом, учитывая особенности каждой части проекта.

3. SAFe (Scaled Agile Framework): Это методологический подход, который разработан для масштабирования Agile на большие проекты. В рамках SAFe проект делится на несколько подпроектов, каждый из которых реализуется своей командой. Все команды работают в рамках общей стратегии и выстраивают связи друг с другом.

4. LeSS (Large-Scale Scrum): Этот подход разработан для масштабирования Scrum на большие проекты. В LeSS команда делится на несколько небольших, каждая из которых работает по методологии Scrum. Однако, в отличие от SAFe, в LeSS каждая команда является полноценной Scrum-командой, которая выполняет все этапы Scrum.

5. Еще одним подходом к масштабированию Agile и Scrum является использование методологии Nexus. Nexus представляет собой каркас, разработанный на основе Scrum, который позволяет объединить несколько Scrum-команд для работы над одним большим проектом. Nexus определяет роли, артефакты, правила и практики, которые позволяют командам работать вместе на более крупных и сложных проектах.

Как ChatGPT развивает продактов

1. Больше и быстрее читать
Сделать саммари любой статьи, вышедшей до 2022 года. Например, можно освоить всего Пола Грэма за вечер. Особенно полезно для проходных текстов, где смысла на абзац, а воды на 16 страниц.

2. Выбирать и сравнивать курсы
“Найди три лучших курса по пользовательскому поведению и сравни их, выведи достоинства и недостатки в таблице”. Дает толковые варианты.

3. Решать кейсы и повышать насмотренность
“Я готовлюсь к интервью на позицию продакта. Дай мне кейс, я решу, а ты проверишь”. Возможность, прокачиваться в разных областях и отраслях.

4. Обстукивать идеи
“Я хочу проверить гипотезу Х способом Y c целью Z. Скажи, какие слабые места ты видишь”. Очень неглупый собеседник с дельными вопросами.

5. Тестировать себя и находить зоны развития
“Я продакт-менеджер и развиваю продукт Х в отрасли Y. Протестируй меня, чтобы проверить мои знания и выяснить, где подтянуть их”. Взгляд со стороны на свои точки роста.

А еще с помощью ИИ можно создавать крутые тексты, яркие офферы, презентации, КП. Собирать лендинги и сайты без специальных навыков, готовить питчдеки, считать объем рынка и юнит-экономику; автоматизировать рутинные задачи. Вопрос лишь в том, как обучить ИИ под себя и быстро получать качественные ответы, а не воду.

Важные примеры SQL-запросов для пользовательской аналитики

1. Запрос на выборку данных о пользователях - запрос на выборку данных о пользователях может помочь в понимании характеристик аудитории, таких как пол, возраст, местоположение и т.д.

SELECT COUNT(DISTINCT user_id) as unique_users, gender, age, geo_location FROM user_profiles GROUP BY gender, age, geo_location;

2. Запрос на выборку данных о поведении пользователей - запрос на выборку данных о поведении пользователей может помочь в понимании, как пользователи взаимодействуют с продуктом.

SELECT behavior_type, COUNT(*) as total_events FROM user_behavior GROUP BY behavior_type;

3. Запрос на выборку данных о трафике - запрос на выборку данных о трафике может помочь в понимании, как пользователи приходят на сайт, какие каналы трафика наиболее эффективны и т.д.

SELECT channel, COUNT(DISTINCT user_id) as unique_users FROM user_traffic GROUP BY channel;

4. Запрос на выборку данных о конверсии - запрос на выборку данных о конверсии может помочь в оценке эффективности продукта и выявлении проблемных зон.

SELECT step_name, COUNT(*) as total_visits, SUM(CASE WHEN next_step_name IS NOT NULL THEN 1 ELSE 0 END) as total_conversions FROM user_funnel GROUP BY step_name;

Хотите научиться писать такие запросы за 1,5 месяца? Приходите на курс Яндекс Практикума. Там сможете перейти от неподъёмных отчётов в Excel к автоматизированной работе с метриками и исследованиями. Вместо сложных фильтров и долгих поисков — запрос, который выгрузит, обработает и проанализирует данные сам.

Доступ к материалам бессрочный — вы всегда сможете найти шаблон решения для сложной рабочей задачи.

Записывайтесь на занятия, чтобы тратить меньше времени на рутину - Записаться

Как DevOps может помочь продакт-менеджеру

- Более быстрое и безопасное внедрение изменений. DevOps позволяет автоматизировать процессы разработки, тестирования и выкатки продукта, что ускоряет его запуск и снижает риск возможных проблем.
- Мониторинг и анализ производительности продукта. DevOps позволяет в режиме реального времени отслеживать работу продукта и собирать аналитику о его использовании, что помогает продакт менеджеру принимать решения по улучшению продукта.
- Оптимизация процессов разработки. DevOps может помочь выявить узкие места в процессах разработки и эксплуатации продукта, что помогает оптимизировать их и снизить затраты на разработку.
- Улучшение коммуникации между командами. DevOps улучшает коммуникацию и сотрудничество между различными командами в рамках процесса разработки и эксплуатации продукта, что помогает повысить качество и скорость разработки.

Об этом можно также узнать в книгах и ресурсах:

1. В статье Применение DevOps-аутсорса на разных этапах жизненного цикла продукта от Станислава Тибекина, CVO компании Nixys.

Особенно рекомендую начать погружение с этой практической статьи, она будет полезна не только в плане привлечения аутсорсинга. Когда появляется потребность в DevOps-команде, перед бизнесом всегда встают конкретные вопросы: “А всё-таки, как решить мою проблему — нанять DevOps-специалиста в штат, использовать аутстафф или отдать проект на аутсорс? Есть ли четкие критерии для выбора? Что будет эффективнее?”

2. "The Phoenix Project" автора Г. Кима, К. Бехра и др.

Данная книга описывает историю компании, которая сталкивается с техническими проблемами, и как внедрение DevOps позволило ей изменить свой подход к управлению IT и достичь успеха.

3. "Continuous Delivery: Reliable Software Releases through Build, Test, and Deployment Automation" автора Д. Фарли и Д. Хамбле

Данная книга объясняет, как внедрение DevOps-практик и автоматизации процессов позволяет создавать и доставлять программное обеспечение непрерывно, быстро и надежно.

4. "Accelerate: The Science of Lean Software and DevOps: Building and Scaling High Performing Technology Organizations" авторов Н. Форсгрен, J. Humble и G. Kim

В этой книге авторы рассматривают научный подход к изучению DevOps и объясняют, как организации могут создать высокопроизводительные команды и процессы с помощью DevOps-практик.

Еще одна подборка ресурсов для улучшения английского языка

• Курсы от команды Across English - где учат делать ежедневную работу продакта на английском языке
• Muzli Inspiration by Invision – еженедельный дайджест с подборкой вдохновляющего дизайн-контента.
• The Hustle – письма по утрам с новостями бизнеса и технологий, которые могут пригодиться тебе именно сегодня.
•Nir and Far – рассылка о психологии потребительского поведения от автора книги «На крючке» Нира Эяля
• Канал Стэнфордской высшей школы бизнеса
• Канал Y Combinator
• Второй канал Y Combinator: The Vault с нестандартным контентом  о жизни стартапов, интервью с основателями, прямыми трансляциями и т.п.
• Канал Уэса Буша, автора книги «Product-Led Growth»
•This is Product Management - подкаст, в котором продакт-менеджеры из разных компаний делятся своим опытом и знаниями о продакт-менеджменте. В подкасте затрагиваются такие темы, как разработка продукта, управление командой, маркетинг и продажи.
•The Product Experience - подкаст от двух продакт-менеджеров, в котором они обсуждают темы, связанные с продакт-менеджментом, и делятся своими личными историями и опытом. В подкасте затрагиваются такие темы, как дизайн продукта, управление командой, маркетинг и многое другое.
•The All Turtles Podcast - подкаст от стартап-студии All Turtles, в котором обсуждаются технологии, дизайн продукта и инновации. В подкасте также говорят о том, как разрабатывать продукты, которые решают реальные проблемы людей.
•Build - подкаст от интернет-магазина Webflow, в котором говорится о том, как создавать продукты и бизнесы. В подкасте также обсуждаются технологии, дизайн, маркетинг и другие темы, связанные с продуктами.
•Product to Product - подкаст от компании Roadmunk, в котором продакт-менеджеры и другие эксперты делятся своим опытом

Основные методики для быстрого роста компании и трекинга

- HADI-циклы — методика проверки гипотез, которая состоит из 4 этапов: постановка гипотезы, действия по ее реализации, сбор данных о результатах работы гипотезы, выводы на их основе. Наглядно показывает, как действия команды влияют на результат — это позволяет быстро тестировать идеи и отказываться от нерабочих.
- Приоритизация гипотез — ранжирование гипотез по потенциалу увеличения прибыли и скорости проверки. Помогает определить, какие из них стоит проверять в первую очередь, и выстроить последовательность шагов для системного достижения цели .
- Daily meetings — ежедневные планерки команды, цель которых — понять, что сделал каждый сотрудник за прошлый рабочий день, какие сложности у него возникли, что он собирается сделать за текущий день. Помогает скорректировать ежедневную работу членов команды, узнать о проблемах, которые возникают в процессе, предложить варианты решения.
- Customer Development — методология изучения потребностей потенциальных клиентов с помощью глубинных интервью. Помогает выявить инсайты, благодаря использованию которых можно увеличить ценность продукта для клиентов, средний чек, а в результате и пожизненную ценность клиента (Lifetime Value — прим.)
- ABCDX-сегментация — инструмент максимизации прибыли, помогает выделить самый маржинальный клиентский сегмент.
- Работа с «пайплайном» — инструмент диагностики продаж: помогает выстроить процесс продаж, увидеть, что его тормозит, и сократить цикл сделки.
- Design Thinking - методика, которая использует процесс мышления дизайнера для создания инновационных решений. Она помогает сосредоточиться на пользователях и их потребностях, а также на поиске новых возможностей для улучшения продукта.
- Lean Startup - методика, разработанная Эриком Рисом, которая позволяет минимизировать риски и издержки при запуске стартапа. Основная идея заключается в том, чтобы быстро создавать и тестировать минимальные жизнеспособные продукты (MVP), а затем собирать обратную связь от пользователей и основываясь на ней улучшать продукт.

Про венчурную аналитику

Метрики, которые точно надо раскрыть в рамках фин-модели или текущего трекшна продукта:
1. Monthly Recurring Revenue (MRR) - это метрика, которая показывает ежемесячный доход продукта от подписок или других повторяющихся платежей.
2. Customer Acquisition Cost (CAC) - это метрика, которая показывает, сколько денег тратится на привлечение одного нового клиента.
3. Customer Lifetime Value (LTV) - это метрика, которая показывает, сколько денег один клиент приносит продукту за весь период его использования.
4. Churn rate - это метрика, которая показывает, как быстро пользователи покидают продукт.
5. Gross Margins - это метрика, которая показывает разницу между доходами и затратами на производство продукта.
6. Net Promoter Score (NPS) - это метрика, которая показывает, насколько вероятно, что пользователи будут рекомендовать продукт своим друзьям и коллегам.
7. Conversion rate - это метрика, которая показывает, сколько пользователей, зашедших на сайт продукта, совершили желаемое действие, например, сделали покупку.
8. Run rate - это метрика, которая показывает, сколько продукт зарабатывает в месяц или в год на текущий момент, и как быстро он растет.
9. Burn rate - это метрика, которая показывает, сколько денег продукт тратит каждый месяц или год, и сколько времени у него остается до исчерпания финансовых ресурсов.
10. Market size - это метрика, которая показывает, какой рынок адресует продукт, сколько там потенциальных пользователей, и каков его потенциал для роста

Про венчурную аналитику рекомендую почитать:
-“Венчурный капитал. Как заработать на стартапах" - авторы Брэд Фельд, Джейсон Мендельсон
-“Стартап. Начните свой бизнес на собственные условия" - автор Эрик Рис
-“Венчурная инвестиция в России. Как создать и продать стартап" - авторы Дмитрий Куреев, Виктор Пономарев, Юлия Соловьева
-“Основы венчурного инвестирования" - авторы Пол Драпер, Пола Као, Рэнди Коул
-“Венчурный бизнес: от идеи до IPO" - автор Джейсон МакКензи
-“Путь венчурного инвестора" - автор Питер Тил
-“Венчурные инвестиции. Принципы и практика" - автор Реймонд Курцвейль
- "Как создать стартап, привлечь венчурный капитал и обогнать конкурентов" - автор Джеймс Скрамко
-“Венчурный капитал и риск" - автор Джозеф Гайнс
- "Сделки с венчурным капиталом. Как выйти на новый уровень развития" - авторы Александр Горохов, Алексей Попов, Алексей Черняк

Примеры MVP жизнеспособных продуктов

1. Uber. В изначальной версии приложение могло только соединять клиентов с водителями. Эта его простота и привлекла клиентов. А когда MVP продукта доказало свою состоятельность, появились все остальные функции, вплоть до семейного профиля, планирования поездок и возможности разделения тарифа. У многих стартапов возникают идеи, что чем больше возможностей — тем лучше. Но если бы у Uber всё это было с самого начала, клиенты не стали бы во всём разбираться. А так — компания получила множество данных для анализа, поняла, в каком направлении стоит развивать приложение, и сейчас превратилась в бизнес стоимостью $53 млрд.

2. Yahoo! Минимальным продуктом здесь была простая страничка со списком ссылок на популярные сайты. Это был вполне достаточный функционал, чтобы удовлетворить пользователей на ранних этапах интернета. А когда сайт приобрёл трафик и популярность, началась его адаптация и развитие. Сегодня это вторая по успешности поисковая система в мире с доходом $5+ млрд в год.

3. Snapchat. Сервис начинался максимально просто: быстрая маленькая утилита, позволяющая обмениваться сообщениями, которые удалялись бы через 10 секунд после прочтения. Когда в 2011 году на iOS была выпущена первая версия, из «продвинутых» функций в ней была разве что загрузка изображений. Сейчас у продукта 230 млн пользователей каждый день, а компанию оценивают в $35 млрд.

4. Instagram - первый MVP Instagram был небольшим приложением для iPhone, которое позволяло пользователям делиться фотографиями и применять к ним фильтры. Это приложение было создано за несколько недель и было доступно только на iOS. Благодаря большому спросу на приложение и положительным отзывам пользователей, Instagram быстро расширил свой функционал и стал доступен на других платформах.

5. WhatsApp. В 2009 году Ян Кум и Брайан Эктон решили создать мобильную телефонную книгу, которая бы показывала статус контакта: доступен, занят, на совещании и так далее. Контакты пользователей этой книги получали соответствующие всплывающие уведомления. Однако вскоре они стали использовать статусы для общения. Тогда создатели выпустили новую версию WhatsApp с функцией отправки сообщений.

6. Amazon — один из самых успешных примеров минимально жизнеспособного
продукта. Джефф Безос основал маркетплейс в начале 1990-х, и первоначально это был онлайн-магазин с книгами. Для решения он выбрал MVP одной функции: сначала Безос провел мозговой штурм и составил список товаров, которые можно было бы продавать в интернете. Из 20 различных вариантов в финал вышли 5 продуктов: видеокассеты, книги, программное обеспечение, компьютеры и компакт-диски.

Чек-лист, как спроектировать платформу для экосистемы

1. Определите цель и ценности экосистемы. Необходимо понимать, какие цели хотите достичь и какую ценность предлагаете вашим пользователям.
2. Изучите потребности пользователей и рынка. Исследуйте рынок, понимайте потребности пользователей и анализируйте данные, чтобы создать платформу, которая наиболее эффективно удовлетворит потребности пользователей.
3. Разработайте стратегию взаимодействия между участниками экосистемы. Определите, какие участники будут использовать вашу платформу и как они будут взаимодействовать между собой.
4. Сформулируйте план продукта и определите функциональные требования. На основе стратегии и целей платформы необходимо разработать план продукта и определить необходимые функциональные требования.
5. Выберите технологические решения и архитектуру. Рассмотрите различные технологии, которые помогут реализовать платформу, и определите необходимую архитектуру.
6. Разработайте MVP (минимальный жизнеспособный продукт). Создайте минимальный жизнеспособный продукт, чтобы протестировать гипотезы и получить обратную связь от пользователей.
7. Проведите тестирование и оптимизацию. Проведите тестирование MVP, соберите обратную связь от пользователей и оптимизируйте продукт.
8. Запустите продукт и продолжайте его улучшать. После запуска продукта необходимо продолжать его улучшать, чтобы удовлетворять потребности пользователей и достигать целей экосистемы.
9. Разработайте стратегию масштабирования. Определите, как будет происходить масштабирование платформы и как вы будете решать проблемы, связанные с ростом экосистемы.

На какие метрики обратить внимание при внедрении игрофикации?

1. Коэффициент участия (Participation Rate) – показатель, отражающий, сколько пользователей активно участвуют в игровых элементах продукта или сервиса.
2. Коэффициент удержания (Retention Rate) – показатель, отражающий, сколько пользователей возвращаются в продукт или сервис после того, как они уже взаимодействовали с ним.
3. Коэффициент конверсии (Conversion Rate) – показатель, отражающий, сколько пользователей выполняют желаемые действия (например, покупают товар или регистрируются) благодаря игровым элементам.
4. Коэффициент задействования (Engagement Rate) – показатель, отражающий, насколько активно пользователи взаимодействуют с игровыми элементами продукта или сервиса.
5. Коэффициент реферралов (Referral Rate) – показатель, отражающий, сколько пользователей привлекли новых пользователей в продукт или сервис благодаря игровым элементам.
6. Время взаимодействия (Time Spent) – показатель, отражающий, сколько времени пользователи проводят взаимодействуя с игровыми элементами продукта или сервиса.
7. Количество достижений (Achievement Count) – показатель, отражающий, сколько достижений пользователи получили благодаря игровым элементам продукта или сервиса.

Как адаптировать продажника или бизнес-лидера к новому продукту?

Адаптация менеджера по продажам к работе с новым продуктом может быть вызовом, особенно если новый продукт значительно отличается от того, с чем менеджер работал раньше. Ниже приведены несколько советов, которые помогут вам адаптировать менеджера по продажам к работе с новым продуктом:

1. Обучение: обучите менеджера по продажам новому продукту. Проведите серию встреч и тренингов, чтобы познакомить его с особенностями продукта и помочь ему понять, как продукт отличается от тех, с которыми он раньше работал.

2. Обновление материалов продаж: обновите материалы продаж, чтобы они отражали новый продукт. Это могут быть брошюры, презентации, видео и т.д.

3. Создание сценариев продаж: создайте сценарии продаж, которые помогут менеджеру по продажам лучше понять, как продавать новый продукт. Сценарии продаж могут содержать информацию о том, как презентовать продукт, как рассказывать о его преимуществах и как отвечать на возражения клиентов.

4. Поддержка: обеспечьте менеджера по продажам поддержкой и ресурсами, необходимыми для продаж нового продукта. Это может включать в себя доступ к экспертам продукта, обучающим материалам и технической поддержке.

5. Поддержка существующей клиентской базы: если новый продукт предназначен для существующей клиентской базы, обеспечьте менеджера по продажам поддержкой и ресурсами, необходимыми для общения с этими клиентами. Это может включать в себя создание специальных кампаний, персонализированные предложения и т.д.

6. Отслеживание метрик: отслеживайте метрики продаж нового продукта и используйте их для улучшения процесса продаж. Это может включать в себя анализ того, как менеджер по продажам представляет продукт, какие сценарии продаж работают лучше всего и т.д.

Две альтернативы А/В-тестам

Квази-эксперимент
Мы подбираем псевдо контрольную группу, например другой регион, если мы какой то оффлайн ритейлер и проводим эксперимент на каком то магазине, мы можем подобрать магазин/магазины в других районах,  в качестве такой  псевдогруппы. Про то так это делать, можно поговорить отдельно, сейчас мы верхне-уровнево пройдемся, потом у нас будет подробное рассмотрение с кейсами. Примеры: это differences-in-differences, реализация этого подхода синтетический контроль, например causal impact придумали ребята из гугла.

Одним из примеров квази-эксперимента может быть сравнение результатов продаж в двух магазинах, один из которых был обновлен и получил новый дизайн, а другой оставлен без изменений. В этом случае, исследователь не контролирует все условия, такие как расположение магазинов, демографические данные покупателей и другие факторы, но старается минимизировать влияние этих факторов на результаты исследования.

Квази-эксперименты могут использоваться в тех случаях, когда невозможно провести полноценный эксперимент, например, из-за ограниченности бюджета или сложности контроля всех факторов. Однако, они могут быть менее точными и допускать большее количество ошибок по сравнению с полноценными экспериментами.

Искусственный контроль
Следующий подход, это когда у нас нет возможности подобрать псевдо контрольную группу в виде региона, либо другого магазина. Здесь мы по историческим данным обучаем модельку прогнозирования временных рядов и у нас получается, как бы, две вселенные: что было бы, если мы ничего не выкатывали? (то есть до момента воздействия обучаем модельку), что было по факту? И по сути разница между этими двумя вселенными это эффект.

Моделирование: используется для создания моделей на основе данных для прогнозирования поведения пользователей или других параметров. Например, модель прогнозирования вероятности конверсии, основанная на исторических данных.

Анализ данных: анализ большого количества данных, собранных от пользователей, может помочь выявить паттерны и тренды в поведении пользователей и определить, какие изменения в продукте могут привести к улучшению метрик.

Пять ошибок при финансовом моделировании

⁃ Непонимание назначения финмодели. Если нужен финансовый план на следующий год, обязательно закладывайте возможность создания нескольких сценариев и функцию сопоставления реальных и планируемых данных. Если работаете над привлечением новых инвестиций, не забудьте четко описать все вводные параметры и логику сценариев – она для инвесторов интереснее текущих цифр. Если же важно понять, как функционирует бизнес с финансовой точки зрения, подумайте, как сейчас устроена компания, какие отделы уже есть, чтобы финмодель отражала реальность. Если подход к учету денежных потоков и построению модели расходятся, нужно либо принять ограниченные финансовые данные и попробовать изменить модель, либо изменить методику финансового учета. В стартапах это не так болезненно, как в крупных компаниях.

⁃ Неадекватные вводные параметры. Все финансовые модели строятся на базе различных вводных параметров, таких как объем рынка, себестоимость продукта, его цена и др. Количество параметров зависит от того, насколько подробная нужна финмодель. И здесь нет универсального варианта – в каждом случае важно найти баланс между сложностью, удобством и пользой. Слишком лаконичная модель не даст детального понимания происходящего в проекте, в то время как исчерпывающая модель с большим количеством вводных сможет хорошо описать бизнес, однако ее регулярное обновление будет занимать много времени. 

⁃ Говоря о вводных параметрах, нельзя забывать об их динамичности.
Я часто вижу, как в попытке быстро сделать расчеты фаундеры пишут формулы с реальными текущими значениями, а не с переменными, например выручка = 10$ (цена) х 1000 (количество пользователей). Но если завтра цена изменится, придется вручную все обновлять.

⁃ Неучтенный оборотный капитал. Дальше нужно выяснить, как новая модель влияет на состояние банковского счета. Этот момент часто упускается – команды сосредоточены на развитии продукта и общении с пользователями, и могут даже не догадываться, что денег у них осталось всего на пару месяцев. В первую очередь нужно сделать прогноз трат на следующие 1-2 года, сопоставить его с текущим счетом и вычислить период времени до момента, когда у стартапа закончатся деньги.

⁃ Отсутствие структуры. Все инвесторы хотят видеть детальный план, как будет расти клиентская база от месяца к месяцу, как будут меняться расходы и доходы. И если еженедельное планирование сильно обременяет, то ежегодная репрезентация скрывает важные детали. Месяц – оптимальный отрезок. Существует много шуток на тему community adjusted EBITDA – индикатора, разработанного WeWork для измерения чистой прибыли. Инвесторам важно видеть все издержки, прибыль, выручку, динамику роста клиентов и команды, чтобы поддерживать этот рост.

Фича за 30 минут. В GPT-чате

На разработку плана внедрения функции — например, регистрации на сайте — у продакта уходит 8-10 часов, если делать вручную. С gpt-чатом — 30 минут.

1. Пишем User Story
«Приведи пользовательские истории для регистрации на сайте»

2. Выставляем критерии успеха (User Acceptance Criteria)
«Напиши для каждой истории UAC»

3. Строим график разработки
«Для каждой истории дай последовательность реализации. Напиши, какие задачи можно выполнять параллельно»

4. Расставляем приоритеты
«Определи приоритеты на основе ценности для бизнеса и простоты»

5. Составляем план тестирования
«Создай план тестирования для пользовательских историй»

6. Задаем трекшн
«Какие ключевые метрики нужно отслеживать для функции регистрации»

Чек-лист нужна ли вам экосистема

Когда вы размышляете о наилучшей модели для управления бизнесом, вам следует рассмотреть возможность создания бизнес-экосистемы, если:

- Вы сталкиваетесь с непредсказуемой, но очень податливой бизнес-средой, которая требует от вас сотрудничества с другими игроками, чтобы сформировать или перестроить отрасль.

- Отдельные компоненты решения могут быть легко и гибко объединены, но необходим определенный уровень координации для поиска партнеров, определения их ролей и согласования их деятельности.

- Вы сможете извлечь выгоду из открытости, быстрого масштабирования, а также гибкости и устойчивости, которые предлагает экосистема.

- Бизнес-экосистема является подходящей моделью управления для бизнеса в случаях, если высока потребность в координации действий между несколькими игроками или если продукт или услуга обладают высокой модульностью, то есть компоненты можно легко и гибко комбинировать и интегрировать при низких (транзакционных) затратах.

- Экосистемы решений создают или предоставляют товары или услуги, координируя различных участников рынка. Такая экосистема представляет собой основную компанию, которая управляет предложениями нескольких комплементарных компаний (которые создают дополняющие компоненты к основному продукту). Примерами таких экосистем являются: банковские карты, связывающие продавцов, потребителей и банки; решения для умного дома, объединяющие климатические, световые, развлекательные и охранные товары и услуги и 3D-печать, объединяющие поставщиков принтеров, исходников, программного обеспечения. Клиент, как правило, не является активным участником экосистемы решений, он оказывает влияние только через выбор основного продукта и комбинирование предложений от компаний-комплементоров.

- Экосистемы транзакций связывают независимых производителей товаров или услуг с клиентами через единую платформу. Например eBay соединяет независимых продавцов с покупателями. Uber позволяет пассажирам найти свободное такси. Upwork помогает компаниям искать внештатных сотрудников. Ценность такого типа экосистемы возрастает с количеством ее клиентов. Они даже могут стать производителями. Например, когда зрители на YouTube превращаются во влоггеров или арендаторы становятся арендодателями, выставляя свое жилье на Airbnb.

Как определить уровень менеджера продукта с помощью вопроса про метрики на собеседовании

Даем кейс. У нас есть классифайд, который умеет только публиковать карточки товаров и показывать телефоны продавцов. Чтобы увидеть номер, покупателю нужно кликнуть на кнопку «позвонить» — это называют контактом. Контакты — главная метрика компании, все команды должны её растить. 

Менеджера продукта просят добавить на карточки информацию о продавцах — так хотят пользователи и уже делают конкуренты. Он проводит качественные тесты и подбирает оптимальное техническое решение.

Задаем вопрос: как провести A/B-тест, чтобы убедиться, что информацию стоит добавить на карточки? Какая метрика должна измениться и каким образом, чтобы считать решение успешным?

Что отвечают чаще всего. «Компания растит контакты. Значит, чтобы считаться успешным, новое решение тоже должно растить контакты». Это неудачный ответ, и я скажу кандидату, что A/B-тест показал падение контактов — в реальности так бы и случилось. Понятно, что правильных ответов тут быть не может, но вот логика повествования должна быть точно правильная.

Что ждем от мидла. «Информация о продавцах сократит трудозатраты покупателей, потому что выбирать станет проще и быстрее. Покупатели будут обзванивать меньше продавцов. Так что решение можно считать успешным, если контакты упадут». 

Что ждем от сеньора. Тех же рассуждений, что и от мидла, а ещё идей, что делать дальше и как вести переговоры с менеджментом. Как аргументировать необходимость теста, в котором главная метрика компании будет падать? Как придумать новую метрику и нужно ли это? Обычно за час интервью не удаётся разобрать все вопросы, но кандидату важно показать, что он знает, откуда вообще берутся метрики в бизнесе.

Бизнес-инсайты от настольных игр

- Имаджинариум (Dixit)
Игра учит анализировать и оценивать вашу целевую аудиторию (других игроков), которой вы загадываете ассоциацию, чтобы понять ее культурный код и максимально точно учесть это в вашем месседже (ассоциации).
Простые ассоциации, которые отгадают все игроки, не приносят очков – это все равно, что в SEO или контекстной рекламе целиться в высокочастотный запрос – толку не будет из-за большой конкуренции и расфокуса. Слишком сложные ассоциации, которые отгадает только один-два человека, дадут мало очков – это SEO-аналог низкочастотника, по которому приходит один человек в год.
Высший пилотаж – придумать ассоциацию, которую отгадают почти все, кроме одного-двух игроков. Для этого надо понимать, как думают эти один-два человека, чтобы загаданная ассоциация не попала в их культурный или социальный код.

- Code Names
Основную пользу от игры я вижу в тренировке навыка подбора точного образа, объединяющего несколько других разнородных образов. Причем это объединение должно быть понятно другим людям и должно взывать у них те же ассоциации.
Какую-бы методологию я не использовал – JTBD, CustDev, CJM и т.д – суть одна: мне нужно вычленить что-то объединяющее для первой группы, при этом не связанное со второй. Именно этот навык и развивает Code Names.
В качестве дополнительного эффекта от игры вы опять же сделаете открытия относительно того, как мыслят другие люди. Удивительно, но мыслят они не так как я или вы.

- Uno
Готовит мозг к тому, что игровая ситуация, как и на рынке, меняется очень быстро и, имея в голове общую стратегию, нужно уметь мгновенно менять тактики и перестраивать свои действия.
Вот у тебя на руках последняя карта и победа рядом – и через секунду ты уже снова с полной охапкой карт. Вот игра движется по часовой стрелке, и через полсекунды она разворачивается в обратную сторону, а еще через полсекунды – снова идет по часовой стрелке. Ты только потянулся к карте, которую хочешь сбросить, но кто-то с другого конца стола скидывает свою и право хода уходит от тебя надолго. Залог успеха в Uno – умение пользоваться быстро появляющимися возможностями. Причем часто эти возможности нужно буквально перехватывать у других участников рынка…, ой игры )

- Чтобы расти в профессии, на определённом этапе уже недостаточно механической передачи знаний. Экспертные статьи, посты, ролики на YouTube — хорошо и полезно. Но гораздо эффективнее учиться на кейсах, с которыми специалист сталкивается в работе, и разбирать их с коллегами из разных компаний. Такую возможность дают бизнес-игры.

Как это работает? Вместе собираются продакты и проджекты и за несколько часов решают конкретную задачу, например вывести на рынок новый продукт, соревнуясь с другими командами. Нет риска потерять в процессе месяцы и миллионы, есть обратная связь от фасилитатора — это максимально безопасная и вместе с тем азартная среда, чтобы предлагать и тестировать идеи. С игры каждый уносит решение, которое можно сразу применять в работе.

У такого формата обучения несколько преимуществ:
⁃ Готового решения нет — к нему нужно прийти.
⁃ Это помогает лучше усваивать новое и мотивирует находить применение знаниям в ситуации, близкой к рабочей. Анализ бизнес-школы UC-Denver показал, что у участников бизнес-игр, фактические знания выше на 11%, а навыки — на 14%.
⁃ Работа над кейсами развивает насмотренность.

Про аджайл-дизайн организации

Изменение организационного дизайна включает изменение мышления:
- Структура: какие нужны организационные единицы: отделы, группы, команды? Как между этими единицами распределяется работа и ответственность?
- Процессы и интеграция: как эти единицы и роли связаны друг с другом и взаимодействуют?
- Люди: какие нужны навыки и умения команды и сотрудников?  

Примеры того, как изменения в дизайне могут способствовать развитию навыков:
- Для быстрой адаптации к потребностям клиента, попробуйте сформировать скоростной процесс поставки и получения обратной связи. Дайте принимать решения тем, кто напрямую работает с клиентами.
- Для того чтобы команды брали на себя ответственность за реализацию ценности для клиента, предусмотрите создание полностью автономных команд. Они должны состоять из сотрудников, чьих навыков будет достаточно для завершения работы независимо от остальных подразделений.

Порядок разработки:

⁃ Сначала нужно разработать дизайн организации так, чтобы свести к минимуму обратные взаимозависимости между единицами, создающими ценность. Например, если есть такие зависимости между Скрам-командами и отделом маркетинга, то маркетинговая функция—кандидат на включение в продуктовую группу.

⁃ Если объединить в одну группу функции и навыки, необходимые для создания ценности, координировать становится проще, пропускная способность увеличивается, а количество переделок уменьшается. Кроме того, так команда несет ответственность за полный элемент, а не только его часть. Команды получают автономность и могут сами управлять своей работой. Организация может теперь передавать команде не пакеты работ на выполнение, а информацию о проблемах клиента, которые команде нужно решить.

⁃ Аджайл-организации могут использовать те же возможности, и в них можно применять продуктовые группы, сформированные исходя из следующих факторов: цель или функционал в рамках организации. организационные элементы, необходимые для достижения цели или выполнения функционала, например: кросс-функциональные команды, общие функции, системы, роли, подотчетность и ответственность. старший руководитель, который возглавляет продуктовую группу. У него должно быть глубокое понимание продукта и процессов. ориентация на рынок и/или ответственность за прибыли и убытки и автономность в принятии решений по продукту.

⁃ Лучше стройте дизайн продуктовой группы снаружи внутрь. Как построить продуктовую группу по принципу снаружи внутрь:
1. Начните с того, какие проблемы клиента вам нужно решить.
2. Изучите, как вы в своей организации решаете такие проблемы клиента.
3. Определите, какие организационные элементы: единицы, процессы и люди вам потребуются, чтобы создать ценность для клиента.
4. Объедините их в продуктовую группу.

Недавно для развития своей экспертизы я получил сертификат PSM II и могу сказать, что это очень полезные знания для продактов и оунеров, кому нужно выстраивать методологии управления, структуры команд и процессов.

Канал для продактов и предпринимателей

Лично я давно слежу и вдохновляюсь работой Максима Спиридонова (один из первых людей в онлайн-образовании в России, Нетология-групп) Вот такие мысли подчеркну для своего канала:

⁃ Есть мнение, что в основе успеха большинства потребительских компаний — удовлетворение фундаментальных человеческих пороков. Тех самых «7 смертных грехов»: гордыня, жадность, гнев, зависть, обжорство, уныние и похоть. Возьмём Tinder. Он диджитализировал и геймифицировал знакомства. Но, по сути, помогает пользователям удовлетворить свою похоть. Или TikTok — для тех, кто смотрит, это избегание уныния. А те, кто показывают — прокачивают гордыню.

⁃ Один из выраженных потребительских трендов последних месяцев — возвращение фокуса внимания человека на себя. Несмотря на экономическую и геополитическую турбулентность. А может, даже и под их дополнительным воздействием. После долгих опасений за свою жизнь, здоровье и вынужденной приверженности групповым интересам в течение пандемии потребители (в невоюющих странах) стали уделять больше внимания интересам собственным. Вероятно, у молодых (типа пресловутого поколения Z), которые в целом настроены более индивидуалистки, это может быть выражено даже сильнее.

⁃ Один из инсайтов, пришедших мне в первые годы предпринимательства, был таким:
В мире очень много свободных денег. Их владельцы постоянно ищут способы вложиться, чтобы приумножить свои состояния. Эти деньги не у меня просто потому, что их обладатели мне не доверяют. Да и не знают о моём существовании.

⁃ Китайский производитель бытовой техники и электроники Haier разработал особую управленческую модель под названием RenDanHeYi. Перевести это можно примерно так: единение ценности сотрудника и создаваемой им пользовательской ценности. Haier — это инкубатор стартапов, которые сотрудничают друг с другом и руководствуются двумя основными принципами: «Нулевая дистанция с потребителем». Спрос и потребности клиентов на первом месте. Потребитель — единственный босс. «Каждый сотрудник — предприниматель». Процесс принятия решений в микропредприятиях максимально демократизирован. У них полная автономия в вопросах выработки стратегии, кадровых назначений и разделения прибыли.