Стратегия, культура, продукт | Лена Тупикова
2.8K subscribers
500 photos
26 videos
43 files
377 links
🚀 Канал о бизнесе, продуктах, командах и культуре: кейсы, прожарки, фреймворки и личные инсайты.
👩‍💼 Лена Тупикова: CPO, B2C/B2B международные продукты, ментор команд, бизнес-коуч, ex-Яндекс, CEO CPO.Agency. @elenakotina
Сайт: CPO.Agency
Download Telegram
Вы делаете хорошие вещи с точки зрения пользователей и бизнеса или нет?

Есть 2 простых фреймворка, с которых можно начать считать метрики вашего продукта:

1. AARRR.

Популяризировал этот подход Dave McClure ( у него есть книга: «Product Marketing for Pirates: AARRR!»).
Представьте ваш продукт в виде воронки: сверху которой вы наливаете трафик и каким-то образом , с какой-то эффективность его конвертируете в полезные вещи для вашего продукта.

Каждая метрика относится к одному этапу работы пользователя с вашим бизнесом:

- Привлечение (Acquisition) — доля клиентов (потенциальных), привлеченных через маркетинговые каналы, и обнаруживших заинтересованность в продукте (не сразу покинувших сайт).
- Активация (Activation) — доля клиентов, получивших положительный опыт использования продукта. Это когда вам удалось склонить пользователя к целевому действию.
- Удержание (Retention) — доля клиентов, повторно использующих продукт. На сколько эффективно вы этих людей удерживаете, как много клиентов из прошлого периода в текущем периоде совершили полезное действие. Обычно измеряют от месяца к месяцу.
- Доход (Revenue) — доля клиентов, которые платят за продукт. доходы на период, сколько вы заработаете с пользователя за период, чтобы понять, сколько можно тратить на продвижение.
- Рекомендация (Referral) — доля клиентов, которые рекомендуют продукт (делятся ссылкой, высылают приглашения).

2. HEART.

Этот фреймворк придумали в Google, испольлзуется в GMAIL. Отлично подходит для долгоиграющих продуктов.

- Happiness - это скорее качественная метрика. Это когда вы спрашиваете пользователя через несколько дней после работы с приложением или по завершению заказа: «на сколько вам понравилось использование сайта/приложения?»
- Engagement - как часто пользователь пользуется тем, что вы предлагаете?
- Adoption - усвоение, на сколько хорошо осваивается пользователями новый продукт или функционал. (сколько людей откатилось до старой версии? )
- Retention - хорошо ли мы удерживаем пользователя от периода к периоду?
- Task success - на сколько хорошо работают ключевые сценарии: качество поиска (средняя позиция клика). Каждый ключевой сценарий в продукте нужно измерять.

(Подробно можно почитать - «Measuring the User Experience on a Large Scale: User-Centered Metrics for Web Applications (Google)» - https://static.googleusercontent.com/media/research.google.com/ru//pubs/archive/36299.pdf)


А для определения «счастья пользователя» можно использовать Тест Шона Эллиса.

Шон Эллис руководит консалтинговой компанией 12in6, которая специализируется на помощи стартапам, находящимся в стадии переходного роста. В качестве проверочного условия для начала сотрудничества со стартапом он использовал опрос клиентов компании, ставивший целью определить наличие раннего привлечения, которое, в свою очередь, является хорошим показателем того, что стартап находится на верном пути.

В ходе опроса клиентам предлагалось ответить на несколько вопросов:

Как бы вы чувствовали себя, если бы не смогли больше пользоваться продуктом этой компании?
1. Очень расстроенным
2. Слегка расстроенным
3. Совсем не расстроенным (он не очень мне нужен)
4. Не знаю, я больше не пользуюсь этим продуктом


Если более 40% ваших клиентов говорят, что они будут «очень расстроены» отсутствием вашего продукта, то у вас есть большой шанс построить устойчивый и масштабируемый бизнес на этом безусловно нужном продукте.

Показатель 40% был выведен эмпирически по результатам анализа деятельности сотен стартапов.

Те из них, которые преодолевали показатель 40%, обычно могли устойчиво расширять свой бизнес; те, кому не удалось достичь потолка 40%, обычно еле сводили концы с концами.

Конечно описанные метрики не единственные, которые вы будете использовать, но это то, с чего вы можете начать, а дальше, определяя нужные показатели, стоит отталкиваться от ваших целей и задач.

#product #book
@projectsproducts
#AllTags

В свои посты я добавляю теги, чтобы вам было удобнее ориентироваться, и находить необходимую информацию.

А здесь пополяемый список моих тегов:

#project - всё про управление проектами.
#product - то, что нужно знать менеджеру и руководителю продукта.
#foundation - основы основ. Базовые вещи/понятия/определения, о которых хочется напомнить.
#book - посты с кратким содержанием книг, цитатами или рекомендациями полезной литературы.

#AllTags
@projectsproducts
Стратегия, культура, продукт | Лена Тупикова pinned «#AllTags В свои посты я добавляю теги, чтобы вам было удобнее ориентироваться, и находить необходимую информацию. А здесь пополяемый список моих тегов: #project - всё про управление проектами. #product - то, что нужно знать менеджеру и руководителю продукта.…»
Книга "The Productivity Project. Accomplishing More by Managing Your Time, Attention, and Energy" (Chris Bailey)

Книга о том, как повысить свою продуктивность, а точнее о том, как правильно управлять своим временем, вниманием и энергией.

Автор обращает наше внимание на то, что быть продуктивным - это не значит быть постоянно занятым, это означает, что вы достигаете ваших целей. (Кстати, обратите внимание и на то, как в офисе работают люди из вашей команды, совсем не обязательно, чтобы они сидели там с 9 утра до 11 вечера. Даже напротив, для того, чтобы хорошо работать, нужно хорошо отдыхать.)

Итак, 25 эффективных методов и стратегий для того, чтобы быть более продуктивным:

- У вас должна быть важная цель, ради которой вы будете жить и работать.

- ‎Не все задачи равны. Делите ваше время, внимание и энергию между наиболее критичными задачами и целями.

- Правило "трёх задач": каждый день ‎у вас должно быть 3 задачи, без решения которых вы не ляжете спать.

- ‎Все иногда прокрастинируют, и это нормально.

- "Познакомьтесь с собой из будущего." Это поможет понять, что ваше будущее зависит от вас, и от тех задач, которыми вы занимаетесь.

- ‎Работайте умнее.

- ‎Работайте меньше. Исследования показали, что люди, которые работают 35-40 часов, более продуктивны чем те, кто работает дольше.

- ‎Планируйте ваши основные три задачи на ваше наиболее продуктивное время. (BPT - bi­o­log­i­cal prime time).

- ‎Выясните, какое время у вас наиболее продуктивно. (Автор этой системы Sam Car­pen­ter, можно подробно почитать в его книге "Work the Sys­tem")

- ‎Делайте ваши обязательные дела в один день: поход по магазинам, уборка, стирка.

- ‎Старайтесь тратить больше времени на реальное решение задач, а не на переписку в почте или постоянные митинги.

- ‎Сократите количество не очень важных задач, даже если их быстро и легко сделать.

- ‎Если возможно, делигируйте второстепенные задачи.

- ‎Освободите голову для новых идей. Записывайте все задачи в todo листы или календарь, не занимайте этим голову, освободи те разум для генерации новых идей.

- ‎Представьте себе, как вы хотите жить в будущем. Распределите все свои задачи на 7 категорий: разум, тело, эмоции, карьера финансы, отношения, развлечения/отдых. Это поможет вам понять, над чем вы на самом деле работаете, а про что забыли.

- ‎Будте сосредоточенными.

- ‎Фокусируйтесь только на одной задаче.

- ‎Выключите уведомления из всех социальных сетей.

- ‎Давайте вашей голове иногда отдыхать.

- Отключайтесь от интернета, когда вам нужно сосредоточиться на важной задаче.

- ‎Медитируйте (начните с 5ми минут).

- ‎Ешьте максимально не обработанную пищу и лишь столько, сколько необходимо поесть. Не переедайте.

- ‎Сократите количество выпиваемого кофе и алкоголя. Пейте воду!

- ‎Занимайтесь спортом. Делайте зарядку.

- ‎Спите! Большинству людей необходимо спать от 7 до 9 часов в сутки. Не забывайте выключать ваш телефон за несколько часов до сна.

Немного цитат:
“It is dif­fi­cult to be­come more pro­duc­tive when you don’t first take stock of what you should ac­tu­ally be pro­duc­tive on.”

"Don’t short­change your sleep to squeeze a lit­tle more time out of each day. Every hour of sleep you lose trans­lates to two or more hours of lost pro­duc­tiv­ity."

"In­vest­ing in your hap­pi­ness and being kind to your­self can have a huge im­pact on your pro­duc­tiv­ity."

#book #AllTags

@projectsproducts
Книга "Доставляя счастье. От нуля до миллиарда. История создания выдающейся компании из первых рук" (Тони Шей).

У Тони Шея есть своя "наука о счастье", которая отлично работает как в бизнесе, так и в жизни, в книге рассказывается в том числе и об основных принципах его " науки".

Как пишет автор, Тони хорошо учился, но кроме учебы всегда занимался каким-нибудь бизнесом. Например, в 9 лет , он организовал у себя ферму для разведения и продажи дождевых червей, а в 1996 году организовал компанию LinkExchange, которую в последствии продал Microsoft за 265.000.000$.

Когда Тони открыл свою новую компанию Zappos он пришёл к выводу, что необходимо сплотить коллектив вокруг трёх элементов:
бренда, куль­туры и ка­нала про­дви­же­ния со­труд­ни­ков (“Brand, Cul­ture and Pipeline”), так как это может являтся долгосрочным конкурентным преимуществом. К тому моменту годовая валовая прибыль Zappos составляла уже $70mln.

К клю­че­вым цен­но­стям Zappos от­но­сятся по­сто­ян­ная го­тов­ность к пре­об­ра­зо­ва­ниям, стрем­ле­ние пер­со­нала к росту и обу­че­нию, непри­нуж­ден­ная ат­мо­сфера, кре­а­тив­ность, от­кры­тость для всего но­вого, ко­манд­ный дух, увле­чен­ность со­труд­ни­ков своим делом, ре­ши­тель­ность и скром­ность.

Для всех сотрудников в компании есть возможность карьерного роста, либо повышение зарплаты за прохождение курсов обучения.

Несколько цитат:
"Мы в Zappos верим, что если у вас пра­виль­ная кор­по­ра­тив­ная куль­тура, боль­шин­ство про­чих вещей – таких как об­слу­жи­ва­ние кли­ен­тов, или стро­и­тель­ство бренда в дол­го­сроч­ной пер­спек­тиве, или увле­чен­ные делом ра­бот­ники и счаст­ли­вые по­тре­би­тели – по­явится есте­ствен­ным об­ра­зом, само по себе”.

“Я со­ста­вил спи­сок счаст­ли­вей­ших мо­мен­тов жизни и понял, что ни один из них не был свя­зан с день­гами”.

“На­дежда – не самый луч­ший бизнес-план.”

“Ни­ко­гда не при­ни­майте «статус-кво» и не ми­ри­тесь с ним, по­тому что в слож­ные си­ту­а­ции по­па­дают именно те ком­па­нии, ко­то­рые не могут быстро ре­а­ги­ро­вать на из­ме­не­ния и при­спо­саб­ли­ваться к ним”.

“Судьбу че­ло­века за­дает ха­рак­тер. Судьбу ор­га­ни­за­ции – кор­по­ра­тив­ная куль­тура”.


#book
@projectsproducts
​​Скорее-скорее!
Многие меня спрашивают про Школу Менеджеров Яндекса!

Несколько дней назад был открыт набор и уже можно подать предварительную заявку:
https://goo.gl/iKF5kv

#project #product
@projectsproducts
​​Книга "The Mom Test: How to talk to customers & learn if your business is a good idea when everyone is lying to you" (Роб Фитцпатрик)

Книга будет вам полезна,если вы интересуетесь темой CustDev или хотите узнать, как правильно общаться с партнёрами или инвесторами.

Одна из ключевых идей говорит о том, что нужно уметь слушать и правильно задавать вопросы, иначе у вас может сложиться ложная картина.

1. При проведении CustDev не начинайте с рассказа о своей задумке, сначала спросите людей о том, какие у них есть потребности, как они сейчас решают свои проблемы, и узнайте, будут ли они готовы попробовать альтернативные решения.

2. Не верьте лести! Если вас засыпают комплиментами, то постарайтесь капнуть глубже, узнать истинные мотивы.

3. ‎Говорить должны не вы, а клиент.

4. ‎ Непред­ска­зу­е­мые от­веты часто ока­зы­ва­ются очень по­лезны.

5. Вместе со своей командой сформулируйте 3 главные вещи, которые нужно узнать при проведении интервью.

6. Луч­шие ре­зуль­таты обычно дает непри­нуж­ден­ное об­ще­ние в неофи­ци­аль­ной об­ста­новке.

7. ‎Вы можете найти людей для интервью где угодно. Возможно вы услышите какой-то разговор в кафе и к нему присоединитесь, или будете читать лекции, и там найдёте благодарных слушателей. Или сделаете какое-то неофициальное событие, где сможете узнать новых людей.

8. ‎Не стремитесь провести 100 встреч, иногда достаточно 5-7 интервью.

9. ‎ Для на­чала вы­бе­рите ши­ро­кий целевой сег­мент для своего бизнеса, а потом от­се­кайте лиш­ние под­ка­те­го­рии, пока не опре­де­лите соб­ствен­ную ауди­то­рию.

10. ‎Проводите встречи или один на один или вдвоем. Все тщательно записывайте, делитесь информацией со своей командой. После каждой встречи обсуждайте, что удалось из неё узнать и что можно улучшить.

11. ‎Вза­и­мо­дей­ствие с кли­ен­тами с целью по­лу­че­ния ин­фор­ма­ции – это важ­ней­ший ас­пект пред­при­ни­ма­тель­ской де­я­тель­но­сти, и никто не ста­нет де­лать это за вас. Не отдавайте полностью это на откуп аналитиков.

Немного цитат:

“Эта книга – набор про­стых пра­вил, по­мо­га­ю­щих пра­вильно за­да­вать нуж­ные во­просы. Так, что даже ваша ма­тушка, от­ве­чая на них, не смо­жет по­кри­вить душой”.

“Если вы не мо­жете вы­явить по­вто­ря­ю­щи­еся про­блемы и цели, зна­чит, вы не в со­сто­я­нии четко опре­де­лить свой по­тре­би­тель­ский сег­мент”.

"Ком­пли­мент – де­шевка: бле­стит, от­вле­кает от глав­ного и ни­чего не стоит”.

“Стре­мясь по­го­во­рить только с са­мыми стар­шими и вы­со­ко­по­став­лен­ными людьми, вы со­вер­шите ошибку. Нужно раз­го­ва­ри­вать с теми, кто может пред­став­лять собой од­ного из ваших по­тен­ци­аль­ных кли­ен­тов”.


#book
@projectsproducts
​​Чем занимается Product Manager?

Ниже список основных этапов работы продуктолога.
По части из них вы можете найти более подробную информацию на моем канале, ссылки ниже в скобочках. Об остальных этапах буду писать в ближайших постах.

- Приоритезирует идеи. (https://t.iss.one/projectsproducts/32 : Lean Canvas, https://t.iss.one/projectsproducts/38 : «когда говорить «нет» идеям?»)

- Понимает, какие есть проблемы у пользователей.

- Проверяет гипотезы. (https://t.iss.one/projectsproducts/27 : предварительный анализ, качественный и количественный анализ, https://t.iss.one/projectsproducts/48 : подробнее про CustDev, https://t.iss.one/projectsproducts/59 : книга "The Mom Test» о том же.)

- Пишет бриф, рисует роадмап.

- Разрабатывает дизайн.

- Участвует в разработке. (Можно для скорости за основу брать метод описанный в книге «Спринт»: https://t.iss.one/projectsproducts/37 )

- И опять проверяет гипотезы.

- Запускает продукт.

- Смотрит, анализирует, изучает. (https://t.iss.one/projectsproducts/52 : про базовые метрики)

- И снова по кругу….

#product
@projectsproducts
Опубликовала статью на VC «Как прокачать менеджерские навыки или Куда пойти учиться менеджеру проекта?»

Написала там список книг, которые рекомендую к прочтению менеджерам.

Это всё классика:

1. Скотт Беркун. «Искусство управления IT-проектами».

2. Фредерик П.Брукс. «Мифический человеко-месяц».

3. Том Демарко. «Deadline. Роман об управлении проектами».

4. Дж. Ханк Рейнвотер. «Как пасти котов».

5. Эрик Рис. «Бизнес с нуля. Lean Startup».

6. Marty Cagan. «Inspired. How to create products customers love».

7. Alex Osterwalder. «Value proposition design».

8. Roman Pichler. «Agile Product Management with Scrum: Creating Products that Customers Love».

9. Alistair Croll, Benjamin Yoskovitz. «Lean Analytics. Use Data to Build a Better Startup Faster».

10. Ash Maurya. «Running Lean: Iterate from Plan A to a Plan That Works».

11. Jeff Sutherland. «Scrum: A revolutionary approach to building teams, beating deadlines and boosting productivity».

Вот и ссылка на статью:

https://vc.ru/32431-kak-prokachat-menedzherskie-navyki-ili-kuda-poyti-uchitsya-menedzheru-proekta

#project #product #book
@projectsproducts
А второй список в моей статье (ссылка в предыдущем посте), про то, где можно учиться на менеджера.

Здесь те курсы, которые или сама прослушала, или только с хорошими рекомендациями от знакомых.

Бесплатное online-обучение:
- https://netology.ru/programs/project-planning
- https://openedu.ru/course/hse/PRMN/
- https://universarium.org/course/628

Платные и серьезные online-курсы:
- https://www.edx.org/micromasters/ritx-project-management
- https://www.coursera.org/professional-certificate/applied-project-management
- https://skillbox.ru/sibirix/

Offline-обучение:
- Школа менеджеров Яндекса (бесплатно) https://academy.yandex.ru/events/management/shmya_msk-2017/
- https://pm.hse.ru/pk015_2013
- https://www.luxoft-training.ru/training/katalog_kursov/upravlenie_proektami_razrabotki_po/
- https://courses.skolkovo.ru/event/courses/all-courses/project-management/
- https://www.specialist.ru/track/t-mproject
- https://www.pmuniversity.ru/services/training-courses/project-management-methodology/

#project #product
@projectsproducts
Давайте знакомиться?

Уже не первый месяц я веду этот канал, и за это время получила от вас немало вопросов, которые помогают выбрать темы для следующих постов. Я всегда рада вашим сообщениям!

С некоторыми читателями я знакома лично, а другим ещё не успела представиться. Исправляюсь!

Давайте знакомиться!

Я Котина Елена, после замужества Тупикова.

Последние 7 лет работаю в Яндексе и занимаюсь мобильной рекламой, рекламой на Поиске, рекламой мобильных приложений, проведением экспериментов с рекламой ... Ну, вы поняли :)

До этого была менеджером продукта Я.Справочник, делала первый запуск Я.Аудиторий.

Ещё раньше была менеджером в стартапе в Нижнем Новгороде, организатором первых мероприятий MobileDevelopersDay и MobileFest, руководила городским порталом и запускала одну из первых в России систему геоконтекстной рекламы.

Моё хобби - это образование. У меня 4 высших образования. (Master of Science In International Project Management в RANEPA, Management in Innovation, Presidential Program Retraining в ВШЭ, Master of Computing Mathematics and Cybernetics в ННГУ им.Лобачевского и Mathematical methods in Economics в ННГУ). Никогда нельзя останавливаться и всегда нужно учиться новому.

У меня много задумок для публикаций, в ближайшие дни ждите новые посты :)

Не забывайте, что можете отправлять вопросы на почту [email protected]

@projectsproducts
​​На консультациях мне часто задают вопрос о том, как проходит день менеджера. Что я делаю утром, а что после обеда?

Сначала мне казалось, что это очень простой вопрос, всё очевидно, и не понимала, почему вообще людей это интересует. :) Но иногда ответ на это может для людей стать решающим даже при выборе профессии.

И, кстати, нельзя дать простой ответ, ведь расписание менеджера зависит от того, какие проекты у него в работе или на какой стадии сейчас находится его продукт.

Если работаете над развитием новой идеи, то вы много сидите за компьютером: изучаете конкурентов, смотрите на статистику, которую можете достать из открытых источников, или готовите опрос будущих клиентов.

Или наоборот, организуете миллион встреч, где с коллегами устраиваете брейнштормы, согласуете описание со стейкхолдерами, обсуждаете требования к кандидатам на CustDev.

А если продукт сейчас на стадии активной разработки, то менеджер решает все возникающие проблемы, отслеживает, что смежные отделы успевают подготовить для вас все данные, часто встречается с командой разработки, дорабатывает макеты с дизайнером, разбирает вопросы в Jira.

Продукт готов и вы выходите на рынок? Тогда впереди публичные анонсы, отслеживание реакции пользователей, проверка KPI, срочные доработки или починка багов, которые все равно всегда бывают (хоть один да появится), даже не смотря на то, что прошли все этапы тестирования на двух тестовых средах.
А параллельно в работе у вас уже подготовка следующего эпика..

Но что я делаю всегда утром -
составляют план на день. Проверяю расписание встреч, выбираю 3 самые важные задачи, выделяю в календаре время на их выполнение, проверяю почту и выпиваю чашку кофе. Это мои маячки, которые настраивают меня на продуктивный день.

В конце рабочего дня всегда подвожу для себя итог: что удалось сделать, что в приоритете на ближайшие дни, и навожу порядок на рабочем столе. Это означает, что можно переключиться и идти домой.

Но не буду скрывать, что меня за уши не оторвать от рабочей почты, когда еду домой, и перед сном тоже обязательно нужно прочитать пару писем.
Хотя считается, что это плохая привычка, и я полностью согласна с этим мнением, но от этого очень сложно избавиться.

И лишь спустя много лет работы, я сделала для себя открытие: во время рабочего дня нужно делать перерывы! Чай между встречами, медитация, и обязательный обед. Это не только помогает чувствовать себя более здоровым, довольным, но ещё и даёт возможность уложить в голове всю новую информацию и открывает путь новым идеям :)

Если вы готовы поделиться вашими секретами рабочего дня, пишите мне в личку или на почту, я опубликую их на канале.

Продуктивных рабочих дней!

#project #product
@projectsproducts
Нашла небольшой курс на тему Product Design от Udacity (Ролики выложены на youtube).

Темы:
- Business Idea,
- User Research,
- Product Validation,
- UX/UI Design,
- Design Sprint,
- Metrics.

Толково и последовательно рассказывают базовые вещи.
Английский язык с субтитрами.

https://www.youtube.com/watch?v=rsPuayaIZ9s&list=PLAwxTw4SYaPlTr1MmjkAZXVv8Su2CfY7D

#product
@projectsproducts
​​Почему мы так редко знаем цель своего проекта?

Ведь цель нужно не просто один раз где-то формально написать, но и знать/помнить/двигаться к ней в любое время рабочего дня.

Конечно, бывают и «открытые проекты», когда мы в целом не можем такую цель полностью сформулировать. Мне кажется, это вот прям проекты Илона Маска, когда при неизвестных технологиях, у нас есть только основные долгосрочные показатели, к которым мы стремимся, но совершенно неизвестно, когда мы до них дойдем.

По мнению многих экспертов, грамотное правильное целеполагание это 20-25% успеха проекта.
Для определения целей проекта хорошо работает известная концепция целеполагания
SMART.

SMART-цель проекта.

Specific - конкретная («что сделать?»),
Measurable - измеримая (есть ТЗ и/или конкретные KPI),
Achievable - достижимая (с учетом возможностей компании и сотрудников),
Relevant - значимая, актуальная («зачем?»),
Time bound - определена во времени («предоставить результаты к 1 марта», «запустить к 8 апреля»).

20-25% успеха проекта!

#project
@projectsproducts
Хотела сделать для вас запись лекции «Ошибки менеджера проектов. Екатерина Лебедева» в Школе Яндекса, но послушав решила ограничиться перечислением тех самых ошибок, которые были названы.

Итак, ошибкой менеджера будет:

- пытаться впихнуть в MVP «невпихуемое»;
- забыть об эксплуатации продукта во враждебной среде. (Продукт существует не в вакууме. Нужно помнить о рисках.);
- неправильно расставить приоритеты (Кому? Зачем? Почему так?);
- не собрать всю информацию (высокий процент неопределенности);
- не спросить себя: «Что будет, если этого не сделать?»;
- забыть про распределение ролей;
- развесить ответственность и обязательства на всех (Ответственен и виноват всегда менеджер).
- выстраивать процессы, когда инструменты и методы разные;
- заниматься сверхдетализацией;
- полагаться на авось и забыть про риски. «Откуда дует там и цель.»;
- бояться вернуться к истокам и начать сначала;
- думать на шаг вперёд (мы молодцы), но забыть о глобальной цели;
- забыть про аудит. (процессы мониторинга должны быть на проекте постоянно);
- забыть про технический долг;
- решить, что без документации норм;
- оценить слишком грубо эту задачу;
- забыть, что «Сделано» не равно «закрыто», «протестировано», «выполнено»;
- не понять, «кто» источники проекта;
- не понять, что заказчики бывают и внешние, и внутренние;
- уникальность vs типичность;
- плохо ставить задачи (задачи должны быть SMART)
(а про это мой пост выше - https://t.iss.one/projectsproducts/67 ).


Но если вы все-таки жаждите посмотреть видео, то вот ссылка - https://www.youtube.com/watch?v=OTEYMOVbIR8

#project #foundation
@projectsproducts
"It's called managing"

Сегодня снова Dilbert перед выходными.
Грубо, но некоторые действительно так себе представляют работу начальника/управленца/менеджера.

https://www.youtube.com/watch?v=dWAve253h-E

#project
@projectsproducts
Планирую сделать серию постов про аналитику и метрики.

Один пост на эту тему был: https://t.iss.one/projectsproducts/52 , там я писала про 2 фреймворка: AARRR от Dave McClure и HEART от менеджеров из Google.

Сегодня будет запись лекции: «Принятие решений на основе данных» (Елена Бубнова), Школа Менеджмента Яндекса.

Поехали!

Метрика - число, сонаправленное с характеристикой продукта.

Метрики будем рассматривать на примере жизненного цикла продукта «Ранжирование с учетом региональности».

Когда продукта еще нет:
- нужно найти целевую аудиторию,
- изучить конкурентов.

На примере продукта:
- Можем посмотреть, как сейчас пользователи работают с Поиском. Посмотрим % запросов, в которых нужна региональность. (например запросы «Где помыть машину?», но не запрос «вконтакте»).
- При анализе конкурентов смотрим не только, например, на Google, но и на Я.Карты, чтобы понять зачем туда люди идут искать, и как они это делают.

Вот мы изучили аудиторию и рынок, и сделали какую-то первую версию продукта.

Но при этом нужно не забывать о доходности продукта (зарабатываете вы или есть инвесторы, особенно если вы работаете над небольшим продуктом, или работаете в стартапа).

Поэтому важно считать бизнес-метрики:
- доля рынка,
- монетизация,
- расходы.
Конкретные метрики описаны хорошо в интернете. :)

KPI (key performance indicator) - главная целевая метрика продукта, которая отражает главное свойство продукта на текущий момент времени. Она слабо подвержена (внутренним) накруткам и сезонности. За KPI вы постоянно следите.

На примере продукта:
мы хотим много и сразу, например:
- чтобы в ТОП-10 выдачи было как можно больше региональных ответов,
- чтобы пользователи больше кликали на эти документы,
- …..

Но когда вы делаете изменения в продукте, все эти метрики редко меняются все в положительную сторону, и с этим надо как-то жить.

Поэтому обычно вводят некий trade-off. Говорят, что «я хочу столько-то % качества, за столько-то % производительности» или «я хочу столько-то % региональных ответов, за столько-то % кликов».
В итоге получаются коэффициенты, на которые в итоге смотрят, как на одну метрику.

Для того, чтобы минимизировать влияние сезонности:

1. вы можете нормировать свой график (например, посещаемости) на какой-нибудь другой график (посещаемость другого сервиса).
2. Смотреть данные год-к-году или неделя-к-недели.

Как придумать KPI?

Чтобы ответить на этот вопрос, давайте обратимся к продуктовым метрикам.

Продуктовые метрики - это метрики, которые помогают нам понять, как изменения, которые мы производим вообще влияют на пользователя.

Есть, например, фреймворки AARRR и HEART с продуктовыми метриками, которые как раз могут помочь нам придумать KPI.

Рассмотрим как это может рабоать на примере HEART (Happiness, Engagement, Adopt, Retention, Task Success):

- Вы берете какие-то аспекты,
- решаете, какие из них наиболее важные, ставите цель: «вы хотите их улучшить» (в нашем продукте: мы хотим улучшить качество поиска. )
- смотрите, какие сигналы вам говорят о том, что сейчас плохо,
- по этим сигналам выделяете главную Метрику.

И вот например, вы решили улучшать качество Поиска. Дали задачу разработчику, пилить новое ранжирование. Через месяц он приходит и говорит, что сделал классную формулу, которую нужно срочно выкатывать. В этот момент нужно остановиться и не торопиться.

Сначала нужно произвести приемку. Приемка признана ответить на вопрос: действительно ли это стоит катить в продакшен или нет.

Про это в следующем посте.

А пока ссылка на видео - https://goo.gl/K1m7tL

#project #product
@projectsproducts
​​Часть 2, продолжение записи лекции «Принятие решений на основе данных» (Елена Бубнова).

Бывает 2 типа приёмок:

1. Offline:
без реальных пользователей, сравниваем 2 системы (бету и продакшен), которые отличаются только одним аспектом.

- с помощью оценки side-by-side: когда даем человеку два результата выдачи или картинки интерфейса и спрашиваем «какая тебе больше нравится?»
- абсолютная оценка: есть инструкция (что хорошо, а что плохо).
- потом вы все данные собранные для продакшена и беты агрегируете в какую-то метрику. Например, для Поиска метрика - pFound (вероятность найти релевантный документ в выдаче по запросу)

2. Online. A/B-тестирование:

- Равные выборки достаточного размера;
- Целый «календарный» период;
- Фиксация ожиданай заранее;
- Статзначимость и p-value(вероятность ошибки при отклонении нулевой гипотезы) важны;
- Иерархия важна. Одни метрики важнее других. (Например, если общая кликабельность падает, а кликабельность по региональной выдаче растет, то скорее всего вы сделали что-то неправильно, и такое катить не надо)

В качестве online-метрик обычно выбирают статистику поведения пользователя (например, клики на выдачу и бездействие).

Метрики нужно валидировать:

- проводить контроли (А-А тесты);
- проверить, что если вы делаете что-то плохо (контролируемые ухудшения), то метрика должна становится хуже (делать на маленький процент и быстро);
- контролируемые улучшения - должны увидеть, что метрика растет;
- сравнить с другими метриками.

Online и offline метрики должны коррелировать, и быть чувствительными.

У нас есть продукт, KPI растет, но еще нужен мониторинг.

Мониторинг - сканирует постоянно «здоровье» вашего продукта (На нашем примере: смотрим, как люди кликают на поисковую выдачу, если кликабельность резко упала, то скорее всего что-то не так).

Мониторинг должен быть:

- чувствительным, пусть лучше у него будет несколько ложных срабатываний, чем вы узнаете через 2 дня, что у вас что-то не работает и потеряете аудиторию и/или деньги;
- работать в реальном времени;
- рассылать нотификации: смс/почту.

А для того, чтобы уследить за всеми метриками, нужен Дашборд.

На дашборды выводят:
- ключевые показатели эффективности, в срезах (по платформам, браузерам, регионам);
- информационные метрики, которые позволяют детальнее понять, что происходит.

Не забывайте, что важно соблюдать баланс:

много метрик - сложно принять решение,
мало метрик - сложно принять решение.


В следующих постах будут еще лекции, ссылки на статьи, краткое содержание книги, и видео от гуру :)

#project #product
@projectsproducts
​​Продолжаем тему метрик и аналитики.

«A good metric changes the way you behave. This is by far the most important criterion for a metric: what will you do differently based on changes in the number? If you don't know, it's a bad metric.»