Чтобы сравнивать, NPS сначала надо измерить: задать пользователям один простой вопрос и посчитать значение по примитивной формуле. Однако, на практике результат сильно зависит от огромного количества факторов: типа продукта или услуги, момента и контекста, самой формулировки вопроса и внешнего вида сообщения, наличия других вопросов в опроснике, культурных особенностей, времени суток, настроения, ожиданий, понимания происходящего, выборки, технических проблем и т.д. и т.п. Тысячи их. Большая часть из них не имеет отношения к опыту использования вашего продукта.
Например, сразу после покупки билетов я оценю цену и удобство сайта. За день до перелёта — свои ожидания от поездки. Сразу после перелёта — всё это вместе с перелётом, аэропортом, ранним подъёмом, тяжелой сумкой, слишком короткой стыковкой и т.п. Через неделю — удовлетворённость отпуском и что-нибудь ещё.
Если до вопроса о готовности рекомендовать продукт мне придётся заполнить анкету из пары десятков других вопросов, я наверняка отвечу не так, как если бы вопрос был один. Особенно, если в процессе вспомню все проблемы и косяки этого продукта.
Предположим, что для сравнения продукта с самим собой мы жёстко зафиксируем все подконтрольные нам факторы:
— выберем правильный момент так, чтобы отвечали именно те, кто реально воспользовался продуктом;
— чётко сформулируем вопрос, чтобы было понятно о чём речь;
— договоримся, что в сообщении будет только он, чтобы другие вопросы не влияли на ответ;
— договоримся о неизменности внешнего вида сообщения, одном и том же канале доставки и пр.;
— продумаем подход к выборке пользователей или решимся на то, чтобы опрашивать всех, подходящих;
— застрахуемся от технических проблем;
— и т.п.
Кажется, что после этого остаётся только менять продукт и оценивать изменение пользовательского опыта по колебаниям NPS. (В идеале, в продукте надо делать атомарные изменения и тестировать каждое из них в отдельности, т.к. если изменений будет много, будет непонятно что из них улучшило NPS, а что нет.)
Однако, тут же вмешивается время и сами пользователи.
Во-первых, на кучу изменений и измерений надо много времени и много выборок новых пользователей. Долбить одним и тем же вопросом одних и тех же пользователей — не выйдет.
Во-вторых, всё ещё никаких гарантий, что пользователи в выборках не отличаются по какому-нибудь невидимому вам параметру. Будут постоянные вопросы о том, что вызвало флуктуации — продукт или выборка.
В-третьих, пользователи со временем тоже меняются: новички приходят по другой рекламе с другими ожиданиями от продукта, появляются или пропадают конкуренты, появляются или перегорают ожидания в комьюнити, пользователи приходят с нового айфона, на котором опросник выглядит криво и т.п.
В конечном итоге станет понятно, что получение одного числа не стоит таких усилий. Вероятнее всего, для объяснения этого числа будет проводиться куча других исследований, которые гораздо лучше опишут происходящее.
Так может сразу строить нормальный процесс исследования аудитории?!!
Например, сразу после покупки билетов я оценю цену и удобство сайта. За день до перелёта — свои ожидания от поездки. Сразу после перелёта — всё это вместе с перелётом, аэропортом, ранним подъёмом, тяжелой сумкой, слишком короткой стыковкой и т.п. Через неделю — удовлетворённость отпуском и что-нибудь ещё.
Если до вопроса о готовности рекомендовать продукт мне придётся заполнить анкету из пары десятков других вопросов, я наверняка отвечу не так, как если бы вопрос был один. Особенно, если в процессе вспомню все проблемы и косяки этого продукта.
Предположим, что для сравнения продукта с самим собой мы жёстко зафиксируем все подконтрольные нам факторы:
— выберем правильный момент так, чтобы отвечали именно те, кто реально воспользовался продуктом;
— чётко сформулируем вопрос, чтобы было понятно о чём речь;
— договоримся, что в сообщении будет только он, чтобы другие вопросы не влияли на ответ;
— договоримся о неизменности внешнего вида сообщения, одном и том же канале доставки и пр.;
— продумаем подход к выборке пользователей или решимся на то, чтобы опрашивать всех, подходящих;
— застрахуемся от технических проблем;
— и т.п.
Кажется, что после этого остаётся только менять продукт и оценивать изменение пользовательского опыта по колебаниям NPS. (В идеале, в продукте надо делать атомарные изменения и тестировать каждое из них в отдельности, т.к. если изменений будет много, будет непонятно что из них улучшило NPS, а что нет.)
Однако, тут же вмешивается время и сами пользователи.
Во-первых, на кучу изменений и измерений надо много времени и много выборок новых пользователей. Долбить одним и тем же вопросом одних и тех же пользователей — не выйдет.
Во-вторых, всё ещё никаких гарантий, что пользователи в выборках не отличаются по какому-нибудь невидимому вам параметру. Будут постоянные вопросы о том, что вызвало флуктуации — продукт или выборка.
В-третьих, пользователи со временем тоже меняются: новички приходят по другой рекламе с другими ожиданиями от продукта, появляются или пропадают конкуренты, появляются или перегорают ожидания в комьюнити, пользователи приходят с нового айфона, на котором опросник выглядит криво и т.п.
В конечном итоге станет понятно, что получение одного числа не стоит таких усилий. Вероятнее всего, для объяснения этого числа будет проводиться куча других исследований, которые гораздо лучше опишут происходящее.
Так может сразу строить нормальный процесс исследования аудитории?!!
Сравнение NPS разных продуктов и расчёт среднего значения по индустрии выглядит как шутка про сравнение яблок и ... даже не апельсинов, а яблок и бетонных столбов. Тёплое с мягким…
Приблизительно половина «исследователей» не может объяснить что и зачем. Путают цель, переформулируют вопрос как им угодно, меняют шкалу (почитайте публикации — там то 0-10, то 1-10, то вообще 1-4) и формулу (promoters то 9-10, то 8-10), задают вопрос отдельно или вместе с десятками других вопросов, и т.п. и т.д.
Опрашивают в разные (зачастую неправильные) моменты и в совершенно разных условиях. В итоге у одних — NPS сайта, у других — NPS самолёта, у третьих — NPS службы поддержки(!), а сравнивают это как NPS трёх разных авиакомпаний.
Банально манипулируют цифрами для достижения каких-то своих целей... У кого-то же NPS точно в KPI записан!
Непонятно как у кого-то рука поднимается найти в Интернете какое-то число и что-то с ним сравнивать.
В итоге, ИМХО так:
-- к самой идее NPS сплошные вопросы;
-- для своего продукта можно наловчиться регулярно измерять NPS, но для интерпретации потребуется много других исследований;
-- лучше строить свой процесс качественного и количественного исследования аудитории и анализ KPI — тогда точно будете понимать, что происходит;
-- не стоит сравнивать свой NPS с тем, что публикуют в Интернете; тем более не стоит на базе этого делать какие-то выводы;
-- писать такие длинные тексты не стоит :-).
Приблизительно половина «исследователей» не может объяснить что и зачем. Путают цель, переформулируют вопрос как им угодно, меняют шкалу (почитайте публикации — там то 0-10, то 1-10, то вообще 1-4) и формулу (promoters то 9-10, то 8-10), задают вопрос отдельно или вместе с десятками других вопросов, и т.п. и т.д.
Опрашивают в разные (зачастую неправильные) моменты и в совершенно разных условиях. В итоге у одних — NPS сайта, у других — NPS самолёта, у третьих — NPS службы поддержки(!), а сравнивают это как NPS трёх разных авиакомпаний.
Банально манипулируют цифрами для достижения каких-то своих целей... У кого-то же NPS точно в KPI записан!
Непонятно как у кого-то рука поднимается найти в Интернете какое-то число и что-то с ним сравнивать.
В итоге, ИМХО так:
-- к самой идее NPS сплошные вопросы;
-- для своего продукта можно наловчиться регулярно измерять NPS, но для интерпретации потребуется много других исследований;
-- лучше строить свой процесс качественного и количественного исследования аудитории и анализ KPI — тогда точно будете понимать, что происходит;
-- не стоит сравнивать свой NPS с тем, что публикуют в Интернете; тем более не стоит на базе этого делать какие-то выводы;
-- писать такие длинные тексты не стоит :-).
На практике я со многим из перечисленного сталкивался: и с падением NPS у не менявшегося продукта, и с падением NPS у улучшавшегося (по другим KPI) продукта, и с измерением NPS по шкале 1-10, и с выборкой в 16 человек, и с NPS как KPI для бонусов, и пр.
Много раз обсуждал NPS, как метрику, с теми, кто у себя в продуктах или компаниях его внедрял -- ЕМНИП, ни у кого сильно позитивного опыта нет. Многие считают, но никогда толком не используют.
Ну и в завершение поиграйтесь вот с этим и подумайте -- https://indexnps.com.
Откуда у них данные и как они считают? -- Да вот как:
"Index NPS gathers NPS® data from publicly available sources. In cases when we do not find an NPS score for a company, we use company’s Facebook Social Post behavior. Index NPS aggregates the last 100 social posts of a company and extracts each social post behavior, such as "Like", Angry, Sad, Happy. Based on the social data, we create an NPS score which is based more on social data rather than survey data."
Много раз обсуждал NPS, как метрику, с теми, кто у себя в продуктах или компаниях его внедрял -- ЕМНИП, ни у кого сильно позитивного опыта нет. Многие считают, но никогда толком не используют.
Ну и в завершение поиграйтесь вот с этим и подумайте -- https://indexnps.com.
Откуда у них данные и как они считают? -- Да вот как:
"Index NPS gathers NPS® data from publicly available sources. In cases when we do not find an NPS score for a company, we use company’s Facebook Social Post behavior. Index NPS aggregates the last 100 social posts of a company and extracts each social post behavior, such as "Like", Angry, Sad, Happy. Based on the social data, we create an NPS score which is based more on social data rather than survey data."
Steven Sinofsky, который был VP подразделения Windows в Microsoft, написал в Твиттере абсолютно правильные рассуждения о том, как Apple относится к своим продуктам и ценообразованию -- https://threadreaderapp.com/thread/1081174886901473280.html.
Приятно наблюдать, что Apple работает прямо по учебнику классического маркетинга. Не устану повторять, что многие бизнесы очень много теряют из-за того, что позволяют себе иметь непрофессионалов именно в области маркетинга и продуктового управления.
P.S. Steven оказывается регулярно делает серии постов в Твиттере -- https://threadreaderapp.com/user/stevesi. Я себе прямо отдельную закладку на него сделал.
#kisstwitterthread
Приятно наблюдать, что Apple работает прямо по учебнику классического маркетинга. Не устану повторять, что многие бизнесы очень много теряют из-за того, что позволяют себе иметь непрофессионалов именно в области маркетинга и продуктового управления.
P.S. Steven оказывается регулярно делает серии постов в Твиттере -- https://threadreaderapp.com/user/stevesi. Я себе прямо отдельную закладку на него сделал.
#kisstwitterthread
Threadreaderapp
Read and Share Twitter Threads easily!
Thread Reader helps you read and share the best of Twitter Threads
Вот как выглядел Product Vision того, что в последствии стало MS PowerPoint -- https://threadreaderapp.com/thread/1072942007453016064.html.
14 августа 1984 года 🙂
Две страницы кристально чистого вижна, в котором описано почти всё, чем мы пользуемся.
14 августа 1984 года 🙂
Две страницы кристально чистого вижна, в котором описано почти всё, чем мы пользуемся.
Threadreaderapp
Read and Share Twitter Threads easily!
Thread Reader helps you read and share the best of Twitter Threads
Сегодня анонсировали, открыли группу в Facebook и сразу стартовали поиск и отбор спикеров на Minsk Shift — конференцию про маркетинг, которую мы планируем провести во второй половине мая 2019.
С любой точки зрения это стартап с собственным маркетингом, производством, бизнес-девелопментом, продажами и службой поддержки. А ещё — поисками, озарениями, сомнениями, кранчами и т.п. Буду периодически про вызовы и достижения тут писать.
В первую очередь хочется написать мысли про ЦА. Первая мысль такая: мы не планируем делать это конференцией исключительно про маркетинг в IT. Не IT компании уже вовсю используют те же методы продвижения и инструментарий, а значит им всем — и IT, и не IT — есть о чём поговорить.
Мысль вторая: одна из важных задач маркетинга (как бы пафосно это не звучало) — это поддержание в компании ориентации на пользователей. И эта ноша не на них одних: продакт-менеджеры, CEO и всякие другие руководители продуктов и компаний должны иметь чёткое представление о маркетинге, актуальных проблемах и подходах, инструментах и т.п., а также постоянно возвращать фокус своих организаций на пользователей. Пренебрежение знаниями и опытом, накопленными в маркетинге, постоянно всплывает в кругах, где обсуждают создание продуктов и компаний, — а тут такой случай послушать и поучиться.
Группа вот — https://www.facebook.com/groups/MinskShift/. Ссылка на форму для спикеров там же.
С любой точки зрения это стартап с собственным маркетингом, производством, бизнес-девелопментом, продажами и службой поддержки. А ещё — поисками, озарениями, сомнениями, кранчами и т.п. Буду периодически про вызовы и достижения тут писать.
В первую очередь хочется написать мысли про ЦА. Первая мысль такая: мы не планируем делать это конференцией исключительно про маркетинг в IT. Не IT компании уже вовсю используют те же методы продвижения и инструментарий, а значит им всем — и IT, и не IT — есть о чём поговорить.
Мысль вторая: одна из важных задач маркетинга (как бы пафосно это не звучало) — это поддержание в компании ориентации на пользователей. И эта ноша не на них одних: продакт-менеджеры, CEO и всякие другие руководители продуктов и компаний должны иметь чёткое представление о маркетинге, актуальных проблемах и подходах, инструментах и т.п., а также постоянно возвращать фокус своих организаций на пользователей. Пренебрежение знаниями и опытом, накопленными в маркетинге, постоянно всплывает в кругах, где обсуждают создание продуктов и компаний, — а тут такой случай послушать и поучиться.
Группа вот — https://www.facebook.com/groups/MinskShift/. Ссылка на форму для спикеров там же.
Для конференции Minsk Shift завели чат — @minskshift.
У меня много спрашивали почему я не делаю чат к своему каналу... Ну вот, наверное, он. Там и конференция будет, и про маркетинг, и стык с технологиями, и просто курилка для обсуждения и знакомств.
У меня много спрашивали почему я не делаю чат к своему каналу... Ну вот, наверное, он. Там и конференция будет, и про маркетинг, и стык с технологиями, и просто курилка для обсуждения и знакомств.
Huawei начинают мочить по всему миру: сначала в Штатах, потом в Канаде, теперь вот в Польше. Я просто уверен, что китайцы могли и делали для себя бэкдоры, т.к. ЕМНИП такие претензии к ним возникали ещё в те времена, когда Huawei был известен как молодой растущий конкурент Cisco, Siemens и пр. на рынке телеком. оборудования. Как они развернулись в телефонах, даже представить страшно. А ведь я с Mate 10 несколько месяцев отходил 🙂
@theedinorogblog пишут о венчурном рынке и предпринимателях, но вот нашли и запостили моё видео про недостатки продакт менеджеров 🙂 За что им спасибо и всяческих успехов!
@theedinorogblog пишут о венчурном рынке и предпринимателях, но вот нашли и запостили моё видео про недостатки продакт менеджеров 🙂 За что им спасибо и всяческих успехов!
Forwarded from The Edinorog 🦄
❌В Польше задержали топ-менеджера Huawei. Как-то не везет компании в последнее время. Месяц назад в Канаде задержали Мэн Ваньчжоу, финансового директора и дочь сооснователя Huawei. Теперь поляки подозревают топ-менеджера китайского телеком-гиганта в шпионаже. Подробностей, как именно он шпионил, пока нет.
Ещё одна цепочка твитов от Steven Sinofsky — https://threadreaderapp.com/thread/1083845495234138113.html. В этот раз про то, насколько тяжело уже сложившейся компании с успешным продуктом запускать новые продукты/бизнесы.
> “5/ All the fun and challenge is really in the third option which is to build a new product and business. Almost always challenge is not what to build, but how to sell it.
As a product matures, market makes clear all sorts of adjacent products that are prime ideas for expansion.”
#kisstwitterthread
> “5/ All the fun and challenge is really in the third option which is to build a new product and business. Almost always challenge is not what to build, but how to sell it.
As a product matures, market makes clear all sorts of adjacent products that are prime ideas for expansion.”
#kisstwitterthread
Threadreaderapp
Read and Share Twitter Threads easily!
Thread Reader helps you read and share the best of Twitter Threads
Только сегодня обратил внимание на интересную фичу macOS: когда айфон рядом и у него включен Bluetooth, то макось сама умеет активировать на нём раздачу доступа в Интернет. Скорее всего, это будет работать только с устройствами, которые так или иначе друг о друге “знают” (Apple ID, сохранённый пароль и т.п.).
Если эта штука действительно будет работать, это будет, пожалуй, первый пример, когда о крипто-проект не надо вытирать ноги.
Возможность торговать акциями — это одна из вещей, которые всегда хотелось попробовать. Всё-таки во всём мире это довольно популярный инструмент. Интересно, как они будут решать очевидный конфликт с регуляциями нац. банка РБ.
Кстати, белорусским банкам, с их мизерными процентами по вкладам в валюте и странными услугами, стоит задуматься. Если этот сервис станет популярным, сколько-то клиентов он у них оттянет.
https://currency.com?kid=VEV0N
Возможность торговать акциями — это одна из вещей, которые всегда хотелось попробовать. Всё-таки во всём мире это довольно популярный инструмент. Интересно, как они будут решать очевидный конфликт с регуляциями нац. банка РБ.
Кстати, белорусским банкам, с их мизерными процентами по вкладам в валюте и странными услугами, стоит задуматься. Если этот сервис станет популярным, сколько-то клиентов он у них оттянет.
https://currency.com?kid=VEV0N
Currency
The world's first regulated tokenized securities exchange
Use crypto to trade tokenised securities on a European-regulated exchange. Secure wallet and crypto storage. Buy crypto with fiat. Trade with crypto, profit in crypto.
Forwarded from Мы и Жо / медиа и журналистика
Кейс яйца
Сейчас, когда я пишу эти строки, яйцо-рекордсмен набрало свыше 5 млн подписчиков, а число лайков единственной записи подбирается к 40 млн. Давайте посмотрим на контент-стратегию яйца:
— В силу самой идеи яйцо не может оставлять новые записи. В результате оно общается с подписчиками через stories — и очень активно.
— Конверсионное общение с пользователями и администрацией — через текст профиля и ссылку (например, открылся магазин мерча, где товары продаются только 24 часа).
— Лента отметок гораздо более интересна, чем может показаться. Кроме того, она дает яйцу возможность устраивать неожиданные набеги на лучшие произведения фанатов и вести дискуссии.
— Отдельно стоит отметить публичную переписку с администрацией. В профиле сначала стояла строчка: «где наша галочка?» — и, конечно, вскоре галочка появилась.
— Интересно, что яйцо анонимно, всеми силами сохраняет анонимность, и его несвязанность с тем или иным брендом только усиливает его собственный.
PS. На яйцо подписалось издание Republic
Сейчас, когда я пишу эти строки, яйцо-рекордсмен набрало свыше 5 млн подписчиков, а число лайков единственной записи подбирается к 40 млн. Давайте посмотрим на контент-стратегию яйца:
— В силу самой идеи яйцо не может оставлять новые записи. В результате оно общается с подписчиками через stories — и очень активно.
— Конверсионное общение с пользователями и администрацией — через текст профиля и ссылку (например, открылся магазин мерча, где товары продаются только 24 часа).
— Лента отметок гораздо более интересна, чем может показаться. Кроме того, она дает яйцу возможность устраивать неожиданные набеги на лучшие произведения фанатов и вести дискуссии.
— Отдельно стоит отметить публичную переписку с администрацией. В профиле сначала стояла строчка: «где наша галочка?» — и, конечно, вскоре галочка появилась.
— Интересно, что яйцо анонимно, всеми силами сохраняет анонимность, и его несвязанность с тем или иным брендом только усиливает его собственный.
PS. На яйцо подписалось издание Republic
Опять залипаю на Behance. https://www.behance.net/gallery/766801/Nine — правда хорошая работа?
Я вчера первый раз участвовал в вебинаре в виде говорящей головы. Понял, что мне бы понравилось в таком формате (или хотя бы в виде подкаста) обсуждать новости или кейсы в индустрии. Разговаривать об устройстве профессии тоже забавно, но надоедает.
Например, я бы с удовольствием поорал по поводу новой рекламы от Gillette — https://www.marketingweek.com/2019/01/15/mark-ritson-gillette-ad-toxic-masculinity/, или обсудил совершенно восхитительное яйцо-рекордсмен в Инстаграме. Но как, что и с кем?
Надо делать ещё один подкаст про новости продуктов, брендов, технологий и все вот это?
Например, я бы с удовольствием поорал по поводу новой рекламы от Gillette — https://www.marketingweek.com/2019/01/15/mark-ritson-gillette-ad-toxic-masculinity/, или обсудил совершенно восхитительное яйцо-рекордсмен в Инстаграме. Но как, что и с кем?
Надо делать ещё один подкаст про новости продуктов, брендов, технологий и все вот это?
Marketing Week
Mark Ritson: Gillette’s new ad will trash its sales and be the year’s worst marketing move
Gillette's purpose-driven attempt to revitalise its slogan, 'The best a man can get', isn't just a waste of ad budget but an expensive exercise in destroying its dominant market share.
На Ars Technica вышло очень круто сделанное интервью с Glen Schofield, который был директором игры Dead Space. Стоит посмотреть и из-за самой истории, и из-за подачи, и из-за историй о нюансах разработки, и из-за того, как сам Глен говорит.
https://www.youtube.com/watch?v=BQ3iqq49Ew8
https://www.youtube.com/watch?v=BQ3iqq49Ew8
YouTube
How Dead Space's Scariest Scene Almost Killed the Game | War Stories | Ars Technica
Glen Schofield, the co-founder of Sledgehammer Games and the creator/director of Dead Space, goes in-depth on the development of the classic third-person horror shooter. Glen set out to create the scariest video game of all-time, borrowing gameplay elements…
Keep it simple, stupid!
Только что пришло письмо от Uber, в котором рекламируют новое хорошее приложение Uber для России. Пишут, что оно теперь быстрое и легкое; позволяет платить привязанной картой, налом, Apple Pay или Google Pay; имеет полезные фичи, типа возможности указать…
Сам себе отвечу, что Uber Russia из белорусского магазина пропало и теперь появилось приложение Uber BY. Я бы очень хотел расспросить того, кто придумал делать отдельные приложения под каждую страну и так их ротировать, ибо это очень неоднозначные решения.
Uber Russia вчера ещё в Минске работало, но, я так понимаю, приложение у меня больше не обновится и раньше или позже перестанет работать.
https://itunes.apple.com/by/app/uber-by/id1447876061?mt=8
Uber Russia вчера ещё в Минске работало, но, я так понимаю, приложение у меня больше не обновится и раньше или позже перестанет работать.
https://itunes.apple.com/by/app/uber-by/id1447876061?mt=8
App Store
Uber BY
Uber BY is a smart ridesharing app which shows you your route and fare before you even request a car. Enter your destination and enjoy a hassle-free ride.
Competitive and transparent fares
Choose uberX for cheap every day rides. Enjoy a comfortable journey…
Competitive and transparent fares
Choose uberX for cheap every day rides. Enjoy a comfortable journey…