Всё DAU iFunny у нас разбито на 2400 АБ-групп, и каждая установка привязана к своему номеру группы. Так мы регулируем раскатку АБ-тестов. Например тест "Шаринг" распределен в группы 1200-2399, это равно 50% DAU.
Прикол в том что за два месяца активного АБ-тестирования поведение групп обычно меняется, они перестают быть равномерными. В них становится разное количество пользователей и они начинают по-другому взаимодействовать с приложением.
Например какой-то неудачный тест может вызвать отток аудитории или всплеск выключения пушей. Из за этого у нас в следующих тестах будут кривые данные, и мы сделаем неправильные выводы.
Поэтому раз в 1-2 месяца мы перемешиваем все инсталлы, чтобы восстановить равномерность групп и быть уверенными в том что данные чистые.
Прикол в том что за два месяца активного АБ-тестирования поведение групп обычно меняется, они перестают быть равномерными. В них становится разное количество пользователей и они начинают по-другому взаимодействовать с приложением.
Например какой-то неудачный тест может вызвать отток аудитории или всплеск выключения пушей. Из за этого у нас в следующих тестах будут кривые данные, и мы сделаем неправильные выводы.
Поэтому раз в 1-2 месяца мы перемешиваем все инсталлы, чтобы восстановить равномерность групп и быть уверенными в том что данные чистые.
У нас появилось направление FunCorp Production, в котором мы запускаем новый продукт раз в квартал. Тема прикольная, потому что можно делать что хочешь в рамках развлекательных проектов.
Успехом таких приложения я считаю наличие нормального ретеншена (RR7 > 10%) и частоты сессий в день (> 2). Если какая-то из метрик меньше, то продукт можно выкидывать и ехать дальше.
Две недели назад мы запустили Noon (https://noon.pw/), приложение с контентом по интересам. В нем три сообщества – Мемы, Аниме и Гейминг, внутри картинки / видео. Идея в том что люди хотят смотреть тематический контент (например – тачки, спорт и девушки; или dota2, хентай и мемы), но нет приложения где можно такой контент удобно находить и потреблять.
Facebook и Insta не подходят – там про социальность. Приложение Reddit плохо сделано. Snapchat вообще не про контент.
Первых пользователей мы ливанули из дискорда iFunny, пришло 500-600 установок. Спустя 10 дней осталось где-то 40-50 человек в DAU, то есть ретеншен более-менее есть. Пользователи делали в среднем 2 сессии, и смотрели 80 элементов.
Так что дальше будем делать MVP 2 и тестить дальше.
Успехом таких приложения я считаю наличие нормального ретеншена (RR7 > 10%) и частоты сессий в день (> 2). Если какая-то из метрик меньше, то продукт можно выкидывать и ехать дальше.
Две недели назад мы запустили Noon (https://noon.pw/), приложение с контентом по интересам. В нем три сообщества – Мемы, Аниме и Гейминг, внутри картинки / видео. Идея в том что люди хотят смотреть тематический контент (например – тачки, спорт и девушки; или dota2, хентай и мемы), но нет приложения где можно такой контент удобно находить и потреблять.
Facebook и Insta не подходят – там про социальность. Приложение Reddit плохо сделано. Snapchat вообще не про контент.
Первых пользователей мы ливанули из дискорда iFunny, пришло 500-600 установок. Спустя 10 дней осталось где-то 40-50 человек в DAU, то есть ретеншен более-менее есть. Пользователи делали в среднем 2 сессии, и смотрели 80 элементов.
Так что дальше будем делать MVP 2 и тестить дальше.
В конце недели хочу тут разобрать какую-нибудь интересную продуктовую проблему от читателей. Так что пишите в эту гугл форму https://forms.gle/HjiowjBiq97WX14F7 то над чем работаете и не можете долго решить, а я постараюсь придумать решение и выложу его в четверг.
Кстати, ребята из VC.ru подвезли решение проблемы спама в Google Calendar, кому надо – вот ссылка https://vc.ru/services/70018-instrukciya-izbavitsya-ot-spama-v-google-kalendare-i-drugih-servisah
vc.ru
Инструкция: избавиться от спама в «Google Календаре» и других сервисах — Сервисы на vc.ru
Проблема старая, но жалобы не прекращаются — новая волна спама началась весной 2019 года.
С прошлого поста пришло несколько продуктовых проблем, выбрал самую популярную для 99% приложений – увеличение ретеншена.
Приложение: Eristica https://bit.ly/2Z9vFBv. Суть приложения: пользователь зарабатывает деньги выполняя задания и снимая это на видео. Пример: юзер съедает ложку сахара и получает за это деньги https://share.eristica.com/sh/yVXJb6cprN.
Проблема: низкий Retention любого дня.
Как пытались решить: делали онбординг, растили оплаты, делали чатик юзеров (?), видим корреляцию между просмотрами видео и Retention. Планируется делать фичи на увеличение просмотров.
Что со всем этим делать:
Автор проблемы пишет: основная ценность для юзера – возможность заработать денег. Я уверен, если сегментировать юзеров которым Eristica уже заплатила, то ретеншен у них будет хорошим. Они получили ценность и будут возвращаться еще.
Но далеко не все готовы снимать видео и зарабатывать на этом деньги. В целом в UGC проектах 1% создателей контента – остальные смотрят. Даже если я ошибаюсь на порядок, в Eristica точно создают не более 10%.
Соответственно 90% это зрители, ценность "заработать" они никогда не смогут получить. Скорее всего они установили приложение чисто для фана, поэтому есть связь между просмотрами видео и ретеншеном. Мои предложения такие:
- Нужно улучшать контент. Половина челленджей – скучные, мало угара и развлечений. Всё это мы уже видели. Придумывайте задания круче круче. Можно добавить музыку.
- С лентой надо работать. На первом месте должно быть видео которое набрало больше всего лайков на 1000 просмотров. Сейчас первым номером постоянно висит онбординг, который я уже смотрел несколько раз. Всегда нужен новый крутой контент, если юзер посмотрел видео – прячьте его. Нужен автостарт видеоплеера.
- Нужно сделать нормально пуши, тк это ретеншен драйвер. Сейчас за три дня я не получил ни одного пуша.
- Нужно сделать нормальный пошаговый онбординг, который ведет пользователя к самому веселому виральному видео. Сейчас он есть в виде видеоролика, но с ним много проблем – без звука оно не работает, оно долгое и занудное, при этом не доносит ценность. Хочется пролистать
В общем как-то так, это основные моменты которые я бы поменял. Если будете делать – дайте фидбек.
Приложение: Eristica https://bit.ly/2Z9vFBv. Суть приложения: пользователь зарабатывает деньги выполняя задания и снимая это на видео. Пример: юзер съедает ложку сахара и получает за это деньги https://share.eristica.com/sh/yVXJb6cprN.
Проблема: низкий Retention любого дня.
Как пытались решить: делали онбординг, растили оплаты, делали чатик юзеров (?), видим корреляцию между просмотрами видео и Retention. Планируется делать фичи на увеличение просмотров.
Что со всем этим делать:
Автор проблемы пишет: основная ценность для юзера – возможность заработать денег. Я уверен, если сегментировать юзеров которым Eristica уже заплатила, то ретеншен у них будет хорошим. Они получили ценность и будут возвращаться еще.
Но далеко не все готовы снимать видео и зарабатывать на этом деньги. В целом в UGC проектах 1% создателей контента – остальные смотрят. Даже если я ошибаюсь на порядок, в Eristica точно создают не более 10%.
Соответственно 90% это зрители, ценность "заработать" они никогда не смогут получить. Скорее всего они установили приложение чисто для фана, поэтому есть связь между просмотрами видео и ретеншеном. Мои предложения такие:
- Нужно улучшать контент. Половина челленджей – скучные, мало угара и развлечений. Всё это мы уже видели. Придумывайте задания круче круче. Можно добавить музыку.
- С лентой надо работать. На первом месте должно быть видео которое набрало больше всего лайков на 1000 просмотров. Сейчас первым номером постоянно висит онбординг, который я уже смотрел несколько раз. Всегда нужен новый крутой контент, если юзер посмотрел видео – прячьте его. Нужен автостарт видеоплеера.
- Нужно сделать нормально пуши, тк это ретеншен драйвер. Сейчас за три дня я не получил ни одного пуша.
- Нужно сделать нормальный пошаговый онбординг, который ведет пользователя к самому веселому виральному видео. Сейчас он есть в виде видеоролика, но с ним много проблем – без звука оно не работает, оно долгое и занудное, при этом не доносит ценность. Хочется пролистать
В общем как-то так, это основные моменты которые я бы поменял. Если будете делать – дайте фидбек.
Пять признаков хорошего ТЗ:
- Написано максимально коротко и ясно. Воду оставьте авторам курсов по продакт менеджменту.
- ТЗ продает фичу всем кто с ним работает. Описано какой профит для нас и какой для юзера
- Полностью описано то что видит пользователь. Приложены макеты, анимированные прототипы, видео и гифки. Пятилетний ребенок легко поймет что должно получиться в результате.
- Описана аналитика: какие эвенты трекаем, как их считаем и что считаем успехом
- Нет никаких технических нюансов реализации это фичи
Уровень текста должен быть не хуже текстов в известных медиа.
- Написано максимально коротко и ясно. Воду оставьте авторам курсов по продакт менеджменту.
- ТЗ продает фичу всем кто с ним работает. Описано какой профит для нас и какой для юзера
- Полностью описано то что видит пользователь. Приложены макеты, анимированные прототипы, видео и гифки. Пятилетний ребенок легко поймет что должно получиться в результате.
- Описана аналитика: какие эвенты трекаем, как их считаем и что считаем успехом
- Нет никаких технических нюансов реализации это фичи
Уровень текста должен быть не хуже текстов в известных медиа.
В нашей работе много завязано на везении. Взлетит фича или не взлетит, как поведут себя конкуренты, сойдется ли маркетинг и какая будет конверсия – всё это в большей степени зависит от везения, а не от крутости CEO или продакт менеджера.
Что делать чтобы вам везло:
- Верьте фактам и цифрам, а не домыслам. Докапывайтесь до сути, анализируйте аномалии
- Общайтесь с пользователями и клиентами так часто как можете
- Не думайте за других. Выдвигайте гипотезы, проверяйте всё деле
- Соблюдайте дисциплину. Каждую неделю получайте результаты двух АБ тестов
- Не будьте самоуверены. Трезво оценивайте себя и ситуацию вокруг.
Что делать чтобы вам везло:
- Верьте фактам и цифрам, а не домыслам. Докапывайтесь до сути, анализируйте аномалии
- Общайтесь с пользователями и клиентами так часто как можете
- Не думайте за других. Выдвигайте гипотезы, проверяйте всё деле
- Соблюдайте дисциплину. Каждую неделю получайте результаты двух АБ тестов
- Не будьте самоуверены. Трезво оценивайте себя и ситуацию вокруг.
В октябре буду выступать на Epic Growth и рассказывать историю про то как мы два года растили ретеншен iFunny. Регистрируйтесь тут https://bit.ly/2mc5Y5A, по промокоду egc_tabunov скидка 10%
egconf.io
Epic Growth Conference'24
Главная конференция про рост продуктов в 2024 году
У iFunny аудитория подростков-задротов, которые много времени тратят на игры. Мы долго вынашивали идею добавить в iFunny геймификацию, месяц только утверждали спеку. Суть в том что за целевые действия в приложении пользователь получает очки. Чем больше у пользователя очков – тем выше его уровень – тем больше респекта от остальных пользователей. Помимо уровней есть награды:
- Ежедневные: посмотрел/лайкнул/создал в день N элементов
- Еженедельные: то же самое что ежедневные, только за неделю
- Единоразовые: верификация мейла, телефона, велкам ачивка
В августе был запуск, что мы получили:
- Рост создателей контента
- Рост количества созданного контента на 50%
- Рост контентных метрик: шаринга, лайков, глубины просмотра
Но прикол в том что за неделю хайп сошел на нет, пользователи привыкли к ачивкам и метрики вернулись в дефолтное положение. На высоком уровне остались только просмотры своего профайла. Как оценивать фичу – непонятно. С одной стороны ничего не выросло, с другой стороны многие топовые пользователи вовлеклись и пользуются.
Я знаю что многих посещает мысль делать геймификацию в своем продукте, надеюсь этот пост будет полезет.
- Ежедневные: посмотрел/лайкнул/создал в день N элементов
- Еженедельные: то же самое что ежедневные, только за неделю
- Единоразовые: верификация мейла, телефона, велкам ачивка
В августе был запуск, что мы получили:
- Рост создателей контента
- Рост количества созданного контента на 50%
- Рост контентных метрик: шаринга, лайков, глубины просмотра
Но прикол в том что за неделю хайп сошел на нет, пользователи привыкли к ачивкам и метрики вернулись в дефолтное положение. На высоком уровне остались только просмотры своего профайла. Как оценивать фичу – непонятно. С одной стороны ничего не выросло, с другой стороны многие топовые пользователи вовлеклись и пользуются.
Я знаю что многих посещает мысль делать геймификацию в своем продукте, надеюсь этот пост будет полезет.
В FunCorp с лета ищем проджект менеджера. У 90% кандидатов одна и та же проблема в резюме: нет живых проектов которые этот менеджер запустил. Тех которые можно пощупать, которые сейчас работают и зарабатывают деньги.
У всех какая-то поебень в виде улучшения процессов управления, определения стратегии развития, коммуникации с сотрудниками смежных подразделений, итп. Ничего конкретного.
Любой менеджер оценивается по результатам работы, а не по разговорам. Проджект по запущенным проектам, продакт по продажам или аудитории продуктов которые он создал.
Так что, крутые проджекты, если вам это близко и вы ищете работу – пишите мне в личку, поговорим.
У всех какая-то поебень в виде улучшения процессов управления, определения стратегии развития, коммуникации с сотрудниками смежных подразделений, итп. Ничего конкретного.
Любой менеджер оценивается по результатам работы, а не по разговорам. Проджект по запущенным проектам, продакт по продажам или аудитории продуктов которые он создал.
Так что, крутые проджекты, если вам это близко и вы ищете работу – пишите мне в личку, поговорим.
Forwarded from Мемуары Стартап-чиновника (D L)
Один из сторов нас удалил для профилактики на сутки, при этом не найдя ничего запрещенного и не скинув примеры. Обычно они всегда кидают алерты с указанием того что им не нравится, или же звонят. А так получается мы нарушений не нашли, но на всякий случай дадим пизды чтобы не расслаблялись.
Второй стор тоже ничего не нашел, но на всякий случай сказал ввести цензуру уровня Северной Кореи, чтобы успокоить Васю из Бруклина.
Если статьи никак не влияют на бизнес, то удаления из сторов и неадекватная цензура работают в минус.
Поэтому следите за актуальной новостной повесткой, она меняется примерно раз в год. И превентивно принимайте меры. Если не можете продуктово что-то поменять, меняйте свой имидж и имидж компании.
Я вот например ношу кепку с радужным флагом, жертвую деньги в фонд борьбы с ущемлением прав лгбт и подумываю сделать камин-аут.
PS
Сейчас стали активно нагибать Реддит и Твиттер. Реддит прогнулся капитально и тоже ввел цензуру Северной Кореи, а Твиттер просто всех посылает нахуй.
В следующем посте я расскажу почему так произошло и какие козыри есть у Твиттера, но нет у нас или Реддита)
Второй стор тоже ничего не нашел, но на всякий случай сказал ввести цензуру уровня Северной Кореи, чтобы успокоить Васю из Бруклина.
Если статьи никак не влияют на бизнес, то удаления из сторов и неадекватная цензура работают в минус.
Поэтому следите за актуальной новостной повесткой, она меняется примерно раз в год. И превентивно принимайте меры. Если не можете продуктово что-то поменять, меняйте свой имидж и имидж компании.
Я вот например ношу кепку с радужным флагом, жертвую деньги в фонд борьбы с ущемлением прав лгбт и подумываю сделать камин-аут.
PS
Сейчас стали активно нагибать Реддит и Твиттер. Реддит прогнулся капитально и тоже ввел цензуру Северной Кореи, а Твиттер просто всех посылает нахуй.
В следующем посте я расскажу почему так произошло и какие козыри есть у Твиттера, но нет у нас или Реддита)
Если у вас еще остались иллюзии по поводу справедливости в Google Play и App Store рекомендую почитать в канале Дениса про то как нас недавно снова выпилили (а потом вернули) из стора
Нашли очень простой способ увеличивать глубину просмотра (а значит и деньги) в iFunny.
Каждый день мы выпускаем 150 смешных мемов. Невероятно, но если мы выпускаем 300 мемов – глубина растет на 30%, показы рекламы тоже на 20-30%.
Сейчас проверяем как от этого меняется ретеншен, ну и останется сделать тест где мы будем выпускать 600 или 1000 мемов в день.
Каждый день мы выпускаем 150 смешных мемов. Невероятно, но если мы выпускаем 300 мемов – глубина растет на 30%, показы рекламы тоже на 20-30%.
Сейчас проверяем как от этого меняется ретеншен, ну и останется сделать тест где мы будем выпускать 600 или 1000 мемов в день.
Пять фич, которые не взлетели в iFunny:
1. Подписка без рекламы. Очень маленькая конверсия в платящих, всего купило несколько десятков
2. Персонализация по интересам. Предлагали пользователю выбрать что ему нравится – Аниме, Гейминг, Женщины или Мемы. В зависимости от этого ранжировали контент. В тестовой группе всё стало сильно хуже (лайки на 1000. глубина просмотра), думаю мы просто не смогли сделать контент реально хорошим.
3. Лайки для незалогиненной аудитории. Думали что если дать возможность ставить лайк без регистрации то улучшим вовлечение этих пользователей, а значит и ретеншен.
На деле – нифига. Оказалось это совсем неблагодарная аудитория, лайкать начали меньше 10%.
4. Новый UI/UX регистрации. Выкинули лишний шаг в регистрации, улучшили воронку логина, поправили воронки по регистрации через соцсети.
На деле в первой версии конверсия была в два раза хуже, начали разбираться и через две итерации правок получили такую же конверсию как и до этого.
5. Редизайн комментариев. Делали группу тестов по улучшению UX, хотели чтобы аудитория больше комментировала и лайкала комментарии. Добавили дизлайк.
На деле комментировать стали меньше, сделали три итерации, так ни к чему и не пришли. Против привычки не попрешь.
1. Подписка без рекламы. Очень маленькая конверсия в платящих, всего купило несколько десятков
2. Персонализация по интересам. Предлагали пользователю выбрать что ему нравится – Аниме, Гейминг, Женщины или Мемы. В зависимости от этого ранжировали контент. В тестовой группе всё стало сильно хуже (лайки на 1000. глубина просмотра), думаю мы просто не смогли сделать контент реально хорошим.
3. Лайки для незалогиненной аудитории. Думали что если дать возможность ставить лайк без регистрации то улучшим вовлечение этих пользователей, а значит и ретеншен.
На деле – нифига. Оказалось это совсем неблагодарная аудитория, лайкать начали меньше 10%.
4. Новый UI/UX регистрации. Выкинули лишний шаг в регистрации, улучшили воронку логина, поправили воронки по регистрации через соцсети.
На деле в первой версии конверсия была в два раза хуже, начали разбираться и через две итерации правок получили такую же конверсию как и до этого.
5. Редизайн комментариев. Делали группу тестов по улучшению UX, хотели чтобы аудитория больше комментировала и лайкала комментарии. Добавили дизлайк.
На деле комментировать стали меньше, сделали три итерации, так ни к чему и не пришли. Против привычки не попрешь.
Нет ничего более отсталого и устаревшего в разработке чем спринты и SCRUM. Спринты настолько плохо работают и тяжело внедряются, что появился целый класс бизнес консультантов (скрам мастера, эджайл тренеры, и прочие инфобизнесмены) которые на этом зарабатывают.
Везде где я работал мы отказывались от спринтов в пользу простого канбана, и сразу наступала благодать. Все прекращали друг другу трахать мозги, считать стори пойнты и сортировать беклог. Команда наконец сосредотачивалась на выпуске продукта и ценных для пользователя фич.
Трудно иногда поверить насколько популярным оказывается очевидное говно.
Везде где я работал мы отказывались от спринтов в пользу простого канбана, и сразу наступала благодать. Все прекращали друг другу трахать мозги, считать стори пойнты и сортировать беклог. Команда наконец сосредотачивалась на выпуске продукта и ценных для пользователя фич.
Трудно иногда поверить насколько популярным оказывается очевидное говно.
Год назад я перешел на Android, а в сентябре вернулся обратно на айфон. За это время мы неплохо вырастили наши главные метрики на андройде, например за счет пуш-уведомлений с кастомной версткой.
Для меня это самый верный источник гипотез. Просыпаешься, открываешь свое приложение и пользуешься. Сразу все проблемы пользователей как на ладони.
Когда мы запускали Коб было правило – каждый сотрудник создает минимум один коб в день. И продукту хорошо (больше контента), и команда наглядно видит что мы сделали круто, а где накосячили.
Для меня это самый верный источник гипотез. Просыпаешься, открываешь свое приложение и пользуешься. Сразу все проблемы пользователей как на ладони.
Когда мы запускали Коб было правило – каждый сотрудник создает минимум один коб в день. И продукту хорошо (больше контента), и команда наглядно видит что мы сделали круто, а где накосячили.
В сентябре мы запустили в iFunny новый раздел – Карта. В нем пользователь видит мемы и других пользователей рядом с собой. Для контентного приложения это очень странный раздел, но у Snapchat например он есть и вроде круто работает.
Цель раздела такая: за юзеров с включенной геопозицией платят гораздо больше. Тупо запрос геопозиции на старте сторы не разрешат, поэтому нужная была какая-то фича где локация будет использоваться. Придумали карту.
Что в результате:
– Цель выполнена: за все время геолокацию включили около 200К людей, ежедневно 10% юзеров у нас с включенной геопозицией, и в деньгах это видно.
– При этом сам раздел не особо зашел: ежедневно заходит меньше процента DAU.
Думаю будем как-то докручивать карту как продукт. Попытаемся вкрутить туда больше фана и как-то её встроить в основную ленту.
Цель раздела такая: за юзеров с включенной геопозицией платят гораздо больше. Тупо запрос геопозиции на старте сторы не разрешат, поэтому нужная была какая-то фича где локация будет использоваться. Придумали карту.
Что в результате:
– Цель выполнена: за все время геолокацию включили около 200К людей, ежедневно 10% юзеров у нас с включенной геопозицией, и в деньгах это видно.
– При этом сам раздел не особо зашел: ежедневно заходит меньше процента DAU.
Думаю будем как-то докручивать карту как продукт. Попытаемся вкрутить туда больше фана и как-то её встроить в основную ленту.
Неожиданно для меня канал iFunny на ютубе (https://www.youtube.com/channel/UC9fl4bVuaxpTOoE45isRovg) вышел на 60 тыс просмотров в месяц. Это полностью автоматизированная история, канал ведет робот а не человек.
Каждый день бот выбирает самые топовые iFunny видео за сегодня, на которых распознался текст или есть описание. Потом он склеивает их в один длинный шедевр, и генерирует текстовое описание (пример на картинке). В тайтл робот ставит текст первого мема.
Расчет был на то что YouTube это гигантский поисковый движок в котором часто ищут смешные видео. И если правильно и системно отгружать туда контент, то рано или поздно мы попадем в какой-то горячий поисковый запрос.
Так и произошло, правда ждать нам пришлось почти полгода.
Каждый день бот выбирает самые топовые iFunny видео за сегодня, на которых распознался текст или есть описание. Потом он склеивает их в один длинный шедевр, и генерирует текстовое описание (пример на картинке). В тайтл робот ставит текст первого мема.
Расчет был на то что YouTube это гигантский поисковый движок в котором часто ищут смешные видео. И если правильно и системно отгружать туда контент, то рано или поздно мы попадем в какой-то горячий поисковый запрос.
Так и произошло, правда ждать нам пришлось почти полгода.
