Формат стрима, где мы с Егором и Байрамом разбираем продуктовые задачи подписчиков, вроде бы зашел. Пока карантин – будем повторять регулярно. Ближайший стрим в это воскресенье

Поэтому очень нужно чтобы вы скинули своих интересных кейсов в эту форму, а мы выберем самые крутые и обсудим их вместе с вами https://forms.gle/Lqg2wumLGDnZanmx6

Начинаем продуктовый стрим, подключайтесь: https://funcorp.zoom.us/j/92773804833

Ретрансляция на Ютубе (если не помрет): https://www.youtube.com/watch?v=tWGiNScEBS8

С начала года мы запустили 5 новых приложений:
- WHLSM – Добрые мемы – США
- Keke USA (клон iFunny)
- Keke UK – Великобритания
- Keke DE – Германия
- America’s best pics and videos (США)

С технической стороны это всё – iFunny, но под разными брендами, с разным контентом и на разную аудиторию.

Из них явно не полетел только Keke USA, и мы его сняли с продажи. Метрики были в 3-5 раз хуже чем в самом iFunny, как это объяснить мы не знаем.

По остальным приложениям пока не ясно. По результатам проливки всех пяти приложений стало ясно что есть мутная бага на андройде. Там был сильно ниже ретеншен и цифры по доставке пушей были не в норме.

Копали две недели, и в результате нашли. Оказалось что было два запроса в приложении, у которых были неправильные заголовки, и бекенд их записывал в другой проект. По этим установкам не ходили пуши, криво считалась аналитика, итп.

Пофиксили, и ретеншен Android билдов вырос почти в два раза. Теперь, по сути, нужно заново собирать все данные, закупать еще столько же трафика и ждать еще квартал.

Пользователи iFunny обожают сохранять контент в галерею. У нас всегда можно было сохранять только картинки, видео и гифки – нет, хотя это огромный запрос от пользователей.

Мы решили изучить, как изменится ретеншен, если разрешать пользователям сохранять что угодно и как угодно. По сути, мы проверяли гипотезу: будут ли чаще пользоваться продуктом, если давать то что просят пользователи. Классический вопрос продакт менеджмента: стоит ли развивать продукт так, как хотят этого пользователи.

Вывели кнопку Save вниз, разрешили сохранять всё подряд, и поставили в сплит на три недели.

Оказалось следующее:
- Шаринг упал на 30%, а с ним и траф с шарингов
- Зато сейвы выросли на 30%
- Ретеншен как был, так и остался на прежнем месте

Короче, несмотря на то что юзеры просили, для продукта в целом эта фича дала бы негатив.

Праздники кончились, поэтому решили сделать очередной продуктовый стрим с Байрамом и Егором. Он будет в 18:00, в это воскресенье, 17 мая. Zoom-ссылка будет тут и у @betternotworse @productsandstartups

⚠️ Нам ОЧЕНЬ НУЖНЫ хорошие кейсы, которые можно обсудить. Присылайте их в эту форму https://forms.gle/Lqg2wumLGDnZanmx6. Мы выберем два самых интересных кейса, выведем их авторов в прямой эфир и максимально полно обсудим проблему.

Вы, как автор кейса, получите новых идей от нас и подписчиков, а мы – крутой контент.

Мы начинаем стрим. Темы дня:

– Оптимизация онбординга в https://amplifr.com/ru
– Продуктовая стратегия для Viqeo
– Внедряем подписочную модель в фитнес приложение

Zoom: https://funcorp.zoom.us/j/98675980076
YouTube: https://www.youtube.com/watch?v=7hnQcJC81MU

Будем благодарны за обратную связь по стриму здесь: https://forms.gle/FRB8F9qTjnfzX7Rp8

Два месяца назад насовсем выключил уведомления из всех мессенджеров (включая Slack и Telegram). Ни разу не пропустил что-то важное, зато пропустил кучу левых чатов, где и без меня сами разобрались.

Всем советую

В апреле я писал, что мы начали тестить дизлайк в ленте. Тестили два месяца несколько итераций, и пора подводить итоги.

Хорошая новость: удалось научить хорошо ML персонализировать фид на основе дизлайка. В тестовой группе % дизлайков падал: научили алгоритм пессимизировать контент который много дизлайкают.

Плохая новость: вместе с % дизлайков начал падать и процент лайков. Контент пессимизировался там где не надо, видимо мы плохо кластеризовали юзеров. Простых выходов из этой ситуации не нашли.

В результате решили что игра не стоит свеч. Ради 1% дизлайков нет смысла усложнять модель и тратить время. Переключаемся на другие тесты.

​Солью немного эксклюзива про наши последние запуски. С начала года мы запустили несколько новых приложений-аналогов iFunny, на разные рынки и разные аудитории.

Три приложения на США:
⁃ Keke US
⁃ America’s best pictures and videos
⁃ Wholesome Memes

И по одному в каждой из этих стран:
⁃ Германия
⁃ Франция
⁃ UK
⁃ Турция
⁃ Италия
⁃ Испания

Везде мы собирали контент, максимально близкий к местным мем-пабликам и другим медиа.

Короткий вывод за полгода такой: европейский рынок интернет-рекламы находится в жопе. Денег там в 2-5 раз меньше чем в штатах, инвентарь раскупается плохо, CPM низкий. С таким уровнем монетизации смысла нет. Мы уже свернули все приложения, оставили только Германию, и то, в качестве эксперимента. Сами смотрите цифры по ROI.

Кстати, в России у нас тоже есть приложение, поэтому можно сравнить. Наш рекламный рынок чувствует себя вполне ничего. CPM и филлрейты на уровне Германии, а стоимость закупки в 2-3 раза ниже.

​Это график одобряемости пуш уведомлений на новых iOS установках iFunny. Видно, что за год конверсия в одобрение деградировала на 20%, и теперь стала 28%. Когда-то, в 2018, она была около 50%.

Думаю, что таков современный рынок: пользователи всё больше перегружены мусором, поэтому на новых приложениях уведомления стараются не включать.

Это делает iOS всё менее перспективной платформой для приложений с заработком на рекламе: проблемы с пушами, попап запроса advertising id в iOS 14, дорогой траф и постоянно снижающееся ARPU.

​За прошлые шесть месяцев нам неплохо удалось улучшить качество контента в фичереде. Смотрите график Smiles Rate (лайки на 1000 просмотров). Рост за полугодие почти на 30%.

Что зашло:
- Улучшили алгоритм Collective. Теперь мы сортируем мемы по интервалу Вилсона, и даем редакции более качественную выборку мемов для фичереда;
- Уравняли шансы всех пользователей в Collective. Раньше много было завязано на то, кто постит мем. Теперь это не важно, главное – это лайки и дизлайки к мемам.
- Пооптимизировали ML:
⁃ Выкинули мусорные данные от людей, которые ничего не лайкают
⁃ За счет этого подняли глубину датасета
⁃ Наконец стали просить пользователей чаще лайкать баннером в ленте

Что не зашло:
- Дизлайки. Тестили три итерации, так и не поняли как сделать их полезными продукту
- Deep Learning модель (хотя к ней мы еще вернемся)
- UCB-1 и Thompson как алгоритмы бандитов в Collective

В мае мы решили сосредоточиться на America’s best pictures and videos. Это iFunny, но на аудиторию 45+ в США. Впервые я работаю с проектом, где пользователи 65+ составляют более 15% аудитории.

Мы начали с очень низкого smiles rate: всего 5 смайлов на 1000. За три месяца смайлы мы вырастили в 6 раз, до 30 на 1000.
За счет чего:

1) Побили контент на 4 когорты, в пропорциях 25% каждая. Сфокусировались на трех темах: дети и семья, животные, talent video. Плюс одна категория всегда в тесте
2) Выкинули весь контент который не лайкают
3) Стали просить пользователя ставить смайлы (рост сразу на 70%!)
4) Повысили порог значимости в алгоритме сортировки ленты

Продолжаем работать над Smiles Rate и подтягивать глубину просмотра. Смотрят пока в 4 раза ниже iFunny.

​Вот такая простая штуковина нам подняла лайки на 70% в ABPV и на 15% в iFunny. Просишь пользователя ставить смайлы – они ставят. Не в первый раз вижу что тупые фичи круто работают.

Кстати, за идею спасибо Серёге Шалаеву, CEO Relap и Пульса

В ABPV решили покрасить кнопок и сделали тест с иконкой лайка. Было три варианта: дефолт, thumbs up и сердечко.

Гипотеза в том, что пользователи ABPV, люди 40+, не понимают зачем нужна кнопка 😀, и их не переучить. Палец вверх они видели в Фейсбуке, а сердечко – в Инсте.

Результаты: thumbs up дает на 17% больше лайкающих людей и на 27% больше лайков на 1000 показов. Сердечко тоже перформит, но похуже: +8% лайкающих.

Чтобы похожие результаты получить с помощью ML, мы работали больше года

~

Всю жизнь у меня остро стоит вопрос: как отличить мудозвона от нормального чувака? Как не тратить время впустую? Особенно это актуально если вы собеседуете менеджеров в команду или знакомитесь с кем-то на конференции.

Ответ очень прост: говорите о конкретике. Цифры, факты, инсайты, результаты. Сколько каких тестов провели, какой фреймворк использовали, какие результаты получили, куда какой эвент отправляли, какую скидку кому давали, итп. Максимально конкретно и подробно.

Поверьте, вам всё станет ясно за 10 минут.

​Мы подготовились к iOS 14, и первыми на рынке протестили, что будет, если Apple раскатит на всех новую логику отдачи рекламного идентификатора устройства (IDFA). Мы сделали тест, в котором показывали попап запроса IDFA из iOS 14, и смотрели реакцию.

В дефолтном варианте мы получили конверсию 14%. То есть, если раскатится как есть, то мы не сможем таргетировать рекламу на 86% юзеров. Это убьет доходы в 2-3 раза.

Хорошо что Эпл дали заднюю с этим попапом, ведь в таком виде рекламный рынок на iOS будет в жопе, и бюджеты перенесут на Android.

Зацените реакцию юзеров iFunny:

​Снова тестили запрос пушей на онбординге iOS. На этот раз было три варианта онбординга, смотрите картинку.

Вариант B победил с сильным отрывом, там удалось получить одобряемость 70%. Получается, что пользователи готовы включать пуши, если будут уверены что уведомлений много не будет

Также интересен вариант C. Тут мы пытались обмануть пользователя, но почти никто не повелся, и конверсия осталась дефолтной.