Комментрий по недавней задачке.
Кейс, к слову, получился не очень наглядный и интересный, но что уж. Постараюсь другие делать по-прозрачнее.
Во-первых, общие размышления. Я смотрю на рет1 в том числе и в разрезе по группам активности. Группы можно выделять как по абсолютным значениям (так гд обычно делают), так и по квартилям (наш лид недавно предложил такой вариант, пока тестируем). Это помогает понять, за счет какой аудитории изменилось удержание. Тут, к слову, нередко бывают забавы в духе парадокса Симпсона, когда ретеншен изменился за счет перераспределения аудитории по группам (когда какая-нибудь сильно выросла в численности, например). В этой ситуации тоже есть прирост в группе самых активных, но это только часть ответа.
Собственно, по картинке. Тут самое подозрительное, что ретеншен неактивных и малоактивных пользователей упал. А у самых активных — вырос. В норме, если изменения первой сессии оказались очень хороши, я бы ожидал системного роста удержания во всех группах.
Я склонен интерпретировать ситуацию следующим образом. Когда мы сделали туториал быстрее и короче (так как сделали меньше раундов в туториальных матчах), пользователи стали дальше проваливать по воронке боев, делать их больше. Но при этом все равно отваливаться. Таким образом мы просто сдвинули точку отвала и несколько обострили выбор. То есть, пользователи, которые раньше ждали конца первого матча туториала и потом отваливались, сейчас делают выбор намного раньше.
При этом у нас вырос рет у очень активных пользователей (и количество тоже). Для меня это выглядит так, будто нам удалось заинтересовать какую-то аудиторию, которая проскочила быстрый туториал и потом еще надолго задержалась в игре и вернулась на след.день.
В комментариях были предложения смотреть время сессии. Я, признаться, не люблю эту метрику, ее достаточно сложно корректно посчитать в мобилках. Но у нас есть что-то похожее — heartbeat, события, которые отправляются каждые X секунд (по аналогии с user_engagement из Firebase-трекинга). Правда, под рукой этого графика сейчас нет, а что там было в отчете, уже не помню, к сожалению.
#exercises
Кейс, к слову, получился не очень наглядный и интересный, но что уж. Постараюсь другие делать по-прозрачнее.
Во-первых, общие размышления. Я смотрю на рет1 в том числе и в разрезе по группам активности. Группы можно выделять как по абсолютным значениям (так гд обычно делают), так и по квартилям (наш лид недавно предложил такой вариант, пока тестируем). Это помогает понять, за счет какой аудитории изменилось удержание. Тут, к слову, нередко бывают забавы в духе парадокса Симпсона, когда ретеншен изменился за счет перераспределения аудитории по группам (когда какая-нибудь сильно выросла в численности, например). В этой ситуации тоже есть прирост в группе самых активных, но это только часть ответа.
Собственно, по картинке. Тут самое подозрительное, что ретеншен неактивных и малоактивных пользователей упал. А у самых активных — вырос. В норме, если изменения первой сессии оказались очень хороши, я бы ожидал системного роста удержания во всех группах.
Я склонен интерпретировать ситуацию следующим образом. Когда мы сделали туториал быстрее и короче (так как сделали меньше раундов в туториальных матчах), пользователи стали дальше проваливать по воронке боев, делать их больше. Но при этом все равно отваливаться. Таким образом мы просто сдвинули точку отвала и несколько обострили выбор. То есть, пользователи, которые раньше ждали конца первого матча туториала и потом отваливались, сейчас делают выбор намного раньше.
При этом у нас вырос рет у очень активных пользователей (и количество тоже). Для меня это выглядит так, будто нам удалось заинтересовать какую-то аудиторию, которая проскочила быстрый туториал и потом еще надолго задержалась в игре и вернулась на след.день.
В комментариях были предложения смотреть время сессии. Я, признаться, не люблю эту метрику, ее достаточно сложно корректно посчитать в мобилках. Но у нас есть что-то похожее — heartbeat, события, которые отправляются каждые X секунд (по аналогии с user_engagement из Firebase-трекинга). Правда, под рукой этого графика сейчас нет, а что там было в отчете, уже не помню, к сожалению.
#exercises
🔥3❤1👍1
Команды прототипов -- это, конечно, особый мир, безжалостный и беспощадный. Вайпы прогресса, радикальные перешатывания меты (если продюсер будет нежен(а), то с миграцией), нерфы абилок и болезненные кривые сложности, зажимание в углах и лишение прототипной девственности, картинки и идеи, которые никогда не пойдут в прод, жестокосердность продюсеров..."Мы уже давно почту саппорта не читаем. Будет сильно ныть -- вообще забаним". Так и живем.
*по следам плейтеста пивота
*по следам плейтеста пивота
😢6
Меж тем, уже началась онлайн-секция Aha!25.
Я планирую быть на оффлайн-части 29-30 мая. Вот тут писал про доклады, которые думаю посетить.
Если будете там и хотите встретиться — напишите, буду рад пообщаться.
Онлайн-трек доступен всем, кто зарегистрировался на платформе https://lms.matemarketing.ru.
Я планирую быть на оффлайн-части 29-30 мая. Вот тут писал про доклады, которые думаю посетить.
Если будете там и хотите встретиться — напишите, буду рад пообщаться.
❤7🔥1
Внезапно прошел уже месяц с AHA25. Можно, наконец, как честному слоупоку, поговорить про впечатления.
Программа оставила смешанные впечатления. Пропал блок по поведенческой экономике, появился блок по здоровью, чекапам и прочему. Очень много про AI / LLM, притом не с точки зрения продуктовой аналитики, а в продуктовых или маркетинговых задачах.
Из чисто аналитических инсайтов — и в кулуарах, и в докладах регулярно звучали реплики про “мы собираем 100500 метрик”. Конечно, какие-то метрики для ui, какие-то — по сегментам, но все равно. Сколько слышу, каждый раз поражает. Но одновременно задумался — может, и нам стоит больше метрик придумать/использовать?
Больше всего понравились два доклада. Тоже про метрики. Здесь можно посмотреть аннотации докладов.
Первый — “От cuped к mutlti-cuped: больше метрик — больше решений, или как мы превратили обилие метрик из штрафа в бонус»” (Григорий Засько, Лаборатория Прикладной Статистики, Т-Банк). Одна из идей доклада — использовать в тестах многомерные критерии, чтобы принимать решение не по изменению одной метрики, а по совокупности метрик. И “набор метрик как экосистемное изменение”. Вполне можно прикрутить к некоторым экспериментам в играх, мне кажется, так как у нас эксперименты нередко предполагают системное изменение поведения пользователя.
Второй интересный доклад — “Проксируй это: как использовать прокси-метрики умнее?” (Артем @gofat Ерохин, X5). Для меня это доклад про темы “подумать попозже” (особенно в части про causal inference), так как в моей работе прокси достаточно примитивные (воронка боев как прокси к ретеншену) и без какого-то глубокого осмысления и манипуляций. Зато вроде бы придумал, почему один из наших эксперментов оказался неудачен — кажется, мы напоролись на то, что называют законом Гудхарда — “Когда мера становится целью, она перестает быть хорошей мерой”. Мы пытались манипулировать прокси-метрикой, чтобы изменить целевую метрику и у нас (закономерно по Гудхарду) ничего не получилось. Скорее всего причины, почему именно не получилось у нас, лежат гораздо глуже. Но в первом приближении все равно неплохая интерпретация.
В общем, ходить на конференции полезно, в который раз убеждаюсь. Если даже не сами доклады, то некоторые решения в них или реплики в кулуарах наталкивают на новые идеи.
Программа оставила смешанные впечатления. Пропал блок по поведенческой экономике, появился блок по здоровью, чекапам и прочему. Очень много про AI / LLM, притом не с точки зрения продуктовой аналитики, а в продуктовых или маркетинговых задачах.
Из чисто аналитических инсайтов — и в кулуарах, и в докладах регулярно звучали реплики про “мы собираем 100500 метрик”. Конечно, какие-то метрики для ui, какие-то — по сегментам, но все равно. Сколько слышу, каждый раз поражает. Но одновременно задумался — может, и нам стоит больше метрик придумать/использовать?
Больше всего понравились два доклада. Тоже про метрики. Здесь можно посмотреть аннотации докладов.
Первый — “От cuped к mutlti-cuped: больше метрик — больше решений, или как мы превратили обилие метрик из штрафа в бонус»” (Григорий Засько, Лаборатория Прикладной Статистики, Т-Банк). Одна из идей доклада — использовать в тестах многомерные критерии, чтобы принимать решение не по изменению одной метрики, а по совокупности метрик. И “набор метрик как экосистемное изменение”. Вполне можно прикрутить к некоторым экспериментам в играх, мне кажется, так как у нас эксперименты нередко предполагают системное изменение поведения пользователя.
Второй интересный доклад — “Проксируй это: как использовать прокси-метрики умнее?” (Артем @gofat Ерохин, X5). Для меня это доклад про темы “подумать попозже” (особенно в части про causal inference), так как в моей работе прокси достаточно примитивные (воронка боев как прокси к ретеншену) и без какого-то глубокого осмысления и манипуляций. Зато вроде бы придумал, почему один из наших эксперментов оказался неудачен — кажется, мы напоролись на то, что называют законом Гудхарда — “Когда мера становится целью, она перестает быть хорошей мерой”. Мы пытались манипулировать прокси-метрикой, чтобы изменить целевую метрику и у нас (закономерно по Гудхарду) ничего не получилось. Скорее всего причины, почему именно не получилось у нас, лежат гораздо глуже. Но в первом приближении все равно неплохая интерпретация.
В общем, ходить на конференции полезно, в который раз убеждаюсь. Если даже не сами доклады, то некоторые решения в них или реплики в кулуарах наталкивают на новые идеи.
❤15👍8
Два дня — два закрытых прототипа. Один не прошел первые бенчмарки. Второй не получилось масштабировать. Команды ушли в глубокое погружение и обсуждают новые концепты.
В итоге на моем фюзеляже пятнадцать звездочек. Иногда мне кажется, что это мое проклятие — стоит мне уйти, как проекты не просто пойдут вверх, а полетят ракетой.
Одно понятно — полишинг и оптимизация, к которым все привыкли на проектах в оперировании, не нужны на прототипах. Если делать эксперименты — то только с большими эффектами и сильными изменениями. Реплика с одного из обсуждений в тему:
В итоге на моем фюзеляже пятнадцать звездочек. Иногда мне кажется, что это мое проклятие — стоит мне уйти, как проекты не просто пойдут вверх, а полетят ракетой.
Одно понятно — полишинг и оптимизация, к которым все привыкли на проектах в оперировании, не нужны на прототипах. Если делать эксперименты — то только с большими эффектами и сильными изменениями. Реплика с одного из обсуждений в тему:
страшно -- это когда клан игроков пришел к офису и обещал всем дать пизды. вот тогда было страшно. а поменять цены -- не страшно.
❤13😁10
Я последние полтора месяца в каком-то летнем лимбе, хайкинге и некоторых жизненных изменениях.
В результате тело как перышко, крыша как дуршлаг, ничего осмысленного писать не получается, простите. Только прохладные истории да забавные сюжеты.
Вот, например, даталорды где-то откопали забавную игрушку “Who is the Best CDO?”. К слову, когда играл, практически не смотрел на смысловое содержание, только на варианты выборов и как они соотносятся с бюджетом и задачами. И есть у меня смутное подозрение, что игрушка намного реалистичнее, чем хотелось бы.
В результате тело как перышко, крыша как дуршлаг, ничего осмысленного писать не получается, простите. Только прохладные истории да забавные сюжеты.
Вот, например, даталорды где-то откопали забавную игрушку “Who is the Best CDO?”. К слову, когда играл, практически не смотрел на смысловое содержание, только на варианты выборов и как они соотносятся с бюджетом и задачами. И есть у меня смутное подозрение, что игрушка намного реалистичнее, чем хотелось бы.
Whoisthebestcdo
Who is the Best CDO?
Vote for the coolest cat in the office!
🔥9❤2
Недавно услышал неожиданную мысль — при увеличении конверсии в платящих ретеншен платящих будет снижаться. Потому что менее релевантные игроки становятся платящими и поэтому меньше удерживаются. По аналогии с масштабированием трафика и/или фичерами, когда начинаем больше закупать, качество аудитории и ретеншен падают.
Для меня, честно говоря, это выглядит достаточно странно. Я привык жить в парадигме, что платящие пользователи относительно однородны, платеж служит просто фильтром специальной мотивированной аудитории. Они могут потом не делать второй платеж, уходить из игры и тому подобное, но это уже эффекты продукта, а не следствие деградации аудитории.
При этом я навскидку не очень представляю, как это можно проверить или опровергнуть. Как и доказать однородность сконвертировавшихся пользователей. Конечно, можно сделать тест, где тестовой группе сделать сверхдешевый стартерпак. Набежит куча пользователей, которая потом также быстро отвалится. Но, на мой взгляд, это будет нечестный тест, так как нормальное повышение конверсии предполагает все же продуктовые изменения, а не демпинг.
В общем, кажется, это из того же ряда аксиом индустрии, типа “метрики органики всегда лучше платных пользователей, потому что она более мотивированная”. Видимо, надо просто принять свою сторону и исходя из этого работать дальше. Хочется сказать “рынок потом узнаетсвоих кто прав”, но то мечты, мечты.
Для меня, честно говоря, это выглядит достаточно странно. Я привык жить в парадигме, что платящие пользователи относительно однородны, платеж служит просто фильтром специальной мотивированной аудитории. Они могут потом не делать второй платеж, уходить из игры и тому подобное, но это уже эффекты продукта, а не следствие деградации аудитории.
При этом я навскидку не очень представляю, как это можно проверить или опровергнуть. Как и доказать однородность сконвертировавшихся пользователей. Конечно, можно сделать тест, где тестовой группе сделать сверхдешевый стартерпак. Набежит куча пользователей, которая потом также быстро отвалится. Но, на мой взгляд, это будет нечестный тест, так как нормальное повышение конверсии предполагает все же продуктовые изменения, а не демпинг.
В общем, кажется, это из того же ряда аксиом индустрии, типа “метрики органики всегда лучше платных пользователей, потому что она более мотивированная”. Видимо, надо просто принять свою сторону и исходя из этого работать дальше. Хочется сказать “рынок потом узнает
👍17❤1
Прекрасные ребята из AppMagic недавно выпустили отчет по LiveOps-механикам казуальных игр в первом полугодии 2025 года. Добрался я до него через две недели, конечно, но рад, что не пропустил.
Внутри — оценка плотности LiveOps-ивентов, разбор популярных механик ивентов, просто общая оценка ситуации в ключевых жанрах (casino, puzzles, hybridcasual). Притом получилась синхрония — буквально сегодня в паре игр видел некоторые трендовые механики из отчета.
Глядя на эти механики, которые по сути являются самостоятельным геймплеем, вспомнилась старая фраза “а давайте [в шутер] встроим match3 и будут нам горы золота!” В каждой шутке, как говорится.
В общем, хороший и интересный отчет. Вот бы еще что-то такое же и по мидкорным жанрам.
#reports
Внутри — оценка плотности LiveOps-ивентов, разбор популярных механик ивентов, просто общая оценка ситуации в ключевых жанрах (casino, puzzles, hybridcasual). Притом получилась синхрония — буквально сегодня в паре игр видел некоторые трендовые механики из отчета.
Глядя на эти механики, которые по сути являются самостоятельным геймплеем, вспомнилась старая фраза “а давайте [в шутер] встроим match3 и будут нам горы золота!” В каждой шутке, как говорится.
В общем, хороший и интересный отчет. Вот бы еще что-то такое же и по мидкорным жанрам.
#reports
🔥9❤3
Сижу тут, читаю дизайн аб-теста одних ребят. Фича достаточно простая, ничего нового — немного перешатали предъявление офферов, чтобы больше показывать актуальные и/или релевантные офферы.
Внутри дизайна все вроде бы по красоте — ожидаемый размер эффекта, целевая монетизационная метрика, контрольные (заградительные) метрики, расчет выборки… Даже есть набор метрик в доп.исследовании типа среднего чека и т. д.
В какой-то момент ловлю себя на мысли, что не понимаю, почему это должно работать. Нигде не описана логическая цепочка, как фича приведет к повышению целевой монетизационной метрики. В этом примере, например, это могло быть что-то типа “пользователи больше видят релевантные офферы и лучше в них конвертятся, в итоге растут деньги”. Следовательно из этого можно было бы взять другую целевую метрику для эксперимента или как минимум направление дополнительных исследований об эффекте от фичи.
В результате потеряна связь между фичей и ее эффектом. Предложил выпытывать у продюсера, как именно фича должна повлиять на поведение пользователей, чтобы изменились целевые метрики, и явно включать это в дизайн исследования. Теперь интересно, сработает ли.
Внутри дизайна все вроде бы по красоте — ожидаемый размер эффекта, целевая монетизационная метрика, контрольные (заградительные) метрики, расчет выборки… Даже есть набор метрик в доп.исследовании типа среднего чека и т. д.
В какой-то момент ловлю себя на мысли, что не понимаю, почему это должно работать. Нигде не описана логическая цепочка, как фича приведет к повышению целевой монетизационной метрики. В этом примере, например, это могло быть что-то типа “пользователи больше видят релевантные офферы и лучше в них конвертятся, в итоге растут деньги”. Следовательно из этого можно было бы взять другую целевую метрику для эксперимента или как минимум направление дополнительных исследований об эффекте от фичи.
В результате потеряна связь между фичей и ее эффектом. Предложил выпытывать у продюсера, как именно фича должна повлиять на поведение пользователей, чтобы изменились целевые метрики, и явно включать это в дизайн исследования. Теперь интересно, сработает ли.
👍25👎2