Как я перепутала средние чеки и ARPPU и заруинила несколько A/B тестов

Я работаю в команде платежей, поэтому основные A/B тесты у нас проводятся на последнем этапе воронки - от нажатия кнопки “Купить” до успешной оплаты. Мы используем конверсию в успешную оплату как ключевую метрику и ARPPU как вспомогательную, это достаточно стандартный подход.

Иногда бывает, что одна из метрик падает, а другая растет. Чтобы понять, что на самом деле происходит с выручкой, мы используем прогнозную финмодель. Мой коллега Рома читал про это очень крутой доклад на Aha-25 (ссылка вот, попозже я может напишу развернутый отзыв на конфу).

Небольшая сноска про термины 🤓:
Средний чек (Average Order Value, AOV) - это просто вся выручка, деленная на количество транзакций, то есть буквально среднеарифметическое.
ARPPU (Average Revenue Per Paying User) - средняя выручка на платящего пользователя.
Пример: пользователь 1 купил на 200р, пользователь 2 купил на 100р, потом еще на 300р. Тогда средний чек будет (200+100+300)/3=200, а ARPPU = (200 + (100+300))/2 = 300, так как платящих пользователей 2 в этом примере.
Есть еще метрика ARPU - Average Revenue Per User, средняя выручка на пользователя (включая тех, кто не заплатил).

ARPPU будет всегда больше чем средний чек, как минимум не меньше.
В контексте A/B тестов эти метрики считаются базовыми и разбираются на любом курсе.

Моя ошибка была в том, что я считала средние чеки (просто mean(revenue)), но почему-то думала что это уже ARPPU, таким образом проанализировала несколько результатов тестов. Ошибку случайно заметил продакт, когда сверял исторические данные и увидел, что мои значения "ARPPU" по порядку величины подозрительно похожи на средние чеки 🤦‍♀️. Пришлось пересчитывать, благо принципиально выводы не поменялись, но несколько тестов были признаны неуспешными, а после пересчета оказалось, что все нормально.

Почему используется именно ARPPU как метрика в A/B тестировании?

В принципе, можно использовать разные денежные метрики в зависимости от поставленной задачи. В нашем случае мы рассматриваем ARPPU в связке с конверсией. Используя финмодель, эта связка помогает принимать решения не “на глазок”, а с прогнозом реальной выручки. Но только если метрики посчитаны правильно — теперь я это точно не забуду 🙃

#analytics #AB_tests

🌱 Мендель, хи-квадрат и споры о статистике

В середине XIX века монах Грегор Мендель скрещивал сорта гороха и вывел знаменитые соотношения 3:1 и 9:3:3:1, которые стали фундаментом для понимания наследования признаков. Мы со школы знаем Менделя как отца генетики, и наверняка все помнят тот самый зеленый гладкий и желтый морщинистый горошек для иллюстрации законов дигибридного скрещивания.

В своей работе Мендель выбрал признаки, которые зависят только от одного гена, так называемые моногенные признаки — форма семян, цвет семян, высота стебля и тд, всего 7 признаков.

Мендель провёл десятки тысяч скрещиваний и получил соотношения 3:1 и 9:3:3:1. Это пример моногенного наследования — когда признак зависит от одного гена, и подчиняется простым законам, тем самым законам Менделя, которые назовут в его честь сильно позже:

1) Закон единообразия гибридов первого поколения: доминантный аллель подавляет рецессивный, и все гибриды первого поколения (F1) имеют одинаковый фенотип.

2) Закон расщепления признаков: при скрещивании гетерозигот (Aa × Aa) потомство делится в пропорции 3:1 по фенотипу и 1:2:1 по генотипу.

3) Закон независимого наследования признаков: при дигибридном скрещивании (два признака) гены наследуются независимо, давая соотношение 9:3:3:1 по фенотипу.

В целом можно сказать, что законы Менделя это “Hello world” от мира генетики. Во многих случаях они нарушаются, например если гены сцеплены, или если гомозиготы по рецессивному признаку не выживают, тогда расщепление будет другое. Однако было бы несправедливо сказать, что Менделю просто повезло наткнуться на удачный признак и удачный тип наследования, ведь был и неудачный опыт с ястребинкой, но это отдельная история.

Нас же интересует статистика.

В 1936 году Рональд Фишер, один из основателей современной статистики и синтетической теории эволюции, применил χ²-тест к данным Менделя и отметил, что результаты слишком близки к теоретическим пропорциям 3:1 и 9:3:3:1. Это вызвало подозрения.

Даже при моногенном наследовании должны были возникать отклонения от теоретических значений. Фишер предположил, что неизвестный ассистент Менделя мог неосознанно корректировать или отбирать данные, так как знал желаемое распределение.

Цитата Фишера:

"the data of most, if not all, of the experiments have been falsified so as to agree closely with Mendel’s expectations"

По сути, Фишер обвинил Менделя в фальсификации данных, что вызвало бурные споры в научном сообществе, которые актуальны и сейчас (последнюю статью на эту тему нашла за 2019 год).

А что думают статистики сейчас?

Одна из ключевых современных работ — статья Pires & Branco (2010) в журнале Statistical Science. Авторы предложили простую, но элегантную статистическую модель, которая объясняет «слишком идеальные» данные Менделя без фальсификации.
Их гипотеза:

Мендель мог из нескольких экспериментов публиковать только результаты с лучшим распределением, наиболее близким к теоретическому.

То есть если эксперимент давал пропорции хуже, чем предполагалось, его повторяли. А если новый результат был ближе к теории — брали его. Это не фальсификация, а unconscious bias, то есть неосознанная предвзятость.

Авторы показали, что такая модель:

- воспроизводит распределение p-value в данных Менделя,
- снимает подозрения в преднамеренной фальсификации,
- объясняет низкие χ²-значения лучше, чем честная выборка с независимыми тестами.

При этом они подчёркивают, несмотря на то, что замечание Фишера обосновано с точки зрения статистики, предложенная модель разрешает долгое противоречие между Менделем и Фишером, отцами современной генетики и статистики.

#stats

В комментарии закину фотографию из музея Менделя в Брно

Отзыв о книге “Доверительное A/B тестирование” и фейлы перевода

Недавно дочитала эту книгу (в основном в переводе, но сверяясь с оригиналом). Книга очень крутая, настоящий must have для продуктовых аналитиков и продакт-менеджеров. Авторы буквально основатели A/B-тестирования в том виде, в каком мы его знаем.

Самые интересные и полезные темы для меня:

1. Введение, актуально не только для аналитиков, так как позволяет больше понять, почему не у всех бывает одинаковым интерфейс сайтов 😏
2. Этика A/B экспериментов, важная тема, которую мало обсуждают на курсах и в телеграм-каналах. Возможно, распишу про это подробнее в отдельном посте.
3. Про t-test и необходимо ли для него нормальное распределение выборки разобрано корректно, лучше чем в некоторых статистических пособиях. Более подробно про это была лекция от Института Биоинформатики.
4. Подводные камни A/B тестирования и способы их избежать: Sample Ratio Mismatch, сетевой эффект, парадокс Симпсона, необходимость A/A тестов и не только. Эти темы сейчас кажутся базовыми, так как много внимания уделяется на курсах, но во многом курсы и вдохновлены этой книгой.
5. Другие варианты экспериментов, когда A/B невозможен: Diff-in-Diff, interrupted time series и тд, неплохой обзор методов, но для глубокого изучения нужны дополнительные источники.

Еще мне было интересно почитать про историческое развитие метода, я даже вдохновилась написать про историю A/B задолго до появления интернета и бигтехов и первые A/B тесты в индустрии.

Но к сожалению перевод на русский от издательства ДМК Пресс оставляет желать лучшего.

Примеры ошибок в переводе:

– логи данных → данные журналов
– логарифмическое преобразование → преобразование журнала
– нулевая гипотеза → гипотеза нулевого значения или гипотеза о нуле
– статистически значимая разница → значительная разница (вот это по-моему одна из самых критичных ошибок)
– и множество мелких неточностей

В принципе в большинстве случаев понятно, о чем идет речь, плюс всегда можно посмотреть оригинал, тем не менее, такие ляпы затрудняют восприятие текста и вызывают недоверие к переводу.

Я бы рекомендовала читать книгу тем, кто хочет подтянуть именно продуктовую и методологическую часть A/B тестирования и повысить насмотренность. Но лучше иметь хороший бэкграунд в статистике и теории вероятностей, все-таки это не статистика и котики)

Пишите в комментариях, какие из вышеперечисленых тем хотелось бы разобрать подробнее!

#analytics #AB_tests

Загадка (все события вымышленны, любое совпадение случайно 😏):

Студент устроился джуном администратором баз данных в один известный бигтех
Проходит месяц. Наступил день зарплаты — а новичок за деньгами не приходит. Прошёл второй месяц, третий, четвёртый, а за зарплатой он так и не пришёл.
Стало его коллеге синьору интересно, что происходит. Он вызывает к себе этого студента и спрашивает:
— Ты что это за зарплатой не приходишь? Не нужна что ли?
— Зарплата?! Ой… А я-то думал, дали данные пользователей — и крутись как хочешь…

#stat_fun

Сходила в гости к дружественному каналу "N айтишниц заходят в бар"
https://t.iss.one/n_it_girls/442
Немного рассказала про то, как попасть в аналитику данных, чуть подробнее про конкретные курсы и инструменты написала здесь https://t.iss.one/stats_for_science/105, а здесь больше про бэкграунд

#analytics

Небольшой интерактив: напишите самые раздражающие фразы, связанные со статистикой

Например:
1) p-value это вероятность того, что нулевая гипотеза верна
2) давайте проведем больше тестов и выберем тот, который покажет значимый результат
3) данные распределены ненормально, нужно делать непараметрический тест
4) достоверность различий

Продолжайте в комментариях!

Из предложенного выберу несколько фраз, и подробно разберу, в чем их ошибочность. Пока что в планах написать про "достоверность различий"

#stats