Отзыв о книге “Доверительное A/B тестирование” и фейлы перевода

Недавно дочитала эту книгу (в основном в переводе, но сверяясь с оригиналом). Книга очень крутая, настоящий must have для продуктовых аналитиков и продакт-менеджеров. Авторы буквально основатели A/B-тестирования в том виде, в каком мы его знаем.

Самые интересные и полезные темы для меня:

1. Введение, актуально не только для аналитиков, так как позволяет больше понять, почему не у всех бывает одинаковым интерфейс сайтов 😏
2. Этика A/B экспериментов, важная тема, которую мало обсуждают на курсах и в телеграм-каналах. Возможно, распишу про это подробнее в отдельном посте.
3. Про t-test и необходимо ли для него нормальное распределение выборки разобрано корректно, лучше чем в некоторых статистических пособиях. Более подробно про это была лекция от Института Биоинформатики.
4. Подводные камни A/B тестирования и способы их избежать: Sample Ratio Mismatch, сетевой эффект, парадокс Симпсона, необходимость A/A тестов и не только. Эти темы сейчас кажутся базовыми, так как много внимания уделяется на курсах, но во многом курсы и вдохновлены этой книгой.
5. Другие варианты экспериментов, когда A/B невозможен: Diff-in-Diff, interrupted time series и тд, неплохой обзор методов, но для глубокого изучения нужны дополнительные источники.

Еще мне было интересно почитать про историческое развитие метода, я даже вдохновилась написать про историю A/B задолго до появления интернета и бигтехов и первые A/B тесты в индустрии.

Но к сожалению перевод на русский от издательства ДМК Пресс оставляет желать лучшего.

Примеры ошибок в переводе:

– логи данных → данные журналов
– логарифмическое преобразование → преобразование журнала
– нулевая гипотеза → гипотеза нулевого значения или гипотеза о нуле
– статистически значимая разница → значительная разница (вот это по-моему одна из самых критичных ошибок)
– и множество мелких неточностей

В принципе в большинстве случаев понятно, о чем идет речь, плюс всегда можно посмотреть оригинал, тем не менее, такие ляпы затрудняют восприятие текста и вызывают недоверие к переводу.

Я бы рекомендовала читать книгу тем, кто хочет подтянуть именно продуктовую и методологическую часть A/B тестирования и повысить насмотренность. Но лучше иметь хороший бэкграунд в статистике и теории вероятностей, все-таки это не статистика и котики)

Пишите в комментариях, какие из вышеперечисленых тем хотелось бы разобрать подробнее!

#analytics #AB_tests

Загадка (все события вымышленны, любое совпадение случайно 😏):

Студент устроился джуном администратором баз данных в один известный бигтех
Проходит месяц. Наступил день зарплаты — а новичок за деньгами не приходит. Прошёл второй месяц, третий, четвёртый, а за зарплатой он так и не пришёл.
Стало его коллеге синьору интересно, что происходит. Он вызывает к себе этого студента и спрашивает:
— Ты что это за зарплатой не приходишь? Не нужна что ли?
— Зарплата?! Ой… А я-то думал, дали данные пользователей — и крутись как хочешь…

#stat_fun

Сходила в гости к дружественному каналу "N айтишниц заходят в бар"
https://t.iss.one/n_it_girls/442
Немного рассказала про то, как попасть в аналитику данных, чуть подробнее про конкретные курсы и инструменты написала здесь https://t.iss.one/stats_for_science/105, а здесь больше про бэкграунд

#analytics

Небольшой интерактив: напишите самые раздражающие фразы, связанные со статистикой

Например:
1) p-value это вероятность того, что нулевая гипотеза верна
2) давайте проведем больше тестов и выберем тот, который покажет значимый результат
3) данные распределены ненормально, нужно делать непараметрический тест
4) достоверность различий

Продолжайте в комментариях!

Из предложенного выберу несколько фраз, и подробно разберу, в чем их ошибочность. Пока что в планах написать про "достоверность различий"

#stats

В предыдущем посте я попросила написать самые раздражающие вещи, связанные со статистикой, набралось очень много ответов, спасибо, было интересно почитать.

В комментариях Дамир Марапов отметил важную мысль, которую я считаю нужным вынести отдельно.

Примеры в комментариях можно условно разделить на:

- Явные ошибки, например в определениях: p-value это вероятность того, что нулевая гипотеза верна, достоверность различий и тому подобное.
- Неточности и ошибки в методологии: например, для t-теста нужно нормальное распределение исходных данных. Тут сложнее, так как конечно нужно нормальное распределение выборочных средних, но в случае нормального распределения данных, это выполняется автоматически. Отсюда и берется этот алгоритм проверки на нормальность тестами Шапиро-Уилка и прочее. Но мы не можем сказать, что всегда можно использовать t-тест не глядя, по ЦПТ, равно как и использовать всегда непараметрические критерии.

И вот про методологию хотелось бы поговорить отдельно.

При обучении статистике сталкиваешься с алгоритмами и догмами (делайте так, а вот так неправильно), это касается всего, в том числе выбора статистического теста (немного писала, почему это плохо в материале про тест Велча). Но алгоритмы хороши только на этапе обучения, а дальше уже выясняется, что “есть нюанс”.

Простой пример из комментариев — корреляция бинарных переменных. Если честно, я тоже думала, что корреляции и ковариации бинарных величин не бывает (ну как вы собрались коррелировать 0 и 1?), но оказывается это имеет смысл, вот здесь можно почитать подробнее.

Даже такой карикатурный пример про продакта, который просит подсчитать результаты АБ теста в разных сегментах, чтобы найти хоть где-то значимые различия не всегда однозначно абсурден. Например, если мы обнаружили, что на какой-то платформе и в каком-то гео есть значимые различия, то можно провести дополнительное исследование конкретно в этом сегменте, чтобы подтвердить различия (особенно если у этого есть продуктовое обоснование). Но конечно в формулировке:

найди мне хоть где-то в этом АБ значимые различия, поправку на множественное сравнение не делай, а то вся значимость уйдет

— это хрестоматийный пример как делать не надо.

Тест Манна-Уитни сравнивает медианы — это статистический миф, но при выполнении определенных условий (если совпадают формы распределений) тест Манна-Уитни действительно сравнивает медианы.

Подглядывание в A/B тесты - запрещено, но если делать sequential testing, то можно.

В общем, я хочу подчеркнуть, что многие статистические правила и рекомендации являются действительно рекомендациями, а не догмами, и что-то, что в учебнике было описано как неверное, может на самом деле быть применимым в определенных условиях.
Потому статистику невозможно освоить на хорошем уровне за один семестровый или годовой курс, хотя они дают хорошую базу для дальнейшего изучения. То же самое можно сказать про курсы повышения квалификации — это отличный задел на будущее, но не стоит думать, что после освоения такого курса вы сразу станете гуру статистики и никогда не будете ошибаться, просто перестанете делать очевидные ошибки.
Ну ладно, так у меня не купят рекламу)
Но если серьезно, то после любого курса нужно продолжать обучение, погружаться в детали, так как четкие алгоритмы и рекомендации хороши только для старта.

#stats