Магические 95%

Есть такое понятие - доверительная вероятность.
Применительно к АБ тестированию это величина, которая говорит нам о том, что с определенной вероятностью наш результат был получен не случайно.

Принято считать, что эксперименту можно доверять, если эта величина равна как минимум 95%. Тогда лишь 5% остается на то, что разница между группами возникла из-за случайностей генеральной совокупности и выборки, а не из-за природы эксперимента как такового.

Наверняка вы об этом слышали или даже применяли сами.

Так вот. Почему тут используется именно 95%, а, например, не 80%?

Давайте разберемся.
Но для начала ответим на вопрос.

Какое количество решений менеджера в его карьере является правильным?

Определение правильного решения сама по себе сложная штуковина. Поэтому я придумал взять в модель ту часть управленческих решений, где насчет успеха или неудачи почти не бывает разночтений.

Это найм нового сотрудника.
Никто не хочет нанять сотрудника, чтобы уволить его через три месяца. Все искренне стараются сделать оффер самому лучшему кандидату и точно не готовы на это идти, если подозревают, что человек не справится. Это действие по которому достаточно легко сказать, было ли оно успешным, либо нет.

Так вот, по моим наблюдениям, успешность найма людей находится где-то в диапазоне от 50% до 80%. Восемьдесят это уже реально рекорд, а девяносто не бывает никогда.

Цифры ужасают, огромный процент ошибок! И все же, это абсолютно нормально. Работа мутится, продукты крутятся.

Далее.
Вы играете в монетку. Угадали - получаете доллар, не угадали - отдаете. А теперь представьте, что вы умеете угадывать ее положение с вероятность. 60%? Да, вы проиграете одну, две игры и даже серию подряд. Но обязательно выиграете на длинном промежутке.

И это иллюстрация того, почему 80% успешных решений достаточно для менеджмента. Главное, чтобы решения не были случайными — имели позитивное мат. ожидание выгоды. А дальше важно их количество. На длинном промежутке времени даже решения, верные всего лишь в 80% или даже в 60% случаев, ведут вас к победе.

(я здесь упростил рассуждения про выгоду как функции не только от вероятности, но и от ее абсолютной величины, но вы можете подумать об этом самостоятельно)

А теперь смотрите. Самые лучшие менеджеры имеют вероятность успешных решений в 80%. И в реальности этого бывает достаточно.
Но при этом мы повсеместно настаиваем на том, чтобы наши инструменты анализа давали нам как минимум в четыре раза большую точность (для 95% — вероятность ошибки составляет 5%, а для 80% — 20%).

И теперь мы готовы понять, откуда взялось правило про доверительную вероятность в 95%

Ответ — ниоткуда.

Это произвольно взятая величина, которую взяли от балды, подразумевая, что в этом случае ну почти уж наверняка можно быть уверенным в том, что результат наблюдается не случайно (а значит, на него можно положиться, применять везде и так далее).

Это имеет свою цену - гигантские выборки, долгие эксперименты, куча непринятых решений.

А теперь вопрос. Зачем нам настолько точные инструменты при настолько кривом менеджменте?

Может спуститься с небес на землю и принять за дефолт значение в 80%? Глядишь, и выборка начнет бодрее набираться, и экспериментов больше крутиться.

А ведь может быть даже и 60% 😉

Да. Для научных исследований это плохо. Мы не проводим их так много, чтобы свободно разбрасываться результатами "не повезло сейчас — ну повезет в следующем". Бизнес же клепает такие анализы тысячами. Чрезвычайно важна скорость. Так почему же мы наследуем из академии эти космические точности в 95 или даже 99%, тогда как уровень менеджмента даже близко не позволяет использовать их в полной мере.

Так что вот вам пожелание на новый 2023 год.

Долой 95%, даешь 80%!

Пусть точно считают роботы, а нормальным людям достаточно 80%. В конце концов, должны мы чем-то отличаться от роботов!

—
PS Закиньте на подумать своему аналитику.
Своим я закидывал — шарахаются как черт от ладана, но опровергнуть рассуждения пока не смогли 😁

Лучший анекдот про продактов (причем нашел его у себя же канале 6ю годами ранее).