Появившийся ChatGPT (который является продолжением GPT3) демонстрирует удивительные способности к генерации текста. Надо попробовать, чтобы понять насколько хорошо. Песня про космодесантников и тако? Да. Синопсис сериала про кота, который торгует чайным грибом? Без проблем. Конечно, система ещё ошибается, но она все еще в начале долгого пути.

Сложно предсказать точные последствия этой технологии, но какие-то вещи представить можно, взяв за основу прошлые события.

В прошлом, до изобретения технологии записи музыки, в мире было очень много музыкантов. Каждый театр, данс-холл, бал, свадьба или похороны требовали команды, которая будет там играть. То есть была массовая потребность в профессиональных музыкантах и это была уважаемая профессия, которая заведомо могла тебя прокормить.

Технология записи это изменила. Все эти музыканты живой музыки стали просто не нужны. Люди по прежнему играют на музыкальных инструментах в качестве хобби. У нас есть некоторое количество звёзд, которые известны всем и их гораздо больше чем было. Но вот "средний класс" резко сократился. Он всё еще есть, но его мало и он неустойчив — никто теперь не выбирает профессию кларниста, чтобы она прокормит семью.

Кардинальное увеличение доступности продукта и уменьшение его стоимости приводит к увеличению экстремумов (больше очень известных звёзд, больше людей, которые как-то интересуются музыкой), но убивает тех, кто в середине.

Я убеждён, что нас ждёт нечто подобное в среде иллюстраторов, контент-менеджеров, SMM менеджеров и так далее. Эти профессии никуда не уйдут (музыканты не исчезли), но "середнячкам" cо временем будет непросто. Нужно будет или стать лучшим в своём деле или же активно переходить на использование новых инструментов (используя AI как помощника), ускоряя свою работу (возможность записи в конце концов создало новые профессии и кардинально увеличило рынок).

Для продуктов же через какое-то время AI станет такой-же фичей, как и в своё время mobile. Раньше mobile был отдельным продуктом. Были отдельные сервисы для создания "мобильных версий" сайтов, были книжки про "mobile-first" дизайн и так далее. А сейчас mobile (и приложения и сайты) просто фича каждого продукта (в терминах Кано — перешло из Excitement feature в Basic)

С AI будет также. Везде где нужно что-то создавать (тексты, картинки, структуры), появится подпорка в виде AI. Штуки типа GPT-3 или Dall-E уже круты, а это ведь только начало. У крупных ребят это будет своё, остальные будут использовать API и платить за них (аналог App Store tax, AWS tax и т.д.)

Магические 95%

Есть такое понятие - доверительная вероятность.
Применительно к АБ тестированию это величина, которая говорит нам о том, что с определенной вероятностью наш результат был получен не случайно.

Принято считать, что эксперименту можно доверять, если эта величина равна как минимум 95%. Тогда лишь 5% остается на то, что разница между группами возникла из-за случайностей генеральной совокупности и выборки, а не из-за природы эксперимента как такового.

Наверняка вы об этом слышали или даже применяли сами.

Так вот. Почему тут используется именно 95%, а, например, не 80%?

Давайте разберемся.
Но для начала ответим на вопрос.

Какое количество решений менеджера в его карьере является правильным?

Определение правильного решения сама по себе сложная штуковина. Поэтому я придумал взять в модель ту часть управленческих решений, где насчет успеха или неудачи почти не бывает разночтений.

Это найм нового сотрудника.
Никто не хочет нанять сотрудника, чтобы уволить его через три месяца. Все искренне стараются сделать оффер самому лучшему кандидату и точно не готовы на это идти, если подозревают, что человек не справится. Это действие по которому достаточно легко сказать, было ли оно успешным, либо нет.

Так вот, по моим наблюдениям, успешность найма людей находится где-то в диапазоне от 50% до 80%. Восемьдесят это уже реально рекорд, а девяносто не бывает никогда.

Цифры ужасают, огромный процент ошибок! И все же, это абсолютно нормально. Работа мутится, продукты крутятся.

Далее.
Вы играете в монетку. Угадали - получаете доллар, не угадали - отдаете. А теперь представьте, что вы умеете угадывать ее положение с вероятность. 60%? Да, вы проиграете одну, две игры и даже серию подряд. Но обязательно выиграете на длинном промежутке.

И это иллюстрация того, почему 80% успешных решений достаточно для менеджмента. Главное, чтобы решения не были случайными — имели позитивное мат. ожидание выгоды. А дальше важно их количество. На длинном промежутке времени даже решения, верные всего лишь в 80% или даже в 60% случаев, ведут вас к победе.

(я здесь упростил рассуждения про выгоду как функции не только от вероятности, но и от ее абсолютной величины, но вы можете подумать об этом самостоятельно)

А теперь смотрите. Самые лучшие менеджеры имеют вероятность успешных решений в 80%. И в реальности этого бывает достаточно.
Но при этом мы повсеместно настаиваем на том, чтобы наши инструменты анализа давали нам как минимум в четыре раза большую точность (для 95% — вероятность ошибки составляет 5%, а для 80% — 20%).

И теперь мы готовы понять, откуда взялось правило про доверительную вероятность в 95%

Ответ — ниоткуда.

Это произвольно взятая величина, которую взяли от балды, подразумевая, что в этом случае ну почти уж наверняка можно быть уверенным в том, что результат наблюдается не случайно (а значит, на него можно положиться, применять везде и так далее).

Это имеет свою цену - гигантские выборки, долгие эксперименты, куча непринятых решений.

А теперь вопрос. Зачем нам настолько точные инструменты при настолько кривом менеджменте?

Может спуститься с небес на землю и принять за дефолт значение в 80%? Глядишь, и выборка начнет бодрее набираться, и экспериментов больше крутиться.

А ведь может быть даже и 60% 😉

Да. Для научных исследований это плохо. Мы не проводим их так много, чтобы свободно разбрасываться результатами "не повезло сейчас — ну повезет в следующем". Бизнес же клепает такие анализы тысячами. Чрезвычайно важна скорость. Так почему же мы наследуем из академии эти космические точности в 95 или даже 99%, тогда как уровень менеджмента даже близко не позволяет использовать их в полной мере.

Так что вот вам пожелание на новый 2023 год.

Долой 95%, даешь 80%!

Пусть точно считают роботы, а нормальным людям достаточно 80%. В конце концов, должны мы чем-то отличаться от роботов!

—
PS Закиньте на подумать своему аналитику.
Своим я закидывал — шарахаются как черт от ладана, но опровергнуть рассуждения пока не смогли 😁