Бизнес-метрики против ML-метрик

В машинном обучении легко забыться в красивых графиках и цифрах. На душе хорошо, когда MSE снизился, MAPE тоже, AUC-PR вырос, а ROC AUC перевалил за 0,9.

Рано радоваться. На хакатонах этого хватит. В бизнесе — нет. Идеальный по всем ML-метрикам алгоритм вполне может уводить маржу в минус.

И это естественно, ведь ML-метрики засекают точность предсказаний, а не влияние на выручку.

Представим рекомендательную систему с высокой полнотой. Система включает в выдачу почти все релевантные товары. Однако это не значит, что почти все товары в выдаче релевантные. Если в выдаче много товаров с низкой маржой, прибыль упадет.

И пока отчеты сияют метриками, CFO видит минус в P&L.

Бизнесу же нужны свои метрики: доход на пользователя, рост конверсии, увеличение среднего чека, удержание, LTV. Именно они показывают, есть ли деньги в улучшении модели. Поэтому главный вопрос при выборе ML-метрик — как они связаны с этими показателями.

Хорошая практика — строить мосты: ML → прокси → бизнес.

Например, для прогнозирования спроса: уменьшение MAPE (ML) → снижение частоты нехваток на полке (прокси) → рост реализованных продаж и выручки (бизнес).

Ошибка многих команд — оптимизировать удобные ML-метрики, которые легко считаются, но никак не коррелируют с маржой.

Еще одна ловушка — усреднение: среднее значение MAPE может скрывать катастрофические промахи в сегменте вип-клиентов, где потери особенно дорогие.

Поэтому рецепт такой:

1. Определите ключевые бизнес-метрики (например, LTV, ROMI, NPV).

2. Найдите ML-метрики, которые лучше всего предсказывают изменения именно этих показателей.

3. Валидируйте связь через A/B-тесты: действительно ли рост ML-метрики дал рост прибыли.

Так дата-сайентисты перестанут наводить красоту в дашбордах и начнут приносить деньги в кассу. ML-метрики нужны только для того, чтобы подтверждать рост маржи и ускорять принятие решений.

#аналитика #деньги

Что на самом деле сказал MIT об ИИ в компаниях

Когда вышел отчет MIT, заголовки громко кричали: «95% пилотов ИИ проваливаются». Это пугает и создает ощущение, что ИИ не работает. Но если прочитать документ внимательнее, картина иная.

MIT не говорит, что модели плохие. Он говорит, что большинство дорогостоящих кастомных проектов не приносят быстрых денег. Причины не в алгоритмах, а в том, как компании пытаются эти алгоритмы встраивать в работу.

Где именно провалились проекты

Отчет изучал сотни пилотов и интервьюировал специалистов. Оказалось: те сложные и тяжеловесные проекты, которые компании строили под себя, редко доходят до живой эксплуатации. Они требуют много ручной работы. Их сложно настраивать и еще сложнее заставить учиться на опыте.

В результате такие пилоты остаются демонстрациями или научными проектами, а не инструментами, которые приносят прибыль.

Но важно понять: речь именно о кастомных решениях. Это не про простые сервисы вроде ChatGPT, которые сотрудники стали использовать сами.

Теневая экономика ИИ

Главный и неожиданный вывод MIT — массовое неофициальное использование ИИ сотрудниками. Люди берут личные аккаунты ChatGPT, Claude и другие инструменты. Они применяют их в рутине. Они экономят время и делают работу быстрее.

По данным исследования, примерно 90% сотрудников используют такие сервисы для рабочих задач, даже если компания официально не купила корпоративную систему.

Это и есть теневая экономика ИИ. Ее эффекты не отражаются в официальных метриках айти-подразделений. Но они реально есть: ускорение обработки документов, уменьшение затрат на внешних подрядчиков, экономия на агентских услугах.

Почему простые сервисы выигрывают у дорогих платформ

Потребительские инструменты кажутся удобнее. Они гибкие. Они дают быстрый результат. Сотрудник может адаптировать их под свою задачу тут же.

Корпоративные решения наоборот: громоздкие, медленные в настройке, и почти не учатся на поведении пользователей. Поэтому люди выбирают то, что работает сразу.

Ключевая мысль MIT: проблема не в ИИ, а в подходе к внедрению.

Что работает лучше — покупать или строить

Исследование показывает: проекты, реализованные при участии внешних вендоров и партнеров, доходят до внедрения гораздо чаще. Внешние команды доводят инициативы до результата примерно вдвое чаще, чем внутренние разработки.

Это не значит, что внутренние проекты плохи всегда. Но если цель — быстрый и устойчивый эффект, то партнерство чаще работает лучше.

Где искать реальную прибыль от ИИ

Большинство компаний направляют бюджеты на продажи и маркетинг. Но MIT отмечает: наибольшая отдача часто приходит от бэк-офиса — обработка документов, служба поддержки, сокращение аутсорсинга. Там компании экономят миллионы без массовых увольнений.

Это тихая, но ощутимая экономия. И она важнее эффектных фронтовых кейсов, которые попадают в презентации.

Выводы, которые должен запомнить руководитель

95% — это диагноз процессов, а не технологии. Высокий процент провалов говорит о том, как проекты строят внутри компании.

ИИ уже приносит пользу — просто часто в тени. Сотрудники делают работу быстрее, используя простые инструменты. Эти выгоды нужно увидеть и измерить.

Сначала посмотрите, что используют люди. Не начинайте с дорогостоящего построения. Сначала изучите теневое использование и выберите, что действительно помогает.

Партнерство чаще приводит к успеху. Требуйте у вендоров не демо, а конкретных операционных результатов.

Интеграция важнее мощности модели. Инструмент должен учиться, запоминать контекст и работать в реальных процессах.

#ии #деньги #исследования

За сколько люди готовы продать свой цифровой след в Твиттере

В исследовании задались простым, но важным вопросом: если попросить у человека архив его аккаунта в Твиттере, что сработает лучше — призыв пожертвовать данные ради науки, разовая покупка или возможность выложить архив на маркетплейсе и самому назначить цену?

Чтобы было ясно: речь не про отдельные твиты, а про полный ZIP-архив, который каждый может скачать у себя в профиле. Там вся история активности: твиты, ретвиты, лайки, список подписчиков и подписок, медиа. По сути, весь цифровой след человека в Твиттере в одном файле.

Как проходил эксперимент

Около 2500 человек в США проходили онлайн-опрос и рассматривали три сценария.

В одном случае им предлагалось пожертвовать архив бесплатно. В другом — принять разовое денежное вознаграждение. В третьем — выставить архив на маркетплейсе, указав минимальную цену, по которой они согласны его продать.

Дополнительно проверялось, влияет ли тип покупателя (университет или компания) и возможность удаления чувствительных данных.

Что выяснили

Маркетплейс увеличил готовность участников продавать архив на 12-25 процентных пунктов по сравнению с пожертвованием и на примерно 7 п.п. по сравнению с разовым вознаграждением.

Более 64% участников указали минимальную цену всего в пределах $0,25-2. Это значительно ниже суммы в $5-10, которую люди называли в прошлых экспериментах. Интересно, что ни тип покупателя, ни удаление чувствительных данных почти не изменили готовность продавать.

Когда у человека есть возможность самому назначить цену, он гораздо охотнее делится своим архивом. Большинство оценивает свой цифровой след очень дешево — всего в несколько долларов. Маркетплейс при этом работает лучше, чем благотворительные модели или разовые сделки.

#деньги #исследования

Вы об этом думали, но боялись спросить

В Opera же не только подумали, но и сделали. С включенной функцией Fake My History браузер Opera GX подменит вашу историю на выдуманную, если вы не будете пользоваться им две недели.

Если с человеком что-то случится и он перестанет пользоваться браузером, то кто бы ни получил доступ к его истории, он увидит там примерно следующие запросы:

⁃ Как сделать кормушку для птиц?
⁃ Волонтерство в моем городе
⁃ Бесплатные курсы саморазвития
⁃ Как стать донором крови?
⁃ Изучение иностранных языков

Можно не ждать две недели и «притвориться мертвым» моментально, нажав одну кнопку.

Защита персональных данных, которую мы заслужили.

#безопасность