Что не так с попыткой заработать денег с помощью рекомендательной системы

Допустим, у вас есть интернет-магазин, и на странице товара вы показываете несколько похожих или сопутствующих товаров. Например, можете показывать другие товары из той же категории или популярные. И тут вам приходит в голову персонализировать эти предложения.

Внедрив персональные рекомендации с помощью ML, вы смотрите статистику по кликам и покупкам и замечаете, что через клик на рекомендательный блок товары начали покупать вдвое чаще. Ура, вы поднимаете конверсию в покупку вдвое, теперь заработаете вдвое больше денег. Или нет? Вот, увы, нет.

Во-первых, конверсия с блока рекомендаций и конверсия с захода на сайт в покупку - не одно и то же. Например, если 80% трафика у вас идёт через каталог и игнорирует рекомендации, а 20% пользуется рекомендациями, то увеличение конверсии блока может быть связано, например, с тем, что вы обслуживаете им все те же 20% клиентов, просто более результативно. На практике конечно чем лучше рекомендации, тем больше клиентов вовлекаются в их использование в принципе, но это приводит нас к следующему тезису.

Вторая проблема - тот факт, что люди покупают товар с помощью рекомендаций, ещё не значит, что не купили бы без них. Возможно, они итак бы нашли товар через поиск и навигацию по каталогу, но рекомендации каннибализировали трафик с других элементов интерфейса, т.к. пользователю стало просто удобнее кликать по ним. В чем боль? В том, что рекомендации вроде бы и полезны, но не обязательно создают дополнительные продажи.

Как же тогда понять пользу от рекомендаций? Сделайте А/В тест, в одной группе показывайте новые рекомендации, в другой группе старые неперсонализированные, оцените статзначимость различий в выручке с пользователя или конверсиях с захода на сайт в покупку.

Скорее всего, вас ждёт два грустных открытия:
1) чтобы данных за несколько недель хватало для статзначимости, ваш магазин должен быть Озоном, Яндекс.Маркетом или Wildberries, а гонять тесты дольше при каждой доработке рекомендаций - не рабочая история,
2) конверсию в покупку вы в лучшем случае увеличиваете на несколько процентов, а деньги вовсе не значимы (точнее, не статзначимы).

Итог: миллионные и миллиардные эффекты от рекомендательных систем можно насчитать только в формате «на сколько напродавали с использованием рекомендаций», но не в формате «сколько заработанных денег мы бы недополучили без рекомендаций».

В следующих частях - что люди придумывали, чтобы заставить рекомендательные системы приносить деньги, и что делать, чтобы правда заработать на рекомендациях

Сегодня Курсера объявила об отказе от контента русских преподавателей. К сожалению, наша с коллегами специализация «Машинное обучение и анализ данных», через которую с 2016 года прошло более 150 тысяч человек, через 90 дней станет недоступна даже для тех, кто ее уже проходит. Сейчас думаем, что с этим делать.

Сегодня у меня день рождения, 30 лет. Не в таких обстоятельствах я ожидал его встретить. События последнего месяца поставили под вопрос многие достижения и поменяли ценности и взгляд на жизнь. Так что о результатах и планах напишу когда-нибудь позже, когда это будет уместно.

Знаете, мне всегда нравилось вот это наше «выпью за твоё здоровье», странный такой ритуал, незримо связывающий людей в разных точках мира. Если вы хотите сделать что-то за мое здоровье в мой день рождения - пожертвуйте любую сумму, какую не жалко, в тот благотворительный проект, которому доверяете. На мой взгляд, лучше пусть сумма будет меньше, но на регулярной основе. Но смотрите сами, как вам удобно.

Лично я, благодаря Диме Волошину, который об этом много писал у себя в FB, очень тепло отношусь к Детским деревням SOS. Что они делают тут - https://sos-dd.ru/about/ , пожертвования тут - https://sos-dd.ru/help/payment/ . Помимо того, что эта организация делает очень хорошее дело, в ней работают замечательные, вежливые и добрые люди. Сейчас у многих благотворительных организаций резко упал уровень регулярных пожертвований из-за проблем в приеме карточек и отвалившихся подписок, поэтому ваша поддержка будет очень кстати.

Я не призываю переводить деньги именно тем, кто нравится мне. Сейчас, в общем-то, много кто нуждается в помощи. Просто найдите тех, кому вы доверяете, и действуйте. И давайте без фанатизма: жертвуйте так, чтобы это нисколько не ущемляло вас, последнюю рубашку снимать не надо - она вам понадобится, чтобы заработать и пожертвовать еще :)

24 марта в 18:00 мы в МТС проводим онлайн-митап для дата саентистов, дата инженеров и других дата гайз

Коллеги из МТС и ivi.ru расскажут про PU Learning и разберут принципы сортировки блоков с фильмами на главной странице IVI. После этого мы с Валерой Бабушкиным и Пашей Мягких устроим панельную дискуссию про использование Data Science в разных сферах бизнеса.

Участие, бесплатное, регистрируйтесь по ссылке:
https://mts-digital.timepad.ru/event/1962458/

Последние несколько недель между теми кто работает в технологических сферах разговор начинается со слов «ты остаёшься или уезжаешь?». И тем и другим мне есть что порекомендовать.

Начнём с тех, кто уже уехал или серьезно настроился на переезд. Мой однокурсник (а также партнёр в Runa Capital и коллега по спискам Forbes) Костя Виноградов помогает с релокацией талантливым специалистам, достаточно заполнить небольшую форму по ссылке из поста. Обращаю внимание, что текст в форме и отдельные ее поля предполагают, что у кандидата четко выраженная позиция по сегодняшней политической повестке. Так уж получилось, что заграница ждёт в первую очередь людей с нужным майндсетом)

Напоминаю, что если вы не собираетесь уезжать, за этот майндсет вам может прилететь от осуждения отдельных сограждан или дубинок на улице до 15 лет в соответствии с новыми законами. Так что будьте ответственны и выбирайте мудро, что, когда и зачем постить и говорить. Такова уж новая реальность.

Следующий пост будет про то, куда же теперь идти работать в нашей сфере, если вы остаётесь в стране. Вопрос и правда насущный, вот ребята из того же Ситимобила не дадут соврать.

RELOCATION NOW 🧠🛫

Большое число талантливых людей из Украины, России и Беларуси сейчас мигрируют в другие страны и срочно ищут работу. Я вместе с другими VC-инвесторами, founders & executives из технологических компаний решили помочь им не словом, а делом.

Мы запустили private tech talent pool для людей, которые срочно ищут работу в европейской технологической индустрии. К базе кандидатов имеют доступ только рекрутеры и менеджеры глобальных компаний, которые активно нанимают tech talents и помогают с релокацией.

Сейчас ваше резюме уже ждут топовые компании из UK/EU. Доступ к базе не предоставляется российских компаниям или людям, которые на наш взгляд могут быть аффилированы с российским государством.

Чтобы попасть в базу кандидатов зарегистрируйтесь по ссылке https://bit.ly/relocateme. И расскажите пожалуйста друзьям, для которых это может быть релевантно

Итак, теперь поговорим о выборе места работы для тех, кто живет в России и планирует жить здесь и дальше.

1. Любые стабильные компании с сильным брендом - беспроигрышный вариант. Золотая тройка бигдаты - банки, ритейл, телеком - имеет своих понятных лидеров: Сбер/Альфа/Тинькофф (смотря чем мерять), X5/Магнит, МТС/Ростелеком. В e-commerce и классифайдах остается вариант пойти в Ozon или Avito. В случае прям совсем IT - VK и Яндекс, в зависимости от того, чьи продукты вам ближе к сердцу. Однако пойти развивать IT в изначально неайтишной компании теперь уже не настолько экстравагантная затея, как это было раньше. Те же люди, которые развивали продукты Яндекса и VK, уже давно разошлись по рынку и прокачивают IT во всех перечисленных сферах.

2. Тем, кто хочет чувствовать себя уверенно на работе, и менять ее пореже, я бы рекомендовал идти в компании-экосистемы (Сбер, Яндекс, МТС, VK). Выбирать, как и всегда, нужно комплексно по задачам, зарплате и бонусам, своей лояльности к бренду и карьерным перспективам. Логика в том, что в экосистемах есть опция переходов между разными бизнес-вертикалями, есть удержание ценных сотрудников внутри экосистемы, и в итоге вообще можно всю жизнь ходить по разным частям одной группы компаний. Это бывает удобно, знаю многих сильных специалистов, которые так делали и делают.

3. Разумеется, очень рекомендую идти к нам в бигдату МТС. Наш портфель проектов и продуктов затрагивает самый большой набор сфер бизнеса из всего, что я вижу сейчас в data-командах на рынке: как классический для МТС телеком, так и ритейл, финтех, медиасервисы и IoT. При этом направление Big Data было, остается и всегда будет стратегически важным, интересной работы у нас много, найм не останавливался и, более того, идёт еще активнее, чем раньше. Вот список вакансий Big Data МТС, который регулярно обновляется: https://job.mts.ru/vacancy?search=big%20data Откликайтесь, проходите собеседование и буду рад видеть вас в нашей команде. Другие предложения в МТС тоже можно найти по той же ссылке. Для одних только айтишников в МТС уже открылось более 500(!) дополнительных вакансий.

4. Что касается компаний, которые могут внезапно закрыться, живя в «стартапной» модели (собираем инвестиции, вливаем в развитие, про прибыльность пока не думаем), то если компания известная, спешить менять ее не обязательно. У тех же коллег из Ситимобила, которых я в шутку упомянул в прошлый раз, все довольно круто. У сильных специалистов уже очередь из желающих их нанять, главное чтобы накопления позволяли выбирать между офферами без спешки.

Ну и самое важное: помните, что если руки у вас растут из правильного места, язык подвешен и контакты есть, все у вас будет более-менее нормально. А если с чем-то из перечисленного у вас есть проблемы, прокачивайтесь и поможете себе в миллион раз больше, чем только лишь удачным выбором работодателя.

14 июня пройдёт онлайн-конференция DataStart. Я уже несколько лет поддерживаю этот проект, и продолжаю придерживаться этой традиции. Принимайте участие - https://clck.ru/p5774

- 2 трека, 16 часов докладов
- бесплатно
- талантливые спикеры-практики

Моя команда тоже участвует - в докладе Михаила Степнова будет рассказ про то, как Big Data MTS научилась по обрывочным кликстрим-данным восстанавливать характеристики посетителей сайтов. Приходите послушать :)

Также на конференции выступят:
Иван Оселедец (Сколтех), спикеры от Huawei, ВШЭ, EORA, Росатома и др.

📌 Встречаемся 14 июня - https://clck.ru/p5774 Трансляция будет бесплатной, но если вы хотите купить видеозаписи, то воспользуйтесь промокодом Kantor500

У ШАДа есть отличный коллективно написанный учебник по машинному обучению. Как раз недавно появился. В нем сочетается и довольно серьезное изложение того, как все работает (считаем, что читатель не боится математики), и рассказ про некоторые особенности применения этого всего на практике.

При этом сохраняется определенный уровень простоты изложения: для большинства людей оно и правда будет выглядеть слишком математично, но на уровне физтеха/мехмата/вмк это конечно не математический курс, а легкая прогулка солнечным днем в городском парке с непринужденным обсуждением таблицы умножения. Что однако не умаляет полезности учебника, т.к. количество интегралов и наличие сигма-алгебр в тексте не заставляет алгоритмы работать лучше :)

Для меня было большим удовольствием написать для учебника ШАД главу про кластеризацию. Задача была непростой: написать очень кратко, рассказать про самые популярные методы, но при этом ответить на вопрос, где это все используется так, что применение кластеризации оправдано. Последнее особенно любопытный вопрос. Сделать кластеризацию просто так, «потому что могу» - дело не хитрое. А вот оправданных применений гораздо меньше, чем у классификации, регрессии или ранжирования.

Мне очень нравится то, что вышло в итоге. Для меня эта глава не просто конспект лекции, а настоящее искусство. Можно сказать, что я писал ее не только сейчас, но и десять лет до этого. Совершенно точно нужно сказать, что я писал свою главу с заботой и любовью к читателю - так, как я мог ее выразить. Кроме того, я писал такой текст, который я бы хотел прочитать 12 лет назад и сэкономить годы на понимание каких-то несложных, но важных вещей и сопоставление разных источников. Мой путь в машинном обучении тоже начался с unsupervised learning, и мне было важно рассказать про кластеризацию так, чтобы каждый смог насладиться красотой и сложностью этой задачи, получить конкретные знания и не испугаться их применять, но в то же время не попасть в обманчивое впечатление, что «все тут легко решается». Я надеюсь, что у меня получилось)

Вот ссылка на главу, с той же страницы можно перейти на список всех глав: https://ml-handbook.ru/chapters/clustering/intro

Большое спасибо Стасу Федотову, что позвал поучаствовать не только на этапе обсуждения содержания учебника и составления итогового списка глав, но и в написании конкретной главы. Также спасибо Насте Павловской за обсуждения плана моей главы и добросовестное допинывание меня до осуществления задумки. Стас, Настя, вы супер :)

В этот четверг проводим ML-митап с весьма уважаемыми в нашей сфере спикерами. Регистрируйтесь, должно быть интересно :)

Приглашаем на ML-митап Big Data МТС  

Когда: 7 июля, 18.00 

🧑‍💻 Расскажем, как автоматизировать качество данных в Feature Store: рассмотрим базовые алгоритмы детекции дрейфа на признаковом пространстве моделей и их реализации в распределенном стеке. 

⚡️ Рассмотрим популярные проблемы ML-систем и способы их предотвращения: как сугубо инженерные подходы к тестированию всей системы, так и тесты, применимые исключительно к ML моделям. 

🤓 Обсудим что происходит с RnD в промышленном Data Science. В качестве экспертов: Анатолий Орлов — СTO AliExpress Россия, Радослав Нечаев — лектор по ML и руководитель магистратуры MSAI МФТИ и Валерий Бабушкин - Head of Data Science Blockchain.com

Регистрация здесь.

Разговорились с коллегой на тему "насколько полезно брать кагглеров в продакшн ML?" (привет диалогам "нужны ли олимпиадники c ACM в продакшн разработке?"). И тут коллега мне и говорит: "Прикинь, есть такой молодой кагглер Aleron, так он статью на Хабре написал про математику в Data Science, и там не поиск экстремумов, не линал какой-нибудь, а вещи уровня что такое график функции".

Я сначала даже поддержал скептичные шуточки, но попросил ссылку прислать. Читаю - а автор сразу честно пишет, что это не то, что нужно, чтобы понять внутренности методов машинного обучения, а то, что периодически вылезает в простой ежедневной работе. И это прям нормальный честный ответ, что в DS пригодится с большой вероятностью.

Коллега мой справедливо заметил, что это все уровень девятого класса. А закончил он кстати отнюдь не математический факультет, так что отсылки к школе, а не к ВУЗу, вполне обоснованы. Но я вам оставлю тут ссылку, и кто хочет в Data Science, может пролистать: https://habr.com/ru/company/ruvds/blog/676114/ . Aleron'у и моему коллеге привет, статья на мой взгляд всё же хорошая, т.к. рассказывает, без чего будешь в DS ну совсем тупым копи-пейстером. Это, знаете ли, тоже полезная отсечка, чтобы о ней что-то написать.

Два года CDO (часть 1)

Подходят к концу первые два года моей работы в топ менеджменте МТС директором Big Data (сначала как ВрИО, а потом и в полной мере официально).

Вместе со мной вызов трансформировать Big Data МТС приняло много хороших людей - и по-человечески, и в экспертном плане. И я говорю как про новых сотрудников, пришедших к нам из Озона, Яндекса, Тинькофф, Сбера, X5 и других компаний, тоже сильных в работе с данными, так и про тех, кто уже годами работал в МТС, но охотно вовлекся в движ.

Благодаря увлеченности, упорству и, несомненно, таланту команды, удалось достичь многого, что казалось маловероятным в 2020 и даже в 2021 году. Сейчас у нас есть первая статья на топ-1 в мире конференции по рекомендательным системам RecSys (пока в воркшопах, конечно, но начало положено), есть свои open source либы, про которые я еще напишу подробнее, есть регулярная работа с сообществом в виде организации своих митапов и активного участия в чужих, есть своя школа аналитиков данных в проекте МТС Тета. Очень важно, что все эти вещи достигнуты не вместо коммерческих целей бизнеса, а вместе с ними. Почему иначе бы не полетело - в следующем посте.

Два года CDO (часть 2)

Почему раньше не было перечисленных в прошлом посте вещей? Очень просто, купите акций МТС и получите хотя бы раз дивиденды по ним. Тёплое приятное чувство, которое разольётся по телу, это чувство владения долей в компании, которая делится со своими акционерами. Компаний, которые размером и стабильностью дивидендов также привлекательны, как МТС, на рынке не так уж много.

Однако за этим стоит очень непростая работа. Когда в других местах работы у меня был безлимит штатных единиц на найм «ввиду активного роста бизнеса», в МТС любое увеличение численности должно сопровождаться подсчетом экономики и обоснованием того, что компания заработает ощутимо больше, чем потратит. Это же приводит к тому, что, например, любой Data Science проект в итоге оценивается здесь не ROC-AUC, а экономическим эффектом. Тому, кто возразит, что хвалить такие вещи - это стокгольмский синдром, я скажу еще раз: купите акции, получите разок дивиденды, всё почувствуете.

При этом возникает неловкий момент: какой же тогда опенсорс, какие статьи и митапы, если все должно принести денег? Вот в этом и была тонкость моей работы и работы многих других руководителей в моем подразделении. Нужно было вплести вещи, работающие на репутацию команды и на развитие среды, в конкретные полезные бизнесу планы.

Как мы это делали - в части 3

Два года CDO (часть 3)

В прошлый раз мы закончили на том, что технологические цели неплохо бы увязывать с пользой для бизнеса, и пора рассказать, как мы это делали.

Во-первых, мы выделили ряд платформ, которые могут сильно снизить Time2Market бизнесовых применений анализа данных. Это рекомендательная платформа, скоринговая, MLOps и DataOps платформы. Первые две уже вовсю используются для бизнесов МТС, а скоринговая - ещё и для работы с внешними заказчиками. В этих платформах есть определенные части, которые можно и нужно опенсорсить, я еще расскажу об этом подробнее. Также нужно иметь ввиду, что «платформа» - это сейчас слово-паразит, проникшее в стратегии многих компаний, и значить оно может разное. В нашем случае речь про набор применяемых техническими специалистами инструментов, разработанных для удобного использования вместе и существенного ускорения работы. Например, чтобы рекомендательную систему для нового сервиса можно было сделать командой из двух человек за пару недель, а не из 5-10 за полгода.

Во-вторых, мы не поддались искушению полностью упороться в развитие инфраструктуры, перекинув все силы с зарабатывания денег здесь и сейчас. На секундочку, KPI у многих членов команды завязаны на деньги, но ничего не стоило эту зависимость убрать и переиграть всё в чистое IT, бизнес очень даже открыт к экспериментам.

В итоге, уже в первый же год мы без увеличения общей численности команды удвоили (!) экономические эффекты от Big Data для бизнеса. И это при том, что мы параллельно вели разработку платформ, которые, разумеется, не дают свой эффект сразу. Помогла просто грамотная приоритизация задач и работа с командой. Многие провалы в прошлом были связаны с тем, что в нужном месте не оказывался нужный человек, и зная, «кто что потянет», можно сильно улучшить ситуацию.

Сейчас мы активно работаем над MLOps и DataOps платформами (многое уже есть, но работы тоже хватает), а также вовсю дальше внедряем рекомендательную и скоринговую. Причём скоринговая это не только про классические рисковые скоры, но и вообще про любые скоры или прогнозы на клиенте для задач бизнеса (будь то антифрод, отток или еще что-то). В октябре будут первые сравнения нашей рекомендательной платформы с рекомендациями от других вендоров, которые занимаются RecSys годами. Выиграем или нет - покажет эксперимент, но даже если нет, через год уже точно выиграем :)

В прошлом году я летал на Data Driven Top 100 к Жене, и это был наверно самый крутой опыт конференции по аналитике на моей памяти. Не было скучных «программных» докладов, было нормальное общение вменяемых людей. Учитывая, что все участники топы аналитики различных компаний, в том числе очень крупных, обсудить там реально можно всё. Важен и психотерапевтический эффект - когда видишь других людей с теми же болями, как-то легче с ними справляться и искать решения. Ну и, конечно, важно, что Женя не просто очередной организатор конфы по горячей теме без понимания контекста, а человек, который сделал огромное количество крутых аналитических штук в Яндексе и реально круто шарит. Очень рекомендую и Женю, и его конфу :)

В прошлом году мы провели первый экспериментальный Data Driven Top100 — конференцию для топов аналитики и руководителей продуктов, которые построены на данных (поиск, диспатч, риски и прочее).

Нашим главным вызовом было придумать формат, который будет полезен опытным руководителям аналитики. И, судя по отзывам участников прошлого года, у нас получилось!

В этом году мы повторяем мероприятие. Оно пройдет в начале октября в Турции. Приходится выбираться за пределы страны, чтобы могли приехать ребята, которые живут и работают не в России. Без них русскоязычный топ не выйдет.

Состав участников #ddtop100 — это моя персональная гордость. Ребята невероятно крутые как в профессиональном плане, так и в личностном. Пока это в основном люди, до которых я смог дотянуться через одно-два рукопожатия своего круга знакомств. Мне очень хотелось бы расширить этот круг, тем более что сейчас он перекошен в айтишную сферу. Я уверен, что есть множество крутых ребят в традиционно оффлайновых отраслях: образовании, здравоохранении, призводстве, фармацевтике, логистике, авиаперевозках, госуправлении и т. д. А менеджерские проблемы, которые мы обсуждаем на конференции, как показывает опыт, очень близки вне зависимости от индустрии.

Я буду благодарен, если вы расскажете своим знакомым топам аналитики о нашей конференции. Или просто дайте мне о них знать — а я сам с ними свяжусь) @eugenekozlov

Ниже я прикладываю список участников этого года и их статусы на сегодня. В этом году наша площадка сможет вместить максимум 60 участников, так что мест осталось немного. Думаю, с учетом того, что часть ребят из списка может не доехать, есть 10-15 билетов для новых лиц.

Gotta catch them all! =)

Во втором семестре обучения в Школе анализа данных Яндекса у меня начинался курс машинного обучения, который я уже успел тогда пройти и даже начать семинарить в МФТИ. Как молодой препод я попал в рассылку, где искали семинариста и на ШАДовский курс. Несмотря на то что я засчитывал курс из МФТИ, мне показалось неправильным вести пары у собственных однокурсников, поэтому я не стал откликаться.

Совершенно другого мнения о такой забавной ситуации был мой однокурсник по ШАДу Саша Фонарев. Он стал семинаристом ШАДовского курса и буквально за несколько лет собрал крутейшую команду и один из лучших на то время курсов, попутно прокачавшись в ML и сам. Мораль 1: меньше условностей, берите и делайте.

Спустя несколько лет я работал в Yandex Data Factory и пробовал захантить к нам Сашу. Команда была действительно звездной, и он бы хорошо в неё вписался. Но, увы, у Саши уже был стартап Rubbles, там было все серьезно, и бросать он его не хотел. Мой тогдашний босс решил поддержать меня и сказал: «Да ладно, закончатся деньги у их стартапа, и снова позовём». Прошли годы, Data Factory уже давно нет, а Rubbles чувствует себя прекрасно. Мораль 2: берите и делайте то, что нравится. Не важно, кто что думает и как оценивает ваши шансы на успех, важно, что думаете вы и что сами делаете, чтобы их повысить.

Но это все мои наблюдения со стороны, а у меня есть для вас и кое-что получше: рассказ от самого Саши о том, как все было, и как он живет и работает сейчас - в первом выпуске нашего подкаста «ТехТок» https://podcast.ru/e/18TtWlj.2Ln

Завтра и послезавтра (3-4 декабря) пройдет конференция Яндекса для IT-сообщества YaTalks. Один из тематических треков посвящен ML и, судя по программе, там будет много интересного.

Например, Алексей Гусаков, руководитель управления машинного интеллекта и исследований Яндекса, расскажет, как поймать баланс между продуктом и исследованиями. Из его доклада можно будет узнать, как развивался ML в Яндексе, как взаимодействуют R&D и бизнес и как разработчикам помогает отдел Yandex Research.

Среди других ML-тем: «Нейродубляж: стираем языковые барьеры в видео» и «10 лет новой эпохи машинного обучения».
Чтобы ничего не пропустить, регистрируйтесь и подписывайтесь на канал @yatalks2022. Конференция пройдет онлайн, так что подключиться можно из любой точки мира :)