📹 Запись ридинг-группы ОК от 27 июня. Андрей Кузнецов рассказал про паттерны проектирования агентов

Презентация

🌅Рекомендательные алгоритмы в социальных сетях отвечают за retention. Чем лучше мы ранжируем ленту, тем она интереснее для пользователя, и тем охотнее он возвращается в наш сервис. В этом посте поговорим о том, что значит «хорошо ранжировать ленту» с точки зрения retention.

При формировании таргета ранжирующей модели используются данные о реакциях пользователей на посты: просмотрах, лайках, комментариях, и т.д. Такие сигналы, называемые общим словом engagement, положительно скоррелированы с retention. Это подтверждают эксперименты, в которых хронологические ленты сравниваются с ML-лентами. Но у engagement есть обратная сторона: часто посты, собирающие много реакций, могут быть низкого качества, например, кликбейтные или содержащие недостоверные данные. Такой контент уже негативно влияет на retention в долгосрочной перспективе [1]. Кроме того, рекомендуя некачественные посты, мы создаем сервису репутационные риски. В итоге модель, настроенная на engagement, только частично решает задачу увеличения retention.

Проблема решается учётом качества поста в таргете модели. Например, наряду с реакциями пользователей в таргет можно включить скоры качества, полученные с помощью классификаторов контента. Это, во-первых, научит модель поднимать хорошие посты наверх в выдаче, во-вторых, мотивирует авторов делать контент высокого качества. Можно даже попробовать вычислить оптимальный баланс между качеством и engagement в таргете, используя дополнительные предположения об их распределениях [2]. Эксперименты крупных западных платформ показывают, что модели, обученные с учётом качества контента, значимо выигрывают в retention [1].

Минус такого подхода в его субъективности. В конце концов, за решением о том, какой пост считать качественным, стоят не алгоритмы, а те, кто определяет критерии качества или размечает данные для моделей-классификаторов. От работы этих людей зависит, какие посты будут поощряться сервисом, а какие, наоборот, не получат охватов. Правильнее было бы спросить об этом самих пользователей, задав им вопросы, которые коррелируют с retention: «хотите ли вы видеть больше подобных статей? Оскорбляет ли этот пост какую-то категорию людей?» И тоже включить эти данные в таргеты ранжирующих моделей.

Ещё одна проблема учёта качества контента при ранжировании — как измерить результат. Раньше мы опирались на метрики engagement, которые легко двигаются в экспериментах. Теперь же нужно мерить retention, и это требует длинных экспериментов с риском потери метрик реакций на посты. Возможное решение — опросы пользователей. В одном из наших предыдущих постов успех измерялся именно так. Такие опросы тоже вызывают сложности: смещение аудитории, недостаток данных, результат сильно зависит от формулировки (Готовы ли вы рекомендовать наш сервис вашим друзьям и знакомым?🤮).

С одной стороны, итог банальный: универсального рецепта нет и платформы решают проблемы компромисса между engagement и качеством в ранжировании как могут. С другой стороны, система держится в том числе на иногда субъективных решениях айтишников. Так работал ранний интернет, и, говорят, он был прекрасен🦸‍♂️.

Если вам понравился пост, обратите внимание на статьи, которые мы использовали при его подготовке. Там не только расширенное обсуждение идей из поста, но и много ссылок на источники по теме.
[1] What We Know About Using Non-Engagement Signals in Content Ranking
[2] Ranking by Engagement

📝 Много сил положено на то, чтобы унифицировать подходы к решению ML-задач как в алгоритмах, так и в инженерной плоскости. Однако достоверные результаты и хорошие практики в нашей области стоят все ещё очень дорого, и поэтому для нас важно делиться опытом. А ещё мы внимательно читаем не только академиков, но и других ребят из индустрии.

Поэтому сегодня хотим поделиться папочкой с каналами, на которые подписаны мы сами и рекомендуем вам.

🙀Ридинг-группа ОК 11 июля будет суперпозицией двух ридинг-групп: той, на которой мы обсуждаем ML на квантовых компьютерах, и той, на которой мы пьём просекко с апельсиновым соком. Какое состояние будет реализовано, вы узнаете, присоединившись к нашей встрече в 16:00. Ведущим будет Сергей Малышев, старший ML-инженер ОК.

Зум: ссылка
Идентификатор конференции: 976 6798 6587
Код доступа: 9eG1bw

Начинаем через 3 минуты

На этой РГ ML-команда ОК пыталась разобраться, что такое Кубит, но так и не смогла. Но, как оказалось, и цели такой не было. Приятного просмотра.

Всем привет! Нашему каналу исполнился 1 год 🎉🎉🎉

Мы всё так же проводим ридинг-группы и пишем разборы статей и конференций, но теперь в большой компании подписчиков.

Спасибо, что вы с нами ❤️

📄В интернете можно, условно говоря, заниматься двумя вещами:

1. развиваться, читая научные статьи о рекомендательных системах;
2. орать с угарнейших мемасиков про котиков.

И, хотя официально интернет существует для первого, рекомендательные системы толкают пользователей скорее ко второму. Так происходит потому, что мемасики получают больше лайков, чем статьи по рекомендательным системам (даже в нашем канале). На ридинг-группе 25 июля будем разбираться, как это поправить. Обсудим статью, которая предлагает способ отделить сиюминутное желание покекать от долгосрочной полезности и балансировать эти факторы при построении рекомендательной системы. Рассказывать будет Коля Анохин, ведущий специалист ОК по ML. Начало встречи в 16:00.

Зум: ссылка
Meeting ID: 875 8500 6307
Passcode: okdsrg

Начинаем в 16ч

📈Жизненная ситуация: есть продакшн-система с входными параметрами X, которые можно менять, и выходными параметрами Y, которые важны для бизнеса. Например, в ленте социальной сети можно настраивать гипер-параметры механизма ранжирования. Это влияет на ключевые метрики сервиса: количество пользовательского фидбэка, таймспент, ретеншн. В статье Towards optimal experimentation in online systems описан алгоритм поиска входных параметров X, которые растят заданную комбинацию выходных параметров Y. Иными словами, ищем конфигурацию X, которая на A/B-эксперименте имеет хороший шанс улучшить систему.

С высоты птичьего полёта алгоритм выглядит так:
1️⃣Запускаем серию A/B-экспериментов, в которых определённым образом “распределяем” по пространству входные параметры X. Эта серия организована так, чтобы, во-первых, собрать данные для следующих шагов и, во-вторых, удобно анализировать параметры Xi по отдельности.
2️⃣Обучаем модели, предсказывающие Yi по X. Авторы утверждают, что в окрестности “контроля” достаточно линейных и квадратичных моделей.
3️⃣Используем полученные модели, чтобы решить задачу квадратичной оптимизации с ограничениями: максимизировать линейную комбинацию Yi, не слишком сильно уронив каждый из них.

Авторы из YouTube не только приводят алгоритм, но и подробно его мотивируют, рассматривают подводные камни и улучшения, дают практические советы. Главный минус — веса компонент Y в задаче оптимизации предлагается спросить у бизнеса, а бизнес не всегда знает, откуда их взять. В любом случае, статья очень глубокая: видно, что авторы применяли описанный алгоритм не раз. Как и другие статьи из The Unofficial Google Data Science Blog, эту статью можно распечатывать и обклеивать стены в дурке использовать как руководство к действию.👨‍💻

0️⃣🅱️1️⃣0️⃣1️⃣0️⃣1️⃣0️⃣ Фильтры Блума — одна из наших любимых структур данных. С их помощью можно, например, приближенно джойнить большие социальные графы на spark ВООБЩЕ БЕЗ ШАФФЛОВ!!!!111 На ридинг-группе 7 августа обсудим модификацию фильтра Блума, которая умеет забывать старые данные. Ведущим будет Роман Болозовский, ML-инженер AI VK. Обратите внимание на перенос встречи: в этот раз собираемся в среду в 17:00.

Зум: ссылка
Meeting ID: 777 282 2791
Passcode: 1
Календарь: ссылка

Начинаем через 4 минуты

📹 Запись ридинг-группы от 7 августа

На ридинг-группе 22 августа обсудим статью, в которой рассказывается, как с помощью нейронных сетей аппроксимировать главные собственные функции интегральных операторов заданных ядер на некоторых вероятностных распределениях без дорогой операции ортогонализации. Просто живите с этим. И приходите послушать в 16:00.
Ведущим будет Александр Тараканов, МЛ-исследователь AI VK.

Зум: ссылка
Meeting ID: 856 0989 2167
Passcode: 433059

Начинаем!

📹 Запись ридинг-группы от 22 августа про нейронки для ядер

🕸Мы знаем, в жизни каждого человека наступает момент, когда срочно нужно закодировать в эмбеддинги ориентированный ацикличеcкий граф. Но вариантов так много (VAE, трансформеры, GNN), что хочется закрыть крышку ноутбука и, хохоча, убежать в закат. Не отчаивайтесь, ридинг-группа спешит на помощь! Разобраться в проблеме поможет Роман Логойда, ML-инженер AI VK, на встрече 5 сентября в 18:00. Ждём в зуме всех желающих. 🌄

Зум: ссылка

Идентификатор конференции: 949 6360 9740
Код доступа: 0WGMDM

Начинаем через 5 минут