⚡️На ридинг-группе 30 мая обсудим статью нашего коллеги Андрея Аргаткина DenseAttention: No-Compromise Exact All NxN Interactions Algorithm with O(N) Space and Time Complexity. Андрей расскажет о том, как убрать из стандартного трансформерного блока несколько компонентов, не потеряв в качестве, но выиграв в скорости (даже у flash attention!). Встречаемся в зуме в 17:00.

Зум: https://us05web.zoom.us/j/82613108856?pwd=l4FUK61nYJTKRtXnKj21RalZHWnCsz.1

Meeting ID: 826 1310 8856
Passcode: 6EiSpW

📹Запись ридинг-группы ОК от 30 мая. Андрей Аргаткин рассказал про DenseAttention, придуманную им модификацию трансформерного блока.

📝Чек-лист статьи о рекомендациях в 2024 году:
✔️Новая формулировка задачи рекомендаций. Желательно “вдохновиться” смежной областью;
✔️Предложить свой блок attention. Не забыть про красивый префикс (self/cross/flash/rocket/…);
✔️Больше триллиона параметров, industrial-scale датасет, потому что воспроизводимость — не для бедных.

На ридинг-группе 13 июня разберем такую статью с ICML 2024. Роман Болозовский, МЛ-инженер ОК, представит её на полтора месяца раньше официальной презентации на конференции. Теперь наша ридинг-группа не только несёт знания, но и выгоду (вы сэкономите на поездке в Вену!). Начало разбора — в 16.00.

Зум: ссылка
Meeting ID: 737 3931 8110
Passcode: 1

Календарь: ссылка

🔭Exploration в рекомендациях служит для поддержания долгосрочного качества системы. Практики признают это, но объяснения дают скорее умозрительные, чем основанные на данных. Причина в том, что для объективного измерения вклада exploration нужно крутить технически сложный A/B-эксперимент: поддерживать две версии системы, разделённые по пользователям и данным, и наблюдать, как эти версии эволюционируют в долгосрочной перспективе. Если (когда) что-то пойдёт не так, многонедельный эксперимент придётся заводить заново. Поэтому подобные эксперименты откладываются до момента, когда будут исправлены все баги. К счастью для нас, исследователи из Google провели серию таких экспериментов и рассказали об этом в своей статье на WSDM 2024. Теперь мы можем быть уверены, что существуют рекомендательные системы, в которых exploration объективно полезен. ➡️➡️

➡️
4. Наконец, запускаем эксперимент уже на рост метрик, используя алгоритм exploration Neural Linear Bandit (NLB). Идея алгоритма – отпилить голову у ранжирующей нейросети и вместо неё обучать linear-payoff Thompson Sampling на normal-normal сопряженной паре. Авторы рассказывают, как запустить этот алгоритм на продакшен-рекомендере (скорее всего, речь про YouTube Shorts).

Интересно, что в эксперименте с NLB авторам удалось увеличить удовлетворенность пользователей только на 0,2%, хотя в обратном эксперименте эта же метрика упала на целых 3%. Кроме того, NLB обеспечивает только pointwise ранжирование, в то время как современные ранкеры используют pairwise или listwise подход. В любом случае, конкретный алгоритм ранжирования выглядит не так интересно, как основной вывод статьи: exploration в рекомендательных системах — полезная штука. Расходимся и продолжаем исправлять баги.👻

Начинаем!

🦾Foundation models — круто, приложения с ними — ещё круче. А если сделать нормально, то вообще огонь! Как сделать нормально, обсудим на ридинг-группе ОК 27 июня. Андрей Кузнецов, ML-директор OK, расскажет про паттерны проектирования агентов, основанных на больших моделях. Подготовиться можно по статье Agent design pattern catalogue: a collection of architectural patterns for foundation model based agents. Начало встречи в 16:00.

Зум: ссылка

Идентификатор конференции: 776 7298 2668
Код доступа: dsrg

Мы начинаем!

📹 Запись ридинг-группы ОК от 27 июня. Андрей Кузнецов рассказал про паттерны проектирования агентов

Презентация

🌅Рекомендательные алгоритмы в социальных сетях отвечают за retention. Чем лучше мы ранжируем ленту, тем она интереснее для пользователя, и тем охотнее он возвращается в наш сервис. В этом посте поговорим о том, что значит «хорошо ранжировать ленту» с точки зрения retention.

При формировании таргета ранжирующей модели используются данные о реакциях пользователей на посты: просмотрах, лайках, комментариях, и т.д. Такие сигналы, называемые общим словом engagement, положительно скоррелированы с retention. Это подтверждают эксперименты, в которых хронологические ленты сравниваются с ML-лентами. Но у engagement есть обратная сторона: часто посты, собирающие много реакций, могут быть низкого качества, например, кликбейтные или содержащие недостоверные данные. Такой контент уже негативно влияет на retention в долгосрочной перспективе [1]. Кроме того, рекомендуя некачественные посты, мы создаем сервису репутационные риски. В итоге модель, настроенная на engagement, только частично решает задачу увеличения retention.

Проблема решается учётом качества поста в таргете модели. Например, наряду с реакциями пользователей в таргет можно включить скоры качества, полученные с помощью классификаторов контента. Это, во-первых, научит модель поднимать хорошие посты наверх в выдаче, во-вторых, мотивирует авторов делать контент высокого качества. Можно даже попробовать вычислить оптимальный баланс между качеством и engagement в таргете, используя дополнительные предположения об их распределениях [2]. Эксперименты крупных западных платформ показывают, что модели, обученные с учётом качества контента, значимо выигрывают в retention [1].

Минус такого подхода в его субъективности. В конце концов, за решением о том, какой пост считать качественным, стоят не алгоритмы, а те, кто определяет критерии качества или размечает данные для моделей-классификаторов. От работы этих людей зависит, какие посты будут поощряться сервисом, а какие, наоборот, не получат охватов. Правильнее было бы спросить об этом самих пользователей, задав им вопросы, которые коррелируют с retention: «хотите ли вы видеть больше подобных статей? Оскорбляет ли этот пост какую-то категорию людей?» И тоже включить эти данные в таргеты ранжирующих моделей.

Ещё одна проблема учёта качества контента при ранжировании — как измерить результат. Раньше мы опирались на метрики engagement, которые легко двигаются в экспериментах. Теперь же нужно мерить retention, и это требует длинных экспериментов с риском потери метрик реакций на посты. Возможное решение — опросы пользователей. В одном из наших предыдущих постов успех измерялся именно так. Такие опросы тоже вызывают сложности: смещение аудитории, недостаток данных, результат сильно зависит от формулировки (Готовы ли вы рекомендовать наш сервис вашим друзьям и знакомым?🤮).

С одной стороны, итог банальный: универсального рецепта нет и платформы решают проблемы компромисса между engagement и качеством в ранжировании как могут. С другой стороны, система держится в том числе на иногда субъективных решениях айтишников. Так работал ранний интернет, и, говорят, он был прекрасен🦸‍♂️.

Если вам понравился пост, обратите внимание на статьи, которые мы использовали при его подготовке. Там не только расширенное обсуждение идей из поста, но и много ссылок на источники по теме.
[1] What We Know About Using Non-Engagement Signals in Content Ranking
[2] Ranking by Engagement

📝 Много сил положено на то, чтобы унифицировать подходы к решению ML-задач как в алгоритмах, так и в инженерной плоскости. Однако достоверные результаты и хорошие практики в нашей области стоят все ещё очень дорого, и поэтому для нас важно делиться опытом. А ещё мы внимательно читаем не только академиков, но и других ребят из индустрии.

Поэтому сегодня хотим поделиться папочкой с каналами, на которые подписаны мы сами и рекомендуем вам.

🙀Ридинг-группа ОК 11 июля будет суперпозицией двух ридинг-групп: той, на которой мы обсуждаем ML на квантовых компьютерах, и той, на которой мы пьём просекко с апельсиновым соком. Какое состояние будет реализовано, вы узнаете, присоединившись к нашей встрече в 16:00. Ведущим будет Сергей Малышев, старший ML-инженер ОК.

Зум: ссылка
Идентификатор конференции: 976 6798 6587
Код доступа: 9eG1bw

Начинаем через 3 минуты

На этой РГ ML-команда ОК пыталась разобраться, что такое Кубит, но так и не смогла. Но, как оказалось, и цели такой не было. Приятного просмотра.

Всем привет! Нашему каналу исполнился 1 год 🎉🎉🎉

Мы всё так же проводим ридинг-группы и пишем разборы статей и конференций, но теперь в большой компании подписчиков.

Спасибо, что вы с нами ❤️

📄В интернете можно, условно говоря, заниматься двумя вещами:

1. развиваться, читая научные статьи о рекомендательных системах;
2. орать с угарнейших мемасиков про котиков.

И, хотя официально интернет существует для первого, рекомендательные системы толкают пользователей скорее ко второму. Так происходит потому, что мемасики получают больше лайков, чем статьи по рекомендательным системам (даже в нашем канале). На ридинг-группе 25 июля будем разбираться, как это поправить. Обсудим статью, которая предлагает способ отделить сиюминутное желание покекать от долгосрочной полезности и балансировать эти факторы при построении рекомендательной системы. Рассказывать будет Коля Анохин, ведущий специалист ОК по ML. Начало встречи в 16:00.

Зум: ссылка
Meeting ID: 875 8500 6307
Passcode: okdsrg

Начинаем в 16ч