2024: Мои Research-итоги.
В основном, про статьи, конференции и летние школы :)

2024 год выдался для меня очень насыщенным в плане исследований и конференций. С учетом того, что мой PhD подходит к концу, вполне возможно, что этот год останется самым плодотворным в плане публикаций в моей жизни, но как знать.

В начале марта я ездил в Мексику на конференцию Web Search & Data Mining (WSDM'24), где представлял нашу статью RecJPQ. В ней мы показываем, как можно существенно сократить потребление памяти в трансформерах. Кроме того, на WSDM я участвовал в Doctoral Consortium, где делился своим прогрессом по PhD. Это мероприятие могу порекомендовать всем.

В конце марта я активно участвовал в конференции ECIR'24, которая в этом году проходила у меня дома, в Глазго. На конференции я представил статью по оптимизации маленьких языковых моделей для поиска, также поучаствовал в Doctoral Consortium и вместе с научным руководителем провел Tutorial по использованию трансформеров для рекомендательных систем.

Апрель и май оказались довольно тихими месяцами (почти) без конференций, но это время было самым продуктивным для работы над исследованиями, которые мы отправляли на конференцию RecSys. В начале мая я представил работу по использованию Reinforcement Learning для оптимизации метрик, не связанных с точностью (например, Diversity) на воркшопе по генеративным рекомендательным системам на конференции WWW. Также в мае я начал летнюю Research-практику в Amazon.

Летом, пока я работал в Amazon, я успел поучаствовать в летней школе по информационному поиску, где прочитал лекцию по Neural Recommender Systems. В августе я съездил в Корею на конференцию IJCAI. На IJCAI есть трек для статей, получивших Best Paper Award на других конференциях, поэтому там я представил свою прошлогоднюю статью с RecSys.

Сентябрь выдался относительно тихим. В этом месяце у меня родилась дочка, поэтому исследования отошли на второй план. Однако в сентябре расширенную версию прошлогодней статьи с RecSys приняли в журнал Transactions on Recommender Systems в специальный выпуск "Highlights of RecSys'23".

Октябрь, напротив, стал самым насыщенным месяцем. Вместе с научным руководителем мы прочитали лекцию о трансформерах на летней школе. Затем состоялся ACM RecSys, где у меня была статья по эффективному инференсу моделей, статья о моделировании повторов в музыкальных рекомендациях и презентация всего моего исследования на воркшопе LargeRecSys. Интересно, что я оказался единственным представителем академии на воркшопе — все остальные участники были из индустрии (Google, Netflix, Microsoft и другие).

Ноябрь и декабрь были относительно спокойными. В это время я начал активно работать над диссертацией и заниматься поиском работы. В конце декабря пришли положительные результаты по статьям, над которыми я работал летом в Amazon. Про них, а также о том, куда я в итоге решил пойти работать, расскажу уже в 2025 :)

Ну и немного фоточек из 2024 :)

За какими конференциями я слежу/участвую.

ACM RecSys -- главная конференция по рекомендательным системам. Для меня РекСис главная конференция, где я в последние несколько лет постоянно публикуюсь. На конференции очень мощное ощущение сообщества. В отличие от других конференций, на Рексисе очень много представителей индустрии. Много кто туда приезжает "просто послушать", это тоже сильно отличает РекСис от других научных конференций. Еще на RecSys очень заметно присутствие русскоязычного сообщества. На рексисе очень много хороших воркшопов по отраслям, мои любимые воркшопы с RecSys 2024 -- Large RecSys, Video RecSys, Travel RecSys, Roegen. Рейтинг конференции -- CORE-A, в 2025 году конференция будет в Праге в сентябре. Дедлайны обычно в апреле-мае по подаче статей на основной трэк и в августе на воркшопы и late breaking results статей.

ACM SIGIR -- главная конференция по информационному поиску. На SIGIR тоже много статей по рекомендательным системам, но по субъективным ощущениям качество фидбека по RecSys статьям на SIGIR хуже чем на RecSys. SIGIR более академичная конференция чем RecSys, но там тоже есть интересные воркшопы, например GenerativeIR воркшоп где публикуют хорошие статьи в том числе представители из индустрии. Рейтинг конференци CORE-A*. Дедлайны на основной трэк в конце января. В 2025 году конференция будет в Падуе, Италия, в июле.

ECIR -- Европейская конференция по информационному поиску. В каком-то смысле это "маленький SIGIR", с большим фокусом на Евпропу. ECIR я тоже очень люблю за сообщество (хотя именно интересных статей по рекомендательным системам там поменьше чем на RecSys и SIGIR). Дедлайны по отправке на 2025 год уже прошли (но еще можно податься на воркшопы). Рейтинг CORE-A, в 2025 году конференция будет в Лукке, Италия, в Апреле.

ACM WSDM -- конференция по содержанию похожая на SIGIR но сильно более маленькая и бутиковая. На WSDM были опубликованы многие ключевые статьи по рекомендациям (например статья Caser). На самоей конференции ощущение некой "элитарности" -- там немного людей, но многие из тех кто есть -- люди большого профиля. Например в 2024 году keynote была от Head of Search из гугла. Рейтинг -- Core A, в 2025 году будет в Ганновере, Германия, в Марте. Дедлайны уже прошли.

Другие конференции, за которыми я слежу чуть поменьше:
- WWW -- очень большая конференция, "обо всем хоть как то относящемся к web". Там много статей про рекомендации и поиск но много и нерелевантных для меня статей. Рейтинг Core-A*.
- KDD -- Похожая история на WWW; большая конференция по теме Data Mining. Рейтинг Core-A*.
- CIKM -- Большая конференция по Knowledge Management. На CIKM опубликовано много ключевых статей (тот же BERT4Rec), но насколько я знаю туда мало кто ездить "просто послушать". Рейтинг Core-A
- UMAP -- "маленький RecSys". Организуется тем же сообществом что и RecSys, но имеет меньший рейтинг (Core-B), поэтому лучшие статьи туда отправляют реже.
- SIGIR-AP -- новая конференция по информационному поиску с фокусом на Азию и Австралию. Видимо попытка сделать аналог ECIR на азиатский регион, но поскольку конференция новая, рейтинга у нее пока нет.

Какое-то количество релевантных статей публикуют и на больших A* ML конференциях (NeurIPS, ICML, ICLR, IJCAI AAAI, и тд), но поскольку эти конференции "обо всем на свете", ехать туда чтобы пообщаться именно с RecSys сообществом и получить фидбек на статьи про рекомендательные системы по моему мнению смысла нет.

Пишите в комментах если я пропустил что-то интересное, где публикуют много RecSys-related статей!

Книги по рекомендательным системам

По рекомендательным системам существует не так много книг. Вот несколько, на которые стоит обратить внимание:

Practical Recommender Systems
Автор: Kim Falk
Год выпуска: 2019
Издательство: Manning
Хорошая, но довольно базовая книга. Она подойдет в качестве введения в тему, но не сделает вас экспертом. Уровень материала скорее начальный, но книга может помочь освоить основные алгоритмы. Автор — представитель индустрии, поэтому книга написана с акцентом на прикладные аспекты.

Personalised Machine Learning
Автор: Julian McAuley
Год выпуска: 2022
Издательство: Cambridge University Press
Джулиан — университетский профессор, и книга основана на его курсе в Университете Сан-Диего. Уровень материала здесь также скорее начальный, но с более академическим уклоном. Книга подойдет, если вы только начинаете изучать рекомендательные системы и у вас это первый опыт работы с машинным обучением.

Recommender Systems Handbook
Редакторы: Francesco Ricci, Lior Rokach, Bracha Shapira
Год выпуска: 2022 (3-я редакция)
Издательство: Springer
Эта книга — практически "библия" в области рекомендательных систем. Однако она не предназначена для чтения "от корки до корки". Это скорее сборник статей от авторитетных специалистов по различным темам, связанным с рекомендательными системами. Ее лучше использовать для изучения конкретных глав, релевантных вашей задаче.

Collaborative Recommendations: Algorithms, Practical Challenges and Applications
Редакторы: Shlomo Berkovsky, Iván Cantador, Domonkos Tikk
Год выпуска: 2019
Издательство: World Scientific
Эта книга похожа на Recommender Systems Handbook, но написана другим кругом авторов. Ее можно рассматривать как дополнение к Handbook.

Recommender Systems: The Textbook
Автор: Charu C. Aggarwal
Год выпуска: 2018
Издательство: Springer
Книга получила хорошие отзывы и часто цитируется в статьях. Однако она была опубликована достаточно давно, поэтому современные модели вы там, скорее всего, не найдете. Тем не менее, она остается полезным ресурсом для понимания основ.

Building Recommendation Systems in Python and JAX: Hands-On Production Systems at Scale
Авторы: Bryan Bischof и Hector Yee
Год выпуска: 2023
Издательство: O'Reilly
Довольно новая книга (конец 2023 года), в которой даже есть ссылка на мои работы :). Поскольку книга свежая, я еще не успел ее детально изучить, но она выглядит практичной и содержит множество примеров кода. Уровень материала скорее вводный, с упоминанием более продвинутых моделей в конце. В книге используется JAX для реализации — это относительно редкий фреймворк за пределами Google.


Напишите в комментах если я пропустил что-то важное. Если вы читали какие-то из этих книжек, тоже напишите мнение, это может помочь тем кто только выбирает что почитать по теме рекомендательных систем.

Поделюсь радостью: две мои статьи приняли на конференцию #ECIR2025 (Европейская конференция по информационному поиску, Core-A).

1. Статью CountNet: Utilising Repetition Counts in Sequential Recommendation приняли в качестве Full Paper. Статья в соавторстве с Efi Karra Taniskidou и Sean Murphy; я первый автор.
2. Статью Improving Minimax Group Fairness in Sequential Recommendation приняли в качестве Full Paper на IR4Good трэк конференции. Тут первый автор Krishna Acharya; со-авторы David Wardrope, Timos Korres, Anders Uhrenholt и я.

Детали, пре-принты и надеюсь код скоро опубликую отдельными постами.

ECIR одна из моих любимых конференций: она не очень большая, но на ней много очень интересных людей, и практически все работают в той же области что и я. Субъективно, качество презентаций на ECIR в среднем выше чем на более крупных конференциях (именно презентаций, а не статей); думаю что это связано с тем что много делегатов приезжает из стран где все хорошо с английским языком.

В этом году ECIR будет в городе Лукка, Тоскана, Италия. Там рядом много всего интересного — Пизанская башня в Пизе, галерея Уффици в Флоренции; так что можно будет совместить приятное с полезным. Для меня будет вторая конференция в Италии за последнее время (первая была RecSys 2024 в Бари).

В списках принятых статей видел много знакомых, в том числе несколько людей из чатика :) Надеюсь скоро увидеться!

В понедельник мой коллега Sean MacAvaney будет делать доклад "A Periodic Table of Relevance Models". Доклад внутренний (точнее кто угодно может прийти, так что если вы вдруг в Глазго-приходите), но по факту это будет повторение доклада с летней школы по инфопоиску, запись которого есть в интернете.
Если вас интересует тема инфопоиска, применению нейронок для поиска, кросс-энкодеры, би-энкодеры и так далее — посмотрите обязательно!
https://www.youtube.com/watch?v=IJB2otQfzvE

Шон там очень классно все систематезирует и после его доклада становится понятна роль каждого типа моделей, и где какую стоит использовать.

RecSys2025 опубликовали Call For Papers (пока только Full & Short).
Full Papers — Abstract 1 апреля, Submission 8 Апреля
Short Papers — Abstract 22 апреля, submission 29 Апреля

В этом году сам лично я не факт что буду туда что-то отправлять, но надеюсь увидеть статьи от членов чатика ;-) Ревьюить дя RecSys буду почти наверняка.
https://recsys.acm.org/recsys25/call/

Акции NVIDIA обвалились на 16% из-за выхода DeepSeek-R1; модели которая использует сильно меньше GPU-часов для тренировки чем конкуренты. Теперь видимо инвесторы верят что нужно сильно менеше GPU для работы топ-моделей.

DeepSeek можно скачать себе и запускать локально. Я попробовал - и на моем макбуке локальная модель действительно выдает очень достойный результат, без обращений в интернет.

Если говорить про наш домен, то я верю что многие модели тоже можно существенно удешевить; более того существенная часть моих исследований направлена именно на это. Например в статье Shallow Cross-Encoders for Low-Latency Retrieval мы показываем что вполне можно существенно удешевить поисковые модели, при этом оставаясь в пределах адекватного качества.

В статье RecJPQ мы показываем что размер рекомендательных моделей на основе эмбеддиногов можно сильно пожать, а в статье "Efficient Inference of Sub-Item Id-based Sequential Recommendation Models with Millions of Items" показываем что в целом их можно сделать быстрыми.

Больше исследований по теме скоро; stay tunded. Я конечно не DeepSeek, но стараюсь вносить свою посильную лепту в дело удешевления и доступности State-of-the-art моделей.

O3 подвезли. Первая модель которая не сломалась на моей любимой задачке, правда думала целую минуту.

РЕТРО СТАТЬЯ — "An Algebra for Recommendations"

В этом канале я публикую разборы ключевых статей по рекомендательным системам и поиску. Ключевые — не значит новые: важнее понимать фундамент, чем гнаться за трендами.

Сегодня разберём одну из первых статей по рекомедациям An Algebra for Recommendations (PDF) Юсси Карлгрена (1990). Статью можно считать первой статьей где задача рекомендацй формализована и отделена от смежных задач. Автор работал в The Royal Institute of Technology and Stockholm University, сейчас — исследователь в Spotify.

Основные идеи статьи:

1️⃣ Первая формальная постановка задачи рекомендаций
Карлгрен впервые формулирует концепцию рекомендательной системы, что подтверждается рядом источников (например, Википедия). Хотя методы пользовательского моделирования существовали ранее, именно он предложил формальную модель рекомендаций на основе взаимодействий.

2️⃣ Рекомендации только по взаимодействиям
Автор сознательно исключает дополнительные характеристики объектов, рассматривая только взаимодействия пользователей (на примере книг). Такой подход до сих пор используется.

3️⃣ Пользователь как вектор прочитанных книг
Карлгрен предлагает представлять пользователя вектором прочитанных книг, что напоминает User-Item матрицу. Однако сама матрица явно не строится.

4️⃣ Явные (explicit) и неявные (implicit) рекомендации
Различает явные оценки и автоматическое отслеживание интереса. Подчёркивает, что пользователи должны иметь возможность корректировать рекомендации, чтобы система не навязывала своё мнение.

5️⃣ Формализация "близости" между объектами через пользовательские оценки
Предлагает вычислять "близость" на основе схожести оценок пользователей, что напоминает Item-Item коллаборативную фильтрацию. Вводит три типа отношений: понравилось, не понравилось, не видел.

6️⃣ Эксперимент (но без подтверждения результатов)
Автор описывает тест с 25 участниками, но неясно, были ли проведены полноценные эксперименты.

7️⃣ Связь с информационным поиском (IR)
Карлгрен использует термины IR (documents, queries) и рассматривает рекомендации как развитие идей поиска. Хотя он публиковался на SIGIR, после 90-х он практически не работал в области рекомендаций.

——————

Хотя ранние идеи рекомендаций существовали, именно эта работа считается первой формальной постановкой задачи. Многие её принципы стали основой современных рекомендательных алгоритмов.

Этот пост опубликован в канале @Recsys_IR_Travel. Если вы читаете его в другом месте, подпишитесь!

Для тех кто любит потреблять информацию в виде аудио, рекомендую подкаст Recsperts.

Сейчас там 25 эпизодов; в каждом эпизоде хост (Marcel Kurovski) интервьюирует одного из видных представителей RecSys сообщества.
Гости это микс из людей из индустрии и людей из академии; я пока потихоньку слушаю эпизоды, и большинство из них прямо классные.

Из интересного и того что уже прослушал — эпизод с Kim Falk (автор книги Practical Recommender Systems), где он рассказывает про свой опыт; очень понравилась история про то как он программировал матричные разложения на SQL в ранние дни рекомендательных систем.

Классный эпизод с Olivier Jeunen, где он рассказывает много инсайтов про бандитов. Один из интересных инсайтов про "чистую и грязную методолгию": сейчас есть много критики в плане экспериментов (например "MovieLens не настоящий датасет", "Leave One Out" это не честный эксперимент и тд), но не стоит забывать что эксперименты с этими датасетами и с этими кривыми экспериментами принесли нам много тех алгоритмов которыми все сейчас пользуются, и если новый алгоритм показывает большой прирост на неидеальном датасете/эксперименте, то есть большой шанс что этот же алгоритм покажет большой прирост и в честных A/B тестах. В конце концов любой offline тест нечестен.

И еще много всего очень интересного, в общем рекомендую.

—————-
Этот пост опубликован в канале @Recsys_IR_Travel. Если вы читаете его в другом месте, подпишитесь!

Классно видеть результаты своей работы в индустриальных фреймворках. Релиз использует мой код для бенчмаркинга, мой код в качестве референсной имплементации SASRec/gSASRec, и поддерживает лоссы из моих статей.