(vi) Если вы отправляйте proposal нескольким научникам, важно персонализировать Proposal для каждого университета и профессора.

6.2. Академический бэкграунд

Будут смотреть на оценки и репутацию университета, где вы учились. Если оценки невысокие или вуз малоизвестен, можно сначала пройти магистратуру в более престижном университете.

6.3. Рекомендательные письма

Лучше всего, если одно из писем будет от вашего научного руководителя, а остальные — от экспертов в предметной области. Письма должны быть персонализированными и поддерживать вашу кандидатуру.

6.4. Публикации

Наличие публикаций по теме значительно повышает шансы. Например, если вы хотите делать PhD по рекомендательным системам, публикации на RecSys или SIGIR выделят вашу заявку. Если сложно попасть на основную конференцию, можно опубликоваться на воркшопах — это тоже хороший показатель. Также полезно упомянуть другие достижения (например, призовые места в соревнованиях).

6.5. Английский язык

Обычно требуется уровень не ниже B2, но C1/C2 повысит шансы.

—

В целом не смотря на сложности, поступить на PhD и получить стипендию вполне возможно. Буду рад ответить на вопросы в комментариях.

Этот пост опубликован в канале @Recsys_IR_Travel. Если вы читаете его в другом месте, подпишитесь!

ZDF (один из крупнейших броадкастеров в Германии) рассказывает как они используют наши модельки для того чтобы уменьшить Popularity Bias (На 5:15 прямая отсылка к нашей статье как источник вдохновения).

Одна из проблем академического рисерча заключается в том что он не всегда напрямую связан с продакшеном, поэтому я всегда кайфую когда кто-то использует наши результаты в проде и публикует результаты A/B тестов.

https://youtu.be/Ar7cz4c80s4?si=UL8Ubd4rp1nBTBhJ&t=315

Про меня уже мемы делают 😮

🎤После стольких лет (шести!) на ридинг-группе наконец-то будет полезный доклад. 20 марта Дарья Тихонович, наша гостья из МТС, представит библиотеку RecTools. Недавно библиотека получила большое обновление, в котором популярные рекомендательные трансформеры прокачаны до уровня SOTA-статей.
SASRec можно обучать из коробки в парадигме fit/recommend, а можно кастомизировать так, что даже Саша Петров не узнает. Приходите послушать Дарью в 18:00.

Зум: ссылка
Номер: 777 282 2791
Код: 1

Сегодня начинаю работу в индустрии. Угадаете компанию ? Подсказка в названии канала 😉

UPD: Угадали.

Буду пилить рекомендашки и поиск в TripAdvisor, а конкретнее в Viator.

Netflix опубликовали интересный блогпост:
Foundation Model for Personalized Recommendation
(https://netflixtechblog.medium.com/foundation-model-for-personalized-recommendation-1a0bd8e02d39)

Основная идея – в Netflix много разных рекомендательных алгоритмов (например, «Continue Watching» или «Top Picks for You»). Авторы предлагают вместо того, чтобы обучать модель с нуля для каждого отдельного алгоритма, сначала обучить большую поведенческую модель, а потом уже файнтюнить её под конкретные задачи. Несмотря на то, что идея в целом не новая (я сам работал над похожим подходом в больших компаниях), в этой статье интересны детали.

Авторы описывают подход на основе трансформеров (аналогично SASRec), но с большим количеством улучшений:

Incremental Training. Вместо того, чтобы переобучать модель с нуля, авторы переиспользуют веса «вчерашней» модели. Эмбеддинги новых айтемов предлагают инициализировать как взвешенную сумму уже существующих похожих айтемов, но говорят, что способ инициализации весов не критичен.

- Метаинформация. Учат отдельные эмбеддинги для жанров, тональности, сюжетных линий, а затем конкатенируют их и смешивают с обученным эмбеддингом айтемов через специальный «mixing layer». Он определяет, как именно сочетать контентные и коллаборативные эмбеддинги в зависимости от того, насколько «старый» айтем.

- Токены – это не только сами айтемы, но и разные признаки самого действия (длительность просмотра, локаль, тип устройства), а также признаки айтемов (жанр, страна).

- Большинство токенов – категориальные фичи, но некоторые требуют тщательной обработки. Например, токены, относящиеся ко времени, нужно аккуратно парсить, чтобы использовать одновременно относительное и абсолютное время.

- Токены делятся на «Request-Time Features» (доступные во время интеракции, например, тип устройства) и «Post-Action Features» (например, длительность просмотра). Их смешивают вместе для получения наилучшего результата.

- Модель предсказывает не 1 токен вперёд, а сразу N токенов; это помогает лучше улавливать длинные зависимости.

- Прежде чем предсказать сам айтем, модель сначала предсказывает его признаки (жанр, язык и т.д.). Это позволяет сузить пространство выбора и делает модель более устойчивой (с моей точки зрения, это чем-то похоже на «reasoning»).

- Авторы рассуждают о том, чтобы мёржить частые токены с помощью BPE, но я не до конца понял, применяют они это на практике или нет.

- Так как токенов много и описан каждый экшен, используются механизмы работы с длинными последовательностями (sparse attention) и sliding window для эффективного использования всех доступных данных.

- Size Matters – Больше параметров модели приводит к лучшим результатам. Однако улучшения нелинейны; судя по приведённой картинке, рост логарифмический. Тут нужно учесть, что у Netflix практически бесконечное количество данных, и на меньших датасетах совершенно не факт, что тренд сохранится.

В целом блогпост мне понравился. К сожалению, не хватает большого количества деталей и не очевидно, насколько каждая описанная идея влияет на финальный результат, но это и не научная статья, чтобы приводить подобные детали. Многие идеи уже были известны, но классно, что Netflix собрали их в едином решении (опять же, интересно именно то, что используют большие компании в продакшене).

—
Этот пост опубликован в канале @Recsys_IR_Travel. Если вы читаете его в другом месте, подпишитесь!

А вот и запись доклада от @blondered про трансформеры в RecTools; с приличным количеством ссылок на мой research 🙂

🎥Запись ридинг-группы от 20 марта 2025 года. Дарья Тихонович рассказала про библиотеку RecTools.

Кирилл тут нашел запись keynote Ed Chi на LargeRecsys+VideoRecsys воркшопе. Я это выступление слушал на РекСисе вживую и мне тоже оно зашло, но мне в первую очередь понравилось не рассказ про Semantic ID, а идея про "великое объединение". Смысл идеи в том что поиск, персональный поиск, рекомендации и реклама это одно и тоже, и в целом нет смысла делать отдельные модели для каждой из этих задач. Такое объединение это явно большой тренд в РекСисе; на эту же тему были доклады от Netflix и Spotify на основном треке конференции, и классный доклад от spotify на трэке про генеративные рекомендательные системы. Я в общем с этой идеей согласен; мне кажется что большой разницы между поиском и рекомендациями нету.

Кстати, если вы еще не подписаны на Кирилла, то подпишитесь, он там интересное постит.

Видеозапись воркшопа LargeRecsys x VideoRecSys c RecSys 2024.

Оказывается, на ютуб уже выложили часть выступлений с воркшопа LargeRecsys x VideoRecSys!

В том числе выложили и выступление от Ed Chi, с которого начался весь хайп семантических айдишников. Я в день самого выступления уже писал краткий tdlr, но советую всё равно его посмотреть. Там будет и увлекательный экскурс в историю рекомендаций и генеративных моделей, и рассказ про связь рексистем с распределением Больцмана, и демка Project Astra. А ещё, они не все свои наработки по семантическим айдишникам опубликовали :)

Также на канале доступно выступление от Derek Cheng (с наработками от той же гугловской рекомендательной группы), в котором мимолётно упоминаются DCN-v3 и DCN-v4, а также есть рассказы про HSTU и про инференс рекомендательных нейросетей.

Надо смотреть! Ссылка на весь плейлист.

Если интересно получить больше контекста, можно почитать:
* пост про Ed Chi
* мои заметки по докладу про ранжирование в Ютубе с прошлой итерации этого воркшопа
* серию постов про RecSys 2024

https://link.springer.com/chapter/10.1007/978-3-031-88714-7_4

Моя статья с со-авторами из Amazon наконец опубликована! Основная идея - трансформеры не очень хорошо подходят для рекомендаций повторяющихся интеракций, поэтому им надо немного в этом помочь.

Полный обзор напишу на днях, а пока можно почитать самим:)

Также буду презентовать эту статью на ECIR 8го апреля. Если будете на ECIR - приходите послушать)

Прилетел в Лукку на ECIR в Италию, и первая вещь которую которую узнал - мою с соавторами (Крэйг Макдональд, у и Никола Тонелотто статью приняли на SIGIR (A* конференция, пожалуй главная конференция по поиску). По совпадению, SIGIR в этом году тоже в Италии.


Хороший финальный аккорд для моей диссертации; это был последний неопубликованный кусочек. Теперь каждая глава диссертации опубликована; саму диссертацию я тоже отправил рецензентам на днях.

Препринт скоро, пока вот поделюсь Abstract'ом