А вот и видеозапись доклада:

https://ods.ai/competitions/aivkchallenge/video

https://vkvideo.ru/video-164555658_456241336

Ребята из команды API Яндекс карт разработали нейросетевой геокодер (маппинг из текстового запроса в координаты) и написали про это лонгрид на Хабре — https://habr.com/ru/companies/yandex/articles/877086/

Канал Саши Петрова про рексистемы.

Я в октябре советовал канал Олега Лашинина @recsys_for_all, а недавно канал завел Саша Петров. Мне кажется Саша в представлении не нуждается, автор recsys best paper 2023 gSASRec: Reducing Overconfidence in Sequential Recommendation Trained with Negative Sampling и большого количества других статей, опубликованных на топовых конференциях. Советую заглянуть на канал и подписаться: @Recsys_IR_Travel.

Вот любят упоминать, дескать, Илья Суцкевер — нижегородец. А я вам сейчас расскажу про настоящего нижегородца! Чем примечателен герой сегодняшнего поста, Фёдор Борисюк:

1. В какой-то момент я интересовался мультимодальными векторными представлениями для товаров, в первую очередь на основе картинок и текстов. Когда делал обзор на тему, в него вошли статьи от Фейсбука, в авторах которых фигурирует Фёдор:
* MSURU: Large Scale E-commerce Image Classification with Weakly Supervised Search Data (2019)
* GrokNet: Unified Computer Vision Model Trunk and Embeddings For Commerce (2020)
Они не про мультимодальные представления per se, но являются одними из первых работ про визуальные эмбеддинги для товаров.

2. У Фейсбука на момент 2022-го года было не очень много хороших статей про нейросетевые рекомендации, но вот эти две статьи, в которых Фёдор тоже числится в авторах, мне нравились:
* Que2Search: Fast and Accurate Query and Document Understanding for Search at Facebook (2021). Там вышло продолжение, Que2Engage, но уже без Фёдора
* NxtPost: User to Post Recommendations in Facebook Groups (2022)

3. После Фейсбука в 2022-м году Фёдор перешел в Линкедин. За 2024-й год появилось очень много статей в соавторстве с ним:
* MultiSlot ReRanker: A Generic Model-based Re-Ranking Framework in Recommendation Systems
* LinkSAGE: Optimizing Job Matching Using Graph Neural Networks
* Learning to Retrieve for Job Matching
* LiRank: Industrial Large Scale Ranking Models at LinkedIn (первый автор)
* LiGNN: Graph Neural Networks at LinkedIn (первый автор)
* LiMAML: Personalization of Deep Recommender Models via Meta Learning
* LiNR: Model Based Neural Retrieval on GPUs at LinkedIn (первый автор)
* Efficient user history modeling with amortized inference for deep learning recommendation models

Разумеется, в написании этих статей участвовало много людей, но для меня три самые хорошие из них — те, в которых Фёдор первый автор. Причем, с довольно большим отрывом.

А пару дней назад вышла ещё одна статья — From Features to Transformers: Redefining Ranking for Scalable Impact. И опять Фёдор первый автор. По беглому просмотру выглядит так, что теперь уж точно Линкедин по рекомендательным технологиям вышел на третье место, обогнав Пинтерест. Завели свой аналог hstu, ещё и с семантическими айдишниками что-то сделали. Предвижу комментарии про то, что рекомендации в Линкедине плохие и вообще непонятно что там можно рекомендовать — здесь мне сложно прокомментировать, сужу в первую очередь не как пользователь, а как читатель статей. Захожу в Линкедин не очень часто, но когда захожу — релевантные посты вроде подсовывает.

Аналогично тому, как мы изучили карьеру Эда Чи через Линкедин, можно посмотреть и на карьеру Фёдора (linkedin):
* В 2007-м закончил магистратуру в нижегородском Университете Лобачевского; там же получил степень кандидата в 2010-м году, кандидатская про поиск текстовых документов. Параллельно с учёбой работал в Mera Networks, причем делал что-то очень хардовое, кодил на C/C++, джаве, etc
* С 2011 по 2015 работал в Microsoft, уже занимался машинным обучением
* Два года проработал в Линкедине, в качестве Senior Software Engineer. Занимался рекомендательными системами, написал две статьи (как первый автор)
* Ушёл в Фейсбук, проработал там почти 6 лет; сначала занимался компьютерным зрением, затем снова рекомендательными системами. Написано, что был Senior Staff Technical Lead Engineering Manager
* Вернулся в Линкедин в качестве Principal Staff Engineer, и последние два года двигает вперед тамошние технологии семимильными шагами

Путь длиной в 19 лет, если считать от начала работы, и длиной в 15 лет, если с окончания аспирантуры. В отличие от Эда Чи, здесь всё выглядит стремительней, и при этом с периодическими переходами между компаниями. Микрософт, Линкедин, Фейсбук, Линкедин. А началось всё с Университета Лобачевского :)

Морали у поста никакой нет. Просто хотелось подсветить, что есть у нас и настоящие нижегородцы с достижениями! :) Напоследок прикладываю доклад Фёдора про Image Search at Facebook шестилетней давности.

#05🎙️А у нас новый выпуск про рекомендательные системы с Кириллом Хрыльченко 😎

Яндекс Музыка | Apple | Spotify | Telegram | Mave

Кирилл руководит R&D направлением рекомендательных систем в Яндексе. В этом выпуске мы поговорим о следующем:
- почему в 2025 году надо заниматься рекомендательными системами, а не LLM
- про метрики, баесы и где в рекомендациях можно ошибиться на ровном месте
- почему будущее за нейросетевым ранжированием, а не за бустингами
- 4 проблемы рекомендаций
- модные штуки: семантические id, почему на самом деле рекомендации - это RL, трансформеры, генеративные рекомендации
- ещё поговорим про рекомендации музыки, куда же без этого!

Подписывайтесь на телеграм-канал Кирилла @inforetriever
Пейпер про HSTU: https://arxiv.org/abs/2402.17152

ШАД и RecSys.

Недавно упоминал, что хочется сделать курс по рекомендательным системам. Эта амбиция постепенно реализуется через ШАД:

1. Делаем совместно с ребятами из Лавки обновлённый RecSys курс: наша команда взяла на себя нейросетевую часть курса — проведем три лекции, два семинара, одну домашку.

В прошлом году я уже читал одну сдвоенную лекцию про трансформерную персонализацию, но получилось очень сложно и сумбурно. В этот раз должно быть гораздо лучше — полноценные, нормально структурированные лекции про нейросетевый отбор кандидатов, нейросетевое ранжирование и RecSys тренды.

По мере подготовки стало понятно, что полезного материала в контексте рекомендательных нейросетей хватит лекций на шесть, если не больше. В следующем году, вероятно, расширимся.

2. Меня пригласили прочитать лекцию про графы в рекомендациях в курсе “Графы в машинном обучении.” — как раз в рекомендательный курс подробное обсуждение GNN не влезло, а тема интересная и полезная.

Возможно, опубликую здесь примерный curriculum лекций, а если получится — то и записи выложу (может, даже что-то перезапишу). Такие дела :)

P.S: ребята из Лавки очень основательно подходят к подготовке курса. Думаю, будет +1 крутой курс в ШАД’е!

Видеозапись воркшопа LargeRecsys x VideoRecSys c RecSys 2024.

Оказывается, на ютуб уже выложили часть выступлений с воркшопа LargeRecsys x VideoRecSys!

В том числе выложили и выступление от Ed Chi, с которого начался весь хайп семантических айдишников. Я в день самого выступления уже писал краткий tdlr, но советую всё равно его посмотреть. Там будет и увлекательный экскурс в историю рекомендаций и генеративных моделей, и рассказ про связь рексистем с распределением Больцмана, и демка Project Astra. А ещё, они не все свои наработки по семантическим айдишникам опубликовали :)

Также на канале доступно выступление от Derek Cheng (с наработками от той же гугловской рекомендательной группы), в котором мимолётно упоминаются DCN-v3 и DCN-v4, а также есть рассказы про HSTU и про инференс рекомендательных нейросетей.

Надо смотреть! Ссылка на весь плейлист.

Если интересно получить больше контекста, можно почитать:
* пост про Ed Chi
* мои заметки по докладу про ранжирование в Ютубе с прошлой итерации этого воркшопа
* серию постов про RecSys 2024

Мы с командой начинаем постепенно вкатываться в написание статей:

* засабмитили на ACM RecSys 2025 два full paper’а
* хотим засабмитить туда же short paper
* возможно и для reproducibility трека статью напишем

Это, конечно, ощущается как вторая фулл тайм работа (а подготовка курса для ШАД’а — как третья), но мы замотивированы и будем пытаться, пока не получится!

А еще, вроде как, буду делать на Датафесте в RecSys треке доклад на тему “Масштабирование рекомендательных систем”. С результатами :)

Напоследок, маленькая байка: в первой версии оригинальной статьи про семантические айдишники в рекомендациях Recommender Systems with Generative Retrieval обещали выложить код после принятия статьи на конфу, но так и не выложили. А строчку эту позже удалили :)

Welcome to the Era of Experience.

У Ричарда Саттона (автора самой популярной книжки по РЛ, а также bitter lesson) и Дэвида Сильвера (автора AlphaGo) вышла новая статья — Welcome to the Era of Experience. Эссе про bitter lesson я люблю, и во многом им вдохновляюсь в своей работе, поэтому и здесь сразу побежал читать. Не вижу смысла делать полный пересказ, такое стоит полностью от и до самостоятельно прочитать. Но попробую чуть-чуть заинтересовать:

1. Критикуют LLM’ки, RLHF, тюнинг под оценки человеческих экспертов и под успешные исходы диалогов, использование человеческого языка для ризонинга.

2. Оптимистично пишут про Deepseek, AlphaProof, computer use (агентов, взаимодействующих с миром через интерфейс компьютера), модели мира. Утверждают, что чтобы выйти за пределы человеческих возможностей, агенты должны учиться не на человеческих данных, а на собственном опыте. Этот опыт может включать фидбек от людей; но не от экспертов-разметчиков, а от пользователей. Очень сильно делают акцент на привязке всего происходящего к реальному миру, что награды должны быть связаны с реальным миром.

3. Часто приводят в пример сценарий ассистента, когда агент должен помогать пользователю в достижении долгосрочных целей, типа улучшения здоровья / изучения нового языка. Сценарий, когда цель агента — это совершить новые открытия / прорывы в науке, тоже упоминают.

В общем и целом вайб у статьи очень оптимистичный. Начинаешь верить, что это все действительно не за горами :)

А еще по мотивам статьи есть подкаст с Дэвидом.