Нейросетевые рекомендательные системы.
А ещё я сегодня прочитал гостевую лекцию про нейросети в рекомендациях в рамках курса Deep Learning 2 на ФКН ВШЭ.
О чём говорили:
1. Зачем нужны рексистемы и как они устроены (слегка переписанный кусочек из моей лекции для первокурсников)
2. Почему в рекомендациях хороши нейросетевые модели
3. Классические нейросетевые архитектуры для генерации кандидатов и ранжирования
4. Frontier: трансформеры, масштабирование, RL, генеративные модели, semantic IDs
К лекции был семинар, который провёл Артём Матвеев — разобрали Unified Embeddings, PLE (Piecewise Linear Encoding) и DCN-v2. Показали, что на Yambda нейросеть выигрывает у катбуста в задаче ранжирования :)
У курса есть Git-репозиторий, куда выкладываются материалы занятий: https://github.com/thecrazymage/DL2_HSE.
Слайды лекции присылаю следующим сообщением; а запись занятия и семинар позже появятся в репозитории.
Курс выглядит прикольно — например, есть лекция про Bitter Lesson от Вани Рубачёва :)
Спасибо Мишану @ne_mishan за приглашение!
А ещё я сегодня прочитал гостевую лекцию про нейросети в рекомендациях в рамках курса Deep Learning 2 на ФКН ВШЭ.
О чём говорили:
1. Зачем нужны рексистемы и как они устроены (слегка переписанный кусочек из моей лекции для первокурсников)
2. Почему в рекомендациях хороши нейросетевые модели
3. Классические нейросетевые архитектуры для генерации кандидатов и ранжирования
4. Frontier: трансформеры, масштабирование, RL, генеративные модели, semantic IDs
К лекции был семинар, который провёл Артём Матвеев — разобрали Unified Embeddings, PLE (Piecewise Linear Encoding) и DCN-v2. Показали, что на Yambda нейросеть выигрывает у катбуста в задаче ранжирования :)
У курса есть Git-репозиторий, куда выкладываются материалы занятий: https://github.com/thecrazymage/DL2_HSE.
Слайды лекции присылаю следующим сообщением; а запись занятия и семинар позже появятся в репозитории.
Курс выглядит прикольно — например, есть лекция про Bitter Lesson от Вани Рубачёва :)
Спасибо Мишану @ne_mishan за приглашение!
🔥43❤6🎉3
В репозитории появилась запись нашего обзорного занятия про нейросетевой рексис из прошлых постов:
* лекция — тык
* семинар — тык
Надеюсь, наш будущий рексис курс тоже получится записать и выложить, но это мы узнаем уже в следующем полугодии :)
* лекция — тык
* семинар — тык
Надеюсь, наш будущий рексис курс тоже получится записать и выложить, но это мы узнаем уже в следующем полугодии :)
1🔥34❤11🎉8
Наткнулся на местечковый сайт (https://book.sv), на котором можно вбить последние 64 прочитанные книги и получить рекомендации для следующего прочтения.
Создатель сайта распарсил Goodreads, обучил улучшенный SASRec, поднял инференс на NVIDIA Triton. Отличный пример рекомендательного pet project'а.
На сайте есть секция "How it works", в которой автор подробно расписал, как делал модель — даже метрики приложил. А ещё очень приятно было обнаружить там упоминание нас с Сашей Петровым (@Recsys_IR_Travel). Ради такого статьи и пишем :)
Создатель сайта распарсил Goodreads, обучил улучшенный SASRec, поднял инференс на NVIDIA Triton. Отличный пример рекомендательного pet project'а.
На сайте есть секция "How it works", в которой автор подробно расписал, как делал модель — даже метрики приложил. А ещё очень приятно было обнаружить там упоминание нас с Сашей Петровым (@Recsys_IR_Travel). Ради такого статьи и пишем :)
3🔥55❤15❤🔥6👍1
graph_recsys.pdf
6.3 MB
Лекция про графовые модели для рекомендательных систем.
Прочитал сегодня гостевую лекцию про графовые модели для рекомендательных систем в рамках курса по графам в машинном обучении в ШАД.
Читал такую же лекцию в прошлой итерации курса, но тогда у меня было существенно меньше времени для подготовки. В этот раз и презентацию сделал нормально, и структуру лекции больше продумал, и ещё вставил свежий кусочек про гетерогенную графовую модель TTGL от TikTok.
Прочитал сегодня гостевую лекцию про графовые модели для рекомендательных систем в рамках курса по графам в машинном обучении в ШАД.
Читал такую же лекцию в прошлой итерации курса, но тогда у меня было существенно меньше времени для подготовки. В этот раз и презентацию сделал нормально, и структуру лекции больше продумал, и ещё вставил свежий кусочек про гетерогенную графовую модель TTGL от TikTok.
1👍20🔥14❤4
Немного картинок для тех, кому лень открывать презентацию :)
1🔥22❤6👍4👀1
Новый подкаст с Суцкевером уже все видели, а я хочу подсветить еще два свежих подкаста:
* John Schulman (со-основатель OpenAI, автор TRPO / PPO, сейчас работает в thinking machines); про RL, ресерч, академию и индустрию — ссылка
* Новый подкаст с Demis Hassabis; по сути, подводит итоги года и хвастается успехами :) ссылка
Еще у Шульмана есть небольшой гайд про то, как заниматься ресерчем — “An Opinionated Guide to ML Research” (ссылка). Он 2020-го года, но актуальность не потерял — разве что, по словам самого Шульмана, стоило бы добавить секцию про использование LLM.
Из того, что тоже хотел осветить, но руки все не доходили — в Spotify продолжают пушить разговорные рекомендации. Буквально пару недель назад я рассказывал на лекции свое видение развития рексистем; что разговорные рекомендации — это способ уйти от манипуляций и дать пользователям больше контроля над алгоритмами. И, судя по постам менеджмента Spotify (см. скрин с Линкедина), позиция у них похожая. С технической точки зрения их подход, вероятно, довольно близок к PLUM (см. недавний блог пост).
А что касается меня — я сейчас активно занимаюсь ресерчем :) В этом году появились первые публикации, вернулся к преподаванию и сильно сменил фокус — с внедрений на науку и исследования. Год получился богатым на перемены.
С наступающим. Спасибо, что читаете!
* John Schulman (со-основатель OpenAI, автор TRPO / PPO, сейчас работает в thinking machines); про RL, ресерч, академию и индустрию — ссылка
* Новый подкаст с Demis Hassabis; по сути, подводит итоги года и хвастается успехами :) ссылка
Еще у Шульмана есть небольшой гайд про то, как заниматься ресерчем — “An Opinionated Guide to ML Research” (ссылка). Он 2020-го года, но актуальность не потерял — разве что, по словам самого Шульмана, стоило бы добавить секцию про использование LLM.
Из того, что тоже хотел осветить, но руки все не доходили — в Spotify продолжают пушить разговорные рекомендации. Буквально пару недель назад я рассказывал на лекции свое видение развития рексистем; что разговорные рекомендации — это способ уйти от манипуляций и дать пользователям больше контроля над алгоритмами. И, судя по постам менеджмента Spotify (см. скрин с Линкедина), позиция у них похожая. С технической точки зрения их подход, вероятно, довольно близок к PLUM (см. недавний блог пост).
А что касается меня — я сейчас активно занимаюсь ресерчем :) В этом году появились первые публикации, вернулся к преподаванию и сильно сменил фокус — с внедрений на науку и исследования. Год получился богатым на перемены.
С наступающим. Спасибо, что читаете!
🎄33🔥11❤🔥4❤4🥰2👍1