Решил завести отдельный канал где буду постить свои мысли по интересующим меня темам. В отличие от чата #recommender_systems (https://t.iss.one/ods_recommender_systems), это мой личный канал, и постить сообщения буду в него только я.

Для тех кто не знаком - давайте знакомиться. Меня зовут Александр Петров, я PhD студент в университете Глазго. Занимаюсь в основном рекомендательными системами, поисковыми системами и поиском.

Вдохновившись постом @lashinin, первый пост в этом канале будет про мой путь в RecSys Research.

Первый раз я познакомился с темой машинного обучения в 2009 году. Тогда, будучи студентом 4-го курса ВМиК МГУ, я попал на стажировку в Яндекс, в команду Яндекс.Пробок, чем был несказанно горд. Я тогда занимался разными интересными задачами, типа фильтрации сигналов пешеходов. Однако мое знакомство с темой машинного обучения оставалось на довольно базовом уровне еще несколько лет, даже несмотря на то, что я писал диплом на тему, связанную с машинным обучением. В любом случае, я видел себя скорее программистом, чем исследователем, и поэтому мои знания не уходили сильно глубже "from sklearn import..."

В 2011 году я закончил ВМиК, а в 2012 ушел из Яндекса и перешел на короткое время в Mail.Ru. Несмотря на то, что в Mail.Ru я работал совсем недолго (полгода), это было первое место, где я впервые столкнулся с задачами IR/RecSys. Я работал в рекламном отделе и занимался задачами, связанными с таргетингом. Именно в 2012 году я впервые познакомился с научным сообществом, которое занималось поиском и рекомендациями. Mail.Ru тогда спонсировали летнюю школу по информационному поиску RuSSIR. Это было очень классное мероприятие, куда приглашали ученых и студентов со всего мира. Жаль, что после 2019 года RuSSIR больше не проводят. Еще во время работы в Mail.Ru я начал учиться в аспирантуре ИПИ РАН, которую в итоге так и не закончил.

После Mail.Ru я несколько лет работал в рекламных стартапах и научными исследованиями почти не занимался (хотя и написал пару статей с соавторами из ИПИ РАН). Там я занимался скорее научпопом: писал статьи на Хабре, преподавал Big Data на курсах и т. д. С исследованиями я снова столкнулся после 2017 года, когда переехал в Великобританию и начал работать в Amazon. В Амазоне была программа по научному руководству студентами Эдинбургского университета, где я руководил несколькими группами студентов совместно с коллегами из команды рекомендаций. Примерно тогда же я начал серьезно погружаться в нейросети и Deep Learning. За время работы со студентами я всерьез задумался о PhD, так как понял, что исследования на пересечении Deep Learning и рекомендательных систем мне очень интересны.

2020 (ковидный) год стал поворотным: мое решение пойти на PhD и заняться исследованиями окончательно дозрело. В этот год, из-за ковида, в отпуск мы поехали не в другие страны, а в соседние города Великобритании. Когда мы приехали в город Durham и погуляли по кампусу местного университета, я, погрузившись в эту атмосферу, сказал себе: "Да, я этого хочу". Тогда же, на границе 2020 и 2021 годов, я поучаствовал в RecSys соревнованиях и написал по результатам первую статью в серьезное место (это был воркшоп на конференции WSDM). Я начал искать, где можно заниматься рекомендательными системами, и нашел группу по информационному поиску в Университете Глазго.

Осенью 2021 года я начал учиться в Университете Глазго, и уже в начале 2022 года я отправил первую статью на конференцию SIGIR. Статью, к сожалению, не приняли, но, учтя фидбек, я ее доработал и отправил на главную конференцию по рекомендательным системам (вместе с другой reproducibility-статьей). С учетом доработок статью не только приняли на конференцию, но и номинировали на Best Paper Award. Вторую статью тоже приняли. Эти две статьи стали для меня первыми серьезными публикациями на значимой конференции.

Позже было приличное количество статей на конференциях, в журналах и на воркшопах. Самое большое достижение — Best Paper Award на RecSys 2023 в Сингапуре. Самая запоминающаяся конференция — WSDM 2024 в Мексике. Последние две статьи — на ECIR 2025 — я написал во время летней исследовательской практики в Амазоне.

Сейчас, PhD-программа в Университете Глазго подходит к концу, и мне скоро снова нужно будет искать работу в индустрии. Дальше я планирую продолжать работу в индустрии, развивая поиск и рекомендации, и надеюсь делиться результатами с сообществом

Включил комменты, но под прошлым постом они автоматом не добавились :( Кто хочет откомментить предыдущий пост, пишите комменты под этим постом.

2024: Мои Research-итоги.
В основном, про статьи, конференции и летние школы :)

2024 год выдался для меня очень насыщенным в плане исследований и конференций. С учетом того, что мой PhD подходит к концу, вполне возможно, что этот год останется самым плодотворным в плане публикаций в моей жизни, но как знать.

В начале марта я ездил в Мексику на конференцию Web Search & Data Mining (WSDM'24), где представлял нашу статью RecJPQ. В ней мы показываем, как можно существенно сократить потребление памяти в трансформерах. Кроме того, на WSDM я участвовал в Doctoral Consortium, где делился своим прогрессом по PhD. Это мероприятие могу порекомендовать всем.

В конце марта я активно участвовал в конференции ECIR'24, которая в этом году проходила у меня дома, в Глазго. На конференции я представил статью по оптимизации маленьких языковых моделей для поиска, также поучаствовал в Doctoral Consortium и вместе с научным руководителем провел Tutorial по использованию трансформеров для рекомендательных систем.

Апрель и май оказались довольно тихими месяцами (почти) без конференций, но это время было самым продуктивным для работы над исследованиями, которые мы отправляли на конференцию RecSys. В начале мая я представил работу по использованию Reinforcement Learning для оптимизации метрик, не связанных с точностью (например, Diversity) на воркшопе по генеративным рекомендательным системам на конференции WWW. Также в мае я начал летнюю Research-практику в Amazon.

Летом, пока я работал в Amazon, я успел поучаствовать в летней школе по информационному поиску, где прочитал лекцию по Neural Recommender Systems. В августе я съездил в Корею на конференцию IJCAI. На IJCAI есть трек для статей, получивших Best Paper Award на других конференциях, поэтому там я представил свою прошлогоднюю статью с RecSys.

Сентябрь выдался относительно тихим. В этом месяце у меня родилась дочка, поэтому исследования отошли на второй план. Однако в сентябре расширенную версию прошлогодней статьи с RecSys приняли в журнал Transactions on Recommender Systems в специальный выпуск "Highlights of RecSys'23".

Октябрь, напротив, стал самым насыщенным месяцем. Вместе с научным руководителем мы прочитали лекцию о трансформерах на летней школе. Затем состоялся ACM RecSys, где у меня была статья по эффективному инференсу моделей, статья о моделировании повторов в музыкальных рекомендациях и презентация всего моего исследования на воркшопе LargeRecSys. Интересно, что я оказался единственным представителем академии на воркшопе — все остальные участники были из индустрии (Google, Netflix, Microsoft и другие).

Ноябрь и декабрь были относительно спокойными. В это время я начал активно работать над диссертацией и заниматься поиском работы. В конце декабря пришли положительные результаты по статьям, над которыми я работал летом в Amazon. Про них, а также о том, куда я в итоге решил пойти работать, расскажу уже в 2025 :)

Ну и немного фоточек из 2024 :)