Если помните, есть такая компания Yahoo, которая поиск делала и делает. Они, конечно, тоже не хотят отставать от Google и Bing в гонке технологий, поэтому обращают внимание на Large Language Models (LLMs). У них ещё есть опенсорсная библиотека Vespa, в которой нет-нет да какие-то крутые фичи и добавляются.

Только что Jo Kristian Bergum, Distinguished Engineer (очень высокий грейд) в Yahoo, работающий над этой библиотекой, выпустил обзорный пост про использование LLM и генеративных моделей вообще для поиска. Вот ссылка - тык. Он - инженер в поиске с 20 годами стажа (!) - пишет, что "I've never been more excited". И это правда, потому что большие языковые модели помогут по-новому посмотреть на обучение приземленных маленьких-средних моделей, которые будут внедряться в прод.

У меня есть презентация и заготовленный доклад по теме обучения Retrieval-системы с использованием LLM, где сама модель осуществляет лишь всопомгательную функцию во время обучения, а для применения (инференса) не используется.
Ссылка на презентацию для самостоятельного разбора: тык (46 слайдов, ~1.5 часа на чтение)

Если под постом соберется 400 сердечек - сделаю видео-лекцию на YouTuve по этой прзентации, где детально расскажу, что, как и почему происходит в пайплайне. А пока - всем удачного изучения :)

Репосты приветствуются, чтобы получить 400 ❤️ как можно скорее 😳

Конечно же, пул вопросов определят то, чем конкретно будет заниматься кандидат. Кейс надо подбирать близко к работе. Если вы пишете свои библиотеки или свою рекомендательную систему с нуля — то лезть в реализации ML-ных алгоритмов норм.

3. Как чувак будет работать?

Напоминаю, что это ключевой вопрос, на который мы пытаемся найти ответ в собесе. Сделать это капец как сложно, но мы пытаемся. При разговоре, обычно всплывают всякие второстепенные дескрипторы, на которые стоит обращать внимание.

Если всплыл какой-то дескриптор — это не означает, что кандидат хороший или плохой. Выводы надо делать по всему разговору целиком и в сравнении с другими кандидатами, с которыми вы поболтали. Если нанимающий менеджер кто-то другой, в фидбэке надо подробно описать как проходило собеседование. Человек, который принимает решение, должен видеть не просто плюсик или минусик в фидбэке, а собственно сам фидбэк.

На что я пытаюсь обращать внимание:

🍏 Умеет ли кандидат срывать низковисащие плоды

Вам в задаче надо построить контур антиспама. Что делает кандидат первым делом? Начинает строить космолет из нейронок или предлагает написать регулярку? Если космолёт — это плохой знак. Скорее всего, он для любой задачи будет сразу придумывать сложное решение вместо того, чтобы катнуть быстрое, а потом его развивать. Надо будет чаще менторить его и растить.

Понятное дело, что по одному ответу про классификатор нельзя сделать такие выводы, но ты обычно видишь в течение собеса много признаков.

🛣 Как кандидат подходит к решению задачи

Если это ML-ная задача, он делает это с технической сторны с метриками или с продуктовой стороны? Если он пытается думать о продукте и перекладывать его особенности в решение кейса — он клёвый и более зрелый.

Например, если мы говорим про классификатор спама — чувак может предложить подбирать пороги для отправки комментов на модерацию максимизируя Recall, а может предложить посмотреть, сколько у нас есть денег на модераторов и подобрать порог исходя из этого.

Тут важно то, что мы переносим знания о продукте в технические детали. Иногда люди хорошо рассуждают про продукт, но разваливаются при таком переносе. Хороший кандидат умеет превращать продуктовую особенность в техническое решение.

🪡 Насколько кандидат самостоятельный

Вы обсуждаете кейс, кандидат цепляется за какую-то одну сторону задачи и закапывается в неё, постепенно уходя в ступор, вместо того чтобы откатиться назад и наметить другой путь к решению.

Скорее всего, тоже самое будет происходит с рабочими задачами. Придётся брать свою мощную менторскую руку и корректировать работу чаще, чем в случае другого кандидата, который в состоянии скорректировать свои изыскания сам.

Другой дискриптор самостоятельности — самокритика. Если кандидат накидывает решения, а потом отмечает их слабые места — он молодец.

⁉️ Умеет ли кандидат задавать вопросы

Когда вы вкидываете задачу, вы обычно делаете это коротко. Дальше начинаются детали. Кандидат может либо уточнять/проговаривать самостоятельно детали кейса, либо сразу прыгать в решение с тем, что пришло к нему в голову.

Второе — плохо. Потенциально может случиться так, что ты ставишь таску, чувак чет не понял и додумал сам не туда. Надо будет чаще влезать в его деятельность своей менторской рукой.

🐰 Умеет ли кандидат лезть вглубь

Насколько нетривиальные идеи вкидывает кандидат? Может ли он не теряться в своих же мыслях и нормально развивать их или он мечется от одной к другой и теряется в своих же рассуждениях?

😭 Ступор

Тэйки выше можно легко перепутать со ступором. Если кандидат впал в ступор и молча сидит, думает, его надо срочно вытаскивать. Надо просить его рассуждать вслух, даже если он будет говорить глупости. Дальше ты как интервьюер цепляешься за эти мысли и вкидываешь подсказки, чтобы вытащить человека из ступора.