АБ-тесты. Интеграция в процесс пилотирования
Полный цикл постов про процессы в АБ-тестировании

Друзья, цикл постов про процессы в АБ-тестировании можно торжественно объявить закрытым. Ура! 🥇

Все посты цикла ниже:

Пост 1. АБ-тесты - это не только ценный мех… Но еще и процессы. Об инвестиционном цикле и месте АБ в нем.
Пост 2. Как выглядит типовой бизнес-процесс без АБ.
Пост 3. Риски типового бизнес-процесса без АБ.
Пост 4. Что делать. Взаимодействие АБ-команды, финансовой службы и бизнеса.
Пост 5. Что делать. База пилотов.
Пост 6. Что делать. Математическая методика дизайна и оценки результатов пилотов.
Пост 7. Что делать. Подборка материалов по АБ.
Пост 8. Что делать. Экстраполяция результатов пилота.
Пост 9. Что делать. Дополнительное об экстраполяции результатов пилота.

В планах - собрать это все добро в одну большую красивую статью на Хабр.

#tech #ab_testing

Вчера вышла интересная статья от ребят из Salesforce. Когда-то для меня было удивлением, что у них вообще есть отдел исследований искусственного интеллекта, ведь их основной бизнес - это SaaS CRM-система (по простому, система управления взаимоотношениями с клиентами по модели предоставления готового ПО). У них даже тикер на бирже CRM, хех 🤔

Так вот, они то и дело выпускают неплохие работы по Large Language Models и мультимодальным моделям, причём субъективно у меня складывается ощущение, что многое делается с задачей уменьшения требуемых ресурсов. То есть не полгода тренировать нейронку на кластере GPU, а нечто более приземленное.

Мультимодальные модели - это модели, работающие с несколькими типами данных, или модальностями. Картинки, текст, звук, видео - это разные модальности, и приемы-архитектуры нейронок должны быть адаптированы для них. Один из самых простых примеров мультимодальности - это ответ на вопрос по картинке: в каком городе находится достопримечательность (и картинка) ? что надето на человеке справа? И так далее.

Основная проблема в том, что нужно связывать два разных сигнала, от изображения и текста. Подходы давно существуют, работают неплохо, но зачастую требуют длительного обучения большиииииих моделек, чтобы "выровнять" их, или связать - то есть чтобы текстовая модель понимала сигнал от картиночной и наоборот.

Господа из Salesforce предложили переиспользовать существующие модели, замораживая их веса во время обучения (то есть не считая по ним градиенты и не изменяя), а между ними обучать маленькую сетку, которая формирует запросы (в прямом и переносном смысле) от одной модели к другой (на прикрепленном изображении это Q-former). Получается, что обучать нужно совсем мало - а метрики выходят лучше, чем у текущего State-of-the-Art подхода.
Подход просто гениален в своей простоте и изящности)

💨 Статья тут, веса и код здесь, коллаб имеется - можно зайти поиграться со своими картинками.

Если помните, есть такая компания Yahoo, которая поиск делала и делает. Они, конечно, тоже не хотят отставать от Google и Bing в гонке технологий, поэтому обращают внимание на Large Language Models (LLMs). У них ещё есть опенсорсная библиотека Vespa, в которой нет-нет да какие-то крутые фичи и добавляются.

Только что Jo Kristian Bergum, Distinguished Engineer (очень высокий грейд) в Yahoo, работающий над этой библиотекой, выпустил обзорный пост про использование LLM и генеративных моделей вообще для поиска. Вот ссылка - тык. Он - инженер в поиске с 20 годами стажа (!) - пишет, что "I've never been more excited". И это правда, потому что большие языковые модели помогут по-новому посмотреть на обучение приземленных маленьких-средних моделей, которые будут внедряться в прод.

У меня есть презентация и заготовленный доклад по теме обучения Retrieval-системы с использованием LLM, где сама модель осуществляет лишь всопомгательную функцию во время обучения, а для применения (инференса) не используется.
Ссылка на презентацию для самостоятельного разбора: тык (46 слайдов, ~1.5 часа на чтение)

Если под постом соберется 400 сердечек - сделаю видео-лекцию на YouTuve по этой прзентации, где детально расскажу, что, как и почему происходит в пайплайне. А пока - всем удачного изучения :)

Репосты приветствуются, чтобы получить 400 ❤️ как можно скорее 😳