Интерпретируемые текстовые эмбеддинги

Типичная модель для текстовых эмбеддингов считает близкими предложения типа "Два человека поют" и "Три человека поют". Это конечно верно для некоторых приложений, но, например, для оценки правдивости это совсем не так. Квантификаторы (все, некоторые, никто, ...), отрицания, числительные, собственные имена - здесь критически важны.

Авторы предложили обучать эмбеддинги через декомпозицию на интерпретируемые признаки (и неинтерпретируемый residual). В итоге можно вычислять близость текстов как по понятным аспектам, так и в целом. На рисунке 1 результат модели на примере "Два человека поют" и "Три человека поют" (в твиттер посте их ещё больше)

Как они это сделали?

Есть всякие меры близости текстов, которые используют парсеры предложений и последующее сравнение получившихся семантических графов. Они медленные и качество в целом не на уровне нейросетевых моделей близости. Авторы предложили взять 15 таких интерпретируемых функций и разделить финальный эмбеддинг на 16 частей: 15 под каждый из аспектов и 1 для всего остального, что осталось не представленно. Каждую аспектную часть они обучают приближать соответствующий долговычислимый graph-based признак (Score Decomposition), а в residual дистиллируют обычный sentence transformer (Score Consistency)

В итоге получается модель, эмбеддинги которой и быстро вычисляются, и могут быть интерпретируемы, и без просадки в качестве (рисунок 2)


Код для обучения, инференса и веса модели выложены на гитхаб 👍
Статья с ACL: Decomposing Sentence Embeddings into Explainable Semantic Features
Twitter post

Конкуренция AI продуктов🏆

Альтернатива ChatGPT от гугла: Bard

➕ Бесплатный
➕ С доступом к поиску под капотом, то есть можно спрашивать про свежие события
➕ Быстрее, чем ChatGPT
➕ Чаще выводит результат в удобно читаемой табличке (мне такое нравится 🙂)
➖ Только на английском

Смелый шаг от гугла. Такой новый поиск пока не понятно как монетизировать. То есть это угроза их основному бизнесу (рекламе). Плюс, теперь их бренд в какой то степени будет ассоциироваться с галлюцинациями, которые иногда выдают все LMки (и Bard не исключение). И наверняка будет достаточно желающих засудить гугл за неверные факты в ответах

Ну а пользователям больше опций только лучше) Конкуренция - хорошо и весело 🥔

(только если эти компании станут сильно меньше публиковать информации про свои открытия, это не так весело 👎)

SLiC-HF - убийца 🔪 RLHF?

RLHF, которым обучались ChatGPT и GPT-4, обладает следующим недостатком: сложное, долгое и нестабильное RL дообучение, с большими требованиями по памяти; ведь во время него нужно оценивать генерации с помощью Reward модели и считать вероятности изначальной моделью для KL члена (на рисунке 3 более подробное сравнение).

Так вот, чуваки из гугла показали, что есть более эффективный и простой способ дообучаться на сложный недифференцируемый сигнал типа Human Feedback'а. По human evaluation их метод статзначимо выигрывает у RLHF 💪

Коротко про метод (Sequence Likelihood Calibration):

1️⃣ Обучить нейронку моделировать Human Feedback. Они экспериментировали с pair-wise (контрастив) и point-wise обучениями

2️⃣ Создать датасет (x, y+, y-, y_ref):
a. сгенерировать n кандидатов, проранжировать их моделью с 1 шага, выбрать лучший в качестве y_ref, и ещё пару для y+ и y-
b. либо взять непосредственно датасет попарных сравнений в качестве y+ и y-; а в качестве y_ref - написанные людьми суммаризации
c. микс a и b

3️⃣ Дообучить на нем с лоссом с рисунка 1

Что круто, они сравнились с более простым и очевидным способом улучшения модели: простой supervised finetuning на y_ref (рисунок 2)

Подробности читайте в статье, очень годная 🔥

Подписывайтесь на мой канал, чтобы читать про интересные штуки в AI: https://t.iss.one/building_singularity :)

Улучшение качества 📈 за счет оптимального выбора весов для обучающих датасетов 📚

Датасеты бывают из разных доменов: интернет новости, википедия, код, диалоги, инструкции... И применяться одна и та же модель может на разных задачах: например это могут быть chit-chat диалоги, диалоги с детьми, диалоги, склоняющие к целевому действию - в зависимости от пользователя. В каких пропорциях брать датасеты в финальный трейн сет?

Авторы статьи (из Гугла и Стенфорда) предлагают способ выбора весов для каждого домена, который в их экспериментах:

🔹 Уменьшил лосс на каждом домене относительно бейзлайна (эвристически подобранные веса датасета Pile) - без трейдоффа, просто улучшение (рисунок 1)

🔹 Обученная их методом модель улучшила среднюю точность One-Shot’а в 5 разных задачах (рисунок 2)


Метод (рисунок 3):

1️⃣ Обучить небольшую reference Langauage Model

2️⃣ Обучить прокси модель (используя Group Distributionally Robust Optimization), чтобы получить новые веса для доменов

3️⃣ Обучить финальную большую LM с этими весами


❗️Group DRO: минимизация наибольшего лосса по всем доменам. То есть ищем модель, которая работает как можно лучше в самых тяжелых случаях.

На самом деле Group DRO не просто лосс минимизирует, а разницу лосса прокси и референс моделей (но получилось бы слишком тяжелое для понимания предложение 😁). Сам процесс обучения: поочередное изменение весов доменов и весов прокси LM’ки для решения минимакс задачи (алгоритм на рисунке 4)

В итоге:
🔸 качество строго лучше и достигается оно быстрее - относительно эвристически подобранных весов
🔸 качество такое же, но эксперименты дешевле - относительно оптимизации весов доменов под целевые задачи сразу с большой LM’кой

Статья: DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining