Erasing Concepts from Diffusion Models

Часто в обучающую выборку попадают нежелательные данные, например nswf контент. Можем ли мы предотвратить попадание нежелательных концептов в генерации пользователей, заставив модель забыть данный концепт? Этим вопросом и задаются авторы данной статьи.

Подход:

1. создаем две копии модели: одну обучаемую, вторую замороженную.
2. замороженной моделью генерируем безусловный шум.
3. замороженной моделью генерируем условный шум.
4. “вычищаем” нежелательные концепты из безусловного промпта по следующей формуле:

εθ*(xt, t) − η[εθ*(xt, c, t) − εθ*(xt, t)] где,

εθ*(xt, t) - безусловный шум
θ*(xt, c, t) - условный шум
η - константа отвечающая за “силу” удаления концепта.

Ну то есть, по сути, просто вычитаем фичи условного шума из безусловного

5. генерируем условный шум обучаемой моделью
6. Среднеквадратичной функцией потерь сближаем “очищенный” шум из замороженной модели с условным шумом из обучаемой диффузии.

Влияние η на обучение

Авторы провели эксперименты по влиянию η на обучение и выявили что увеличение η уменьшает вероятность появления удаляемого концепта но заметно влияет на качество генераций модели.

Частичное размораживание модели

Авторы пробовали рамораживать self-attention, cross-attention и всю модель, в итоге оказалось что разморажение слоев cross-attention является оптимальным, как с точки зрения производительности, так и с точки зрения визуального качества полученного результата.

Выводы.

Концепт удаления сущностей из модели невероятно крут! Данная статья очень проста в реализации! В то же время использование подобных методов имеет ряд существенных недостатков, один из них - забывание/искажение остальных концептов, значительное снижение качества генераций, появление явных артефактов. Также довольно просто реализовать “подмену” концепта вместо удаления что является довольно полезной фичей.

👀 LINK

#diffusion #text2image #machine_unlearning

Meta-in-context learning in large language models (NeurIPS 2023)

Обозначают феномен meta-in-context обучения в LLM. Суть в том, что способность к in-context learning улучшается от самого же in-context learning. Чем больше мы даем задач и чем больше они схожи, тем лучше будет перфоманс на последующих задачах

Сам по себе феномен интересен, потому что возникает вопрос: а что еще влияет на возможность моделей к появляению in-context learning и какие еще свойство задач порождают изменения в динамике in-context learning?

👀LINK

#llm #incontextlearning

Scaling Rectified Flow Transformers for High-Resolution Image Synthesis

Статья от которой у админа вспотели ладони! Да, это Stable Diffusion 3! 🔥🔥🔥

Тех. репорт довольно емкий (61 эксперимент), поэтому просто обозначу нововведения:

- Rectified Flow в качестве определения диффузионного процесса.

Авторы сравнивают Rectified Flow, EDM, Cosine, (LDM-)Linear диффузионные процессы и в итоге останавливаются на (как можно догадаться из названия 😬) на Rectified Flow, который устанавливает отражение между шумом и изображением прямой траекторией.

- MM-DiT - новая архитектура мультимодального диффузионного трансформера.

Современные архитектуры диффузионных трансформеров такие как DiT доставляют информацию о тексте и шаге диффузии через слои cross-attention, однако данный способ, по мнению авторов, сохраняет только общую информацию о введеном тексте. Новая архитектура конкатенирует эмбеддинги из трех текстовых кодировщиков CLIP-G, GLIP-L, T5 с шумом из диффузии и обрабатывает двумя независимыми наборами весов так как текстовые и картиночные эмбеддинги отличаются довольно сильно. Таким образом мы обрабатываем обе модальности разным набором параметров в линейных слоях, слоях нормализации и модуляции, но при этом обрабатываем их совместным attention слоем.

both representations can work in their own space yet take the other one into account.

- QK-Normalization - для стабилизации обучения в BF16.

Значения в слоях внимания начинают бесконтрольно расти, поэтому для оптимизации обучения их нормируют используя RMSNorm. Что интересно, так то что данная техника может быть использована для уже обученных моделей, так как параметры быстро сходятся.

- Синтетические описания: 50% описаний было переразмечено CogVLM
Авторы считают что знания VLM могут статьи бутылочным горлышком при обучении модели. Это довольно интересный вывод, потому что в статье DALLE-3 разница между 95% и 60% переразмеченных описаний была настолько большой, что 60% просто исключили из графика. Интересно почему авторы не использовали LLaVA? 🧐

- Resolution-dependent shifting of timestep schedules - разная плотность шагов в расписании шума.
Увеличение плотности шагов (уменьшение дистанции между шагами) в середине сэмплирования оказывает благотворный эффект на обучение, так как на этих шагав предсказание траектории является наиболее сложным, собственно поэтому мы даем модели больше пространства для маневра.

- 3 текстовых кодировщика: CLIP-G, GLIP-L, T5.
О них писал выше, но интересен тот факт, что авторы пробовали занулять эмбеддинги Т5 и подавать только “дешевые” эмбеддинги клипа, результаты показали что просадка в качестве оказалась довольно низкой, и это может сильно удешевить процесс инференса))))

- DDPO в качестве последнего этапа обучения

После предтрена на разрешении 256х256 авторы начинают постепенно повышать разрешение и добавлять изображения с разным соотношением сторон. Финальным этапом стала оптимизация модели под человеческие предпочтения через DDPO - Denoising Diffusion Policy Optimization.

Вывод
Данная статья (тех-репорт) несет в себе кладезь полезной информации, всем кто занимается диффузиями советую ее прочитать. Теория + много практической информации в комбинации дали замечательное качество изображений, а также привнесли импакт с сообщество.

👀 LINK

#rectified_flow #text2image #flow_matching

Visual Instruction Inversion: Image Editing via Visual Prompting (NeurIPS 2023)

Новый улучшенный способ image editing с помощью диффузий

Решают проблему того, что в image editing зачастую промпт не может хорошо описать редактирование, которое мы хотим применить. Метод состоит из 2 компонентов:

1) Берут модель, использующую картинку со стилем в качестве conditioning, тут это InstructPix2Pix и тюнят в ней только токен инструкции преобразования в эмбеддинге промпта

2) Добавляют лосс, регулирующий направления преобразования и его промпта в латентном пространстве. Тут это просто косинусовое расстояние между промптом стиля и разницей между CLIP эмбеддингами картинок “до” и ”после”

Во время инференса, мы имеет более точное соотношение эмбеддингов промпта стиля и картинок + можем делать конкатенацию нескольких токенов инструкций, чтобы вносить больше деталей

Метод работает по качеству сравнимо с InstructPix2Pix и SDEdit

👀 LINK

#diffusion #imageediting #visualprompting

The Difficulty of Passive Learning in Deep Reinforcement Learning


Вспомним базу рл: агент учится правильным действиям, исправляя свои ошибки, которые он сделал в среде. Тем не менее, учиться только на онлайн данных ооочень долго, практически все время нейронка на цпу (можно даже не переключаться на гпу, так чуть быстрее будет). К тому же, в реальных ситуациях такой открытый доступ к среде почти невозможен

поэтому уже очень долго разрабатывали всякие методы, где учатся и на заранее сохраненных примерах состояния-действия-награды, при том не факт, что они были собраны этим самым агентом. Самый простой пример - хранить в памяти довольно большой буффер данных с произведенными ранее действиями агента и прочим, обучаться на них и постепенно его обновлять. Даже после одного обновления весов по факту модель уже не та - веса другие, поэтому тут агент тоже обучается не совсем на своих же данных (своем поведении)

Гугловские ребята еще давно нашли в этом слабость на глубинном уровне, связанном с понятием пассивного обучения из эксперимента 20-ого века, где котенок не понимает последствия своих действий, потому что он напрямую и не влияет на ситуацию (логично) 🐱🐱

К сожалению, эта проблема остается (и видимо останется) открытой, ведь аналогично человек тоже хуже вычленяет каузальные паттерны, которые улучшают его жизнь в каком-то смысле, не на своих собственных примерах поведения


👀LINK


#rl #passivelearning

Data Distributional Properties Drive Emergent In-Context Learning in Transformers (NeurIPS 2022)

Интересная статейка с нипса 22 года про причины in-context learning (ICL). Тут авторы приводят несколько наблюдений

1) Есть свойства данных, которые коррелируют с возможностью модели в ICL. Это "burstiness" (насколько классы в последовательности собираются в кластера), число и частота классов, различность в значениях одного класса и внутреклассовые вариации семплов. Эти выводы можно использовать для анализа различных ICL сетапов

2) In-context learning зачастую идет в трейд-офф с in-weights learning (IWL), а свойства в данных для двух сетапов разнятся

3) Трансформеры более способны в ICL, чем рннки, что в целом не сюрприз

4) Существуют сетапы, где модель все может показать и ICL и IWL, например, если данные семплируются из распределения Ципфа, которое несет важную информацию о распредлении частотности слова в языке

👀LINK

#nlp #incontextlearning #inweightslearning