ANIMATEDIFF: ANIMATE YOUR PERSONALIZED
TEXT-TO-IMAGE DIFFUSION MODELS WITHOUT
SPECIFIC TUNING
Abstract
Целью данного исследования является создание архитектуры генерации видео поддерживающей подмену фундаментальной модели генерации изображений на дообученные с использованием LoRA или DreamBooth версиями. Таком образом задачей становится разработка plug and play модуля моделирования временной оси.
ссылка
#Diffusion #Video #LoRA
TEXT-TO-IMAGE DIFFUSION MODELS WITHOUT
SPECIFIC TUNING
Abstract
Целью данного исследования является создание архитектуры генерации видео поддерживающей подмену фундаментальной модели генерации изображений на дообученные с использованием LoRA или DreamBooth версиями. Таком образом задачей становится разработка plug and play модуля моделирования временной оси.
ссылка
#Diffusion #Video #LoRA
Neural Network Diffusion
Тренят латентную диффузию для генерации весов модели. Интересно, что для этого достаточно стандартного сетапа, а полученные генерации on-par по сравнению с SGD тренировкой. Имхо, есть интересный потенциал
P.S. но их там что-то реджектнули на iclr ((
Link
#Diffusion
Тренят латентную диффузию для генерации весов модели. Интересно, что для этого достаточно стандартного сетапа, а полученные генерации on-par по сравнению с SGD тренировкой. Имхо, есть интересный потенциал
P.S. но их там что-то реджектнули на iclr ((
Link
#Diffusion
https://openreview.net/forum?id=C61sk5LsK6
Простой метод прунинга данных с сохранением несмещенности градиента относительно исходного датасета
Вроде их приняли но я не уверен
#optimization
Простой метод прунинга данных с сохранением несмещенности градиента относительно исходного датасета
Вроде их приняли но я не уверен
#optimization
openreview.net
InfoBatch: Lossless Training Speed Up by Unbiased Dynamic Data Pruning
Data pruning aims to obtain lossless performances with less overall cost. A common approach is to filter out samples that make less contribution to the training. This could lead to gradient...
https://openreview.net/pdf?id=nfIAEJFiBZ
добавляют контролируемый шум в градиент апдейт для повышения эксплоративности моделей рл
потенциально можно вставить в любую задачу и посмотреть что выдает (например, вставляем шум в в обновление градиента - узнаем о характере loss surface или превентим/ускоряем оверфит)
#rl #exploration #optimization
добавляют контролируемый шум в градиент апдейт для повышения эксплоративности моделей рл
потенциально можно вставить в любую задачу и посмотреть что выдает (например, вставляем шум в в обновление градиента - узнаем о характере loss surface или превентим/ускоряем оверфит)
#rl #exploration #optimization
🔥1
https://openreview.net/pdf?id=Zbt9z0a95l
хороший фреймворк по тому как делать кусочно-линейные интерпретируемые аппроксиматоры. разделяем выходное пространство на куски, фиттим сетку определять, к какому куску выходного пространства определить аутпут + ею же фиттим коэффициенты для линейного преобразования
#rl #interpretability
хороший фреймворк по тому как делать кусочно-линейные интерпретируемые аппроксиматоры. разделяем выходное пространство на куски, фиттим сетку определять, к какому куску выходного пространства определить аутпут + ею же фиттим коэффициенты для линейного преобразования
#rl #interpretability
https://openreview.net/pdf?id=b3Cu426njo
мета лернинг метод, где приоры, относительно которых происходит апдейт параметров, так же смещаются постепенно по ходу обучения (в рамках теоретических границ)
#optimization #metalearning
мета лернинг метод, где приоры, относительно которых происходит апдейт параметров, так же смещаются постепенно по ходу обучения (в рамках теоретических границ)
#optimization #metalearning
Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators
Авторы ставят целью разработку zero-shot модели генерации видео. Для этого они вводят два нововведения:
1. Модификация латентов изображений для задания имитации движения объектов по оси времени.
2. Межкадровый механизм внимания между первым кадром видео и всеми остальными для сохранения контекста
Более того авторы используют данную архитектуру для задач условной генерации видео, модификации видео, *Video Instruct-Pix2Pix*
👀 LINK
#video #diffusion
Авторы ставят целью разработку zero-shot модели генерации видео. Для этого они вводят два нововведения:
1. Модификация латентов изображений для задания имитации движения объектов по оси времени.
2. Межкадровый механизм внимания между первым кадром видео и всеми остальными для сохранения контекста
Более того авторы используют данную архитектуру для задач условной генерации видео, модификации видео, *Video Instruct-Pix2Pix*
👀 LINK
#video #diffusion
arXiv.org
Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot...
Recent text-to-video generation approaches rely on computationally heavy training and require large-scale video datasets. In this paper, we introduce a new task of zero-shot text-to-video...