Media is too big
VIEW IN TELEGRAM
Еще один поезд, но с меньшим FoV (40 vs 120), отсюда чуть быстрее движение, но и больше искажений при анимации.
👍6🔥4
Думаю запилить следующую коллекцию из работ в стилистике Simon Stalenhag.
Урбанистические пейзажи в его исполнении просто великолепны.
Урбанистические пейзажи в его исполнении просто великолепны.
👍11🔥3
Forwarded from shonenkov AI
Сделал релиз, теперь можно с помощью моделей ruDALLE генерить изображения с произвольным соотношением сторон
Обучать не нужно, все работает в zero-shot
Идея супер-простая: динамически менять размер контекстного окна пропорционально текущей позиции, чтобы попытаться хоть как-то сохранить правильную геометрию. Работает, черри-пикать тоже нужно, как и всю рудалю. А для горизонтальных картинок (из-за низкой скорости) пришлось оставить статическое контекстное окно - но получается тоже весьма неплохо - генерил себе шапки для NFT коллекций
Также, чтобы немного сгладить геометрию, затюнил модельку на сюрреализме, веса прикладываю ruDALLE Surrealist XL
Kaggle и Colab рабочие тоже собрал 🤝
Paper | Github | Weights | Colab | Kaggle | Twitter
Обучать не нужно, все работает в zero-shot
Идея супер-простая: динамически менять размер контекстного окна пропорционально текущей позиции, чтобы попытаться хоть как-то сохранить правильную геометрию. Работает, черри-пикать тоже нужно, как и всю рудалю. А для горизонтальных картинок (из-за низкой скорости) пришлось оставить статическое контекстное окно - но получается тоже весьма неплохо - генерил себе шапки для NFT коллекций
Также, чтобы немного сгладить геометрию, затюнил модельку на сюрреализме, веса прикладываю ruDALLE Surrealist XL
Kaggle и Colab рабочие тоже собрал 🤝
Paper | Github | Weights | Colab | Kaggle | Twitter
🔥15❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Выкатил бетку DiscoDiffusion Warp
Нововведения касаются режима анимации video_init
Добавлен морфинг кадров с помощью optical flow maps от исходного видео.
При генерации картинки на основе опорного кадра из видео теперь не нужно генерить каждый кадр с нуля - мы берем предыдущий обработанный кадр, морфим его, смешиваем со следующим, и подаем на вход.
Так можно добиться более целостного результата за меньшее время, так как на втором и последующих кадрах можно делать меньше шагов диффузии.
При экспорте видео также можно применить optical flow для сглаживания результата.
Слева - с варпингом, справа - без (каждый кадр с нуля)
Код
Колаб
Нововведения касаются режима анимации video_init
Добавлен морфинг кадров с помощью optical flow maps от исходного видео.
При генерации картинки на основе опорного кадра из видео теперь не нужно генерить каждый кадр с нуля - мы берем предыдущий обработанный кадр, морфим его, смешиваем со следующим, и подаем на вход.
Так можно добиться более целостного результата за меньшее время, так как на втором и последующих кадрах можно делать меньше шагов диффузии.
При экспорте видео также можно применить optical flow для сглаживания результата.
Слева - с варпингом, справа - без (каждый кадр с нуля)
Код
Колаб
👍12❤9
Forwarded from Мишин Лернинг
Выкатили код LiT🔥: Новационный подход contrastive-tuning от Google Research, Brain Team, Zurich обходит CLIP и ALIGN
Помните, в ноябре 2021го выходила статья LiT🔥?
Сегодня стал доступен не только код, но и блог пост в googleblog, colab и онлайн демо, которое, кстати, очень и очень удачно демонстрирует силу подхода на известных примерах и контрпримерах!
🔓 В CLIP и текстовая и визуальная “башня” контрастив модели учились с нуля. u - unlocked from-scratch
🔐 Возникает вопрос: не будет ли лучше взять претрейны моделей (e.g.: ResNet, ViT, MLP-Mixer), и дальше файнтюнить их в режиме contrastive language–image? U - unlocked from a pre-trained model
🔒 Авторы показали, что лучше всего работает подход с полностью замороженной визуальной “башней”!
Модель ViT-G/14, обученная в режиме contrastive-tuning LiT, обходит такой же CLIP в zero-shot на ImageNet: 84.5% vs 76.2%, соответсвенно.
📄 Paper LiT🔥
🎲 Online Demo
📇 Google Blog
💻 LiT code
🔮 LiT Colab
Помните, в ноябре 2021го выходила статья LiT🔥?
Сегодня стал доступен не только код, но и блог пост в googleblog, colab и онлайн демо, которое, кстати, очень и очень удачно демонстрирует силу подхода на известных примерах и контрпримерах!
🔓 В CLIP и текстовая и визуальная “башня” контрастив модели учились с нуля. u - unlocked from-scratch
🔐 Возникает вопрос: не будет ли лучше взять претрейны моделей (e.g.: ResNet, ViT, MLP-Mixer), и дальше файнтюнить их в режиме contrastive language–image? U - unlocked from a pre-trained model
🔒 Авторы показали, что лучше всего работает подход с полностью замороженной визуальной “башней”!
Модель ViT-G/14, обученная в режиме contrastive-tuning LiT, обходит такой же CLIP в zero-shot на ImageNet: 84.5% vs 76.2%, соответсвенно.
📄 Paper LiT🔥
🎲 Online Demo
📇 Google Blog
💻 LiT code
🔮 LiT Colab
🔥14👍7
Добавил еще 6 картинок в коллекцию, включая дикий гибрид Айвазовского с Гигером, Эшера, Брюллова, Ван Гона, Бексински и Лисовски.
👍17🔥1😱1