Вы когда-нибудь мечтали стать лучшей версией себя? А LoRA уже стала!😁

Рад представить вам нашу новую работу, написанную совместно с командой Controllable Generatinve AI: T-LoRA: Single Image Diffusion Model Customization Without Overfitting🎉

Представьте, что вы хотите дообучить модель генерировать новый объект, например, кошечку или чайник. Но у вас ВСЕГО ОДНА КАРТИНКА этого объекта. Вы обучаете LoRA. И что выходит? Полный провал. Модель переобучается: объект генерируется только в той позе, в которой он был на тренировочной картинке, а фон выглядит скудно и плохо соответствует тексту. 😤

Хорошо, что вы читаете этот пост и теперь знаете, что вам нужна T-LoRA!

В ходе нашей работы мы выяснили, что переобучение чаще всего происходит на самых шумных таймстепах. Именно они приводят к тому, что модель переобучается на фон и позу объекта. Мы предложили решение: ограничить ранг на шумных таймстепах, чтобы избежать переобучения, и дать больший ранг на средних и поздних таймстепах для точного запоминания объекта. На поздних таймстепах можно использовать высокие ранги без риска переобучения.

Эту идею мы реализовали с помощью маскирования столбцов LoRA, ограничивая тренировочный сигнал на шумных таймстепах. Более того, чтобы маскирование было эффективным, мы разработали ортогональную версию LoRA, которая сохраняет столбцы ортогональными на протяжении всего обучения.

И вот результат! Теперь ваша кошечка может не только стоять, но и сидеть, и кататься на велосипеде, бегать, принимать любые позы, которые вы захотите. А фоны стали яркими, насыщенными и разнообразными!

Мы будем очень благодарны, если вы поддержите нашу работу, поставив Upvote на 🤗HuggingFace. Это поможет как можно большему числу людей узнать, что делать в подобных тяжелых жизненных ситуациях! 😁

Спасибо за внимание!

📕Arxiv
🖥GitHub
🤗HuggingFace

⚡Внимание, найдено новое суперкрутое применение Veo 3 - создание тематических комнат с брендами и персонажами!

Кстати, появилась мысль сделать обзор наиболее зацепивших постеров/статей с AAAI, что думаете?

Ставьте огонек, если интересно ⤵️

Хотите красивые генерации, но всё время не тот fabric и слишком мало details?

Вам нужна Calibri💅

Мы разработали новый метод повышения качества генеративных моделей на базе Diffusion Transformer (DiT), который позволяет за счет калибровки всего ~100 параметров существенно улучшить качество генерации, при этом ускорив генерацию в 2-3 раза 🤯

✔️ Мы выяснили, что блоки в DiT работают неоптимально - простое домножение выхода на коэффициент способно улучшить качество генерации.

✔️ Основываясь на данном наблюдении, мы предложили максимизировать качество генерации (ревард) через калибровку этих коэффициенты с помощью эволюции.

✔️ В результате, генерации становятся насыщеннее и сочнее, но что самое интересное модели требуется в 2-3 раза меньше шагов, чтобы получить более качественную генерацию.

Работа была принята на CVPR 2026🔥

Мы будем очень благодарны, если вы поддержите нашу работу, поставив Upvote на 🤗HuggingFace. Это поможет как можно большему числу людей узнать о нашем исследовании!

ArXiv | Project Page | GitHub | HF

А вы знали, что методы генерации видео можно использовать для прогноза погоды?

Наша команда разработала Marchuk — первую в России генеративную модель для прогнозирования климатических рисков.

Мы взяли диффузионные трансформеры (которые обычно генерируют изображения и видео) и научили их предсказывать погоду. И вот что получилось:

✔️Субсезонный диапазон: Marchuk позволяет строить прогнозы на 15-30 дней вперёд
✔️Компактная модель: имея всего 276M параметров, она показывает сопостовимое качество с 1,6B аналогом
✔️Доступность: Код и веса модели в открытом доступе, а запустить ее можно всего на одной видеокарте или в Colab

💡 Имя модели — дань уважения математику Гурию Ивановичу Марчуку, заложившему основы численного моделирования климатических процессов.

👇 Читайте подробности о разработке по ссылкам:
ArXiv | Project Page | GitHub | Colab | HF | Habr