Приветствую всех!
Меня зовут Костя Соболев, и в этом канале я буду рассказывать о генеративных моделях и искусственном интеллекте, делиться новостями нашей команды и последними достижениями науки!

Немного обо мне

Я окончил МФТИ и аспирантуру Сколтеха. Мой путь в AI охватывал множество направлений — от анализа временных рядов до сжатия нейронных сетей. Однако три года назад я нашел свою настоящую страсть в генерации изображений и видео. Эта область меня невероятно вдохновляет! Ведь то, что сегодня можно создавать с помощью генеративных моделей, просто взрывает мозг и поражает воображение🤯

Сейчас я руковожу командой Video Generation AI в лаборатории FusionBrain AIRI 👾, где мы занимаемся исследованиями в области генерации изображений и видео. Мы разрабатываем новые архитектуры, ускоряем существующие методы, изучаем подходы к редактированию контента и применяем обучение с подкреплением для работы с диффузионными моделями🚀

На волне этой мотивации и огромной любви к своему делу я решил создать канал, чтобы делиться своими знаниями, инсайтами и опытом

О канале

Здесь вы найдете:
🔸 Полезные материалы для глубокого погружения в методы генерации.
🔸 Новости из мира искусственного интеллекта.
🔸 Рассказы о проектах нашей команды и, конечно, немного закулисья нашей работы.
🔸 Информацию о том, где и как можно с нами поработать.
🔸 А иногда — мои размышления о науке в России и за рубежом.

Кроме того, в этом канале я буду делиться своими личными наблюдениями, экспериментами и инсайтами, которые вы вряд ли найдёте где-то ещё.

Посты будут выходить не слишком часто, но я постараюсь сделать их регулярными и максимально полезными.

Присоединяйтесь! Будет интересно!😎

P.S. Видео для милоты и привлечения внимания. Ну как тут не влюбиться в видео модели???

Вы когда-нибудь мечтали стать лучшей версией себя? А LoRA уже стала!😁

Рад представить вам нашу новую работу, написанную совместно с командой Controllable Generatinve AI: T-LoRA: Single Image Diffusion Model Customization Without Overfitting🎉

Представьте, что вы хотите дообучить модель генерировать новый объект, например, кошечку или чайник. Но у вас ВСЕГО ОДНА КАРТИНКА этого объекта. Вы обучаете LoRA. И что выходит? Полный провал. Модель переобучается: объект генерируется только в той позе, в которой он был на тренировочной картинке, а фон выглядит скудно и плохо соответствует тексту. 😤

Хорошо, что вы читаете этот пост и теперь знаете, что вам нужна T-LoRA!

В ходе нашей работы мы выяснили, что переобучение чаще всего происходит на самых шумных таймстепах. Именно они приводят к тому, что модель переобучается на фон и позу объекта. Мы предложили решение: ограничить ранг на шумных таймстепах, чтобы избежать переобучения, и дать больший ранг на средних и поздних таймстепах для точного запоминания объекта. На поздних таймстепах можно использовать высокие ранги без риска переобучения.

Эту идею мы реализовали с помощью маскирования столбцов LoRA, ограничивая тренировочный сигнал на шумных таймстепах. Более того, чтобы маскирование было эффективным, мы разработали ортогональную версию LoRA, которая сохраняет столбцы ортогональными на протяжении всего обучения.

И вот результат! Теперь ваша кошечка может не только стоять, но и сидеть, и кататься на велосипеде, бегать, принимать любые позы, которые вы захотите. А фоны стали яркими, насыщенными и разнообразными!

Мы будем очень благодарны, если вы поддержите нашу работу, поставив Upvote на 🤗HuggingFace. Это поможет как можно большему числу людей узнать, что делать в подобных тяжелых жизненных ситуациях! 😁

Спасибо за внимание!

📕Arxiv
🖥GitHub
🤗HuggingFace

⚡Внимание, найдено новое суперкрутое применение Veo 3 - создание тематических комнат с брендами и персонажами!