⚡️Сегодня мы выложили наш фреймворк для обработки и фильтрации изображений и видео

DPF - это наш внутренний фреймворк, с помощью которого мы обрабатывали и чистили датасет для обучения моделей Kandinsky и Kandinsky Video. Репозиторий содержит фильтры для видео, изображений, различных комбинаций этих модальностей, а также удобный интерфейс к ним. Надеемся, что открытие кода ускорит развитие библиотеки и даст возможность ресерчам сосредоточиться на ресерче, а не на чистке данных ❤️‍🔥

А ещё мы написали статью на habr, в которой подробно рассказали про то, как собирали датасет для обучения Kandinsky 3.0 & 3.1 и Kandinsky Video. В ней также рассказали про DPF и процесс обработки датасетов у нас в Sber AI.

💻 github DPF
📖 Статья на Хабр

Kandinsky — 2️⃣ года! Только цифры:

4️⃣ дня понадобилось Kandinsky 2.1, чтобы набрать 1 млн уникальных пользователей

1️⃣ место по темпу роста среди Open Source моделей заняла модель Kandinsky 2.2

6️⃣0️⃣0️⃣ млн изображений сгенерировали нейрохудожники

За это время Kandinsky стал генерировать изображения в 10 раз быстрее, научился создавать анимации и видео и собрал вокруг себя самых творческих юзеров.

За этими достижениями стоит команда людей с горящими глазами, влюблённых в свою работу — и в этом видео мы предлагаем с ними познакомиться.

Что своему нейродругу скажет GigaChat?

Дорогой Kandinsky, сердечно поздравляю тебя с днём рождения! Желаю тебе всегда оставаться таким же прекрасным генератором изображений, каким мы все тебя знаем и любим.

Пусть твои творческие возможности растут вместе с твоим желанием создавать новые шедевры. И пусть твои нейроны всегда будут такими же активными и креативными, как в первый день работы!

А сегодня ваша генерация может стать аватаркой сообщества нейрохудожников!

🖼 — клик, чтобы попасть на главную

Vision language models are blind
🟢Project page 🟢 Paper 🟢Dataset

На днях вышла интересная статья и датасет к ней про то, как современные мультимодальные модели, которые показывают высокие метрики на известных бенчмарках типа MMMU, MMBench, не справляются с тривиальными для человека задачами типа подсчёта числа пересечений геометрических объектов, подсчёта количества строк и столбцов в таблице и др.

Проблема понятная и идёт она от способа энкодинга изображений, принятого в большинстве решений (вряд ли архитектурно в проприетарных присутствует какая-то инновация в отличие от опенсурса). И это приводит к тому, что чем проще сцена/картинка, которую надо проанализировать, тем важнее не потерять информацию за счет, например, patch-based энкодеров (собственно, результаты в статье показывают как растут метрики при увеличении толщины линий для отдельных задач).

Так или иначе, наблюдение интересное, обращает внимание к проблеме представления картинки для VLM моделей.

⚡️Свежий апдейт LLaVA-NeXT

LLaVA-NeXT-Interleave: Tackling Multi-image, Video, and 3D in Large Multimodal Models

LLaVA-NeXT — опенсурс мультимодальная диалоговая модель для работы с картинками и текстом.

Основной контрибьют — добавили разные режимы «перемешанных» (interleaved) изображений и текстов. Таким образом модель может решать задачи с одной картинкой, несколькими изображениями, несколькими кадрами видео и несколькими ракурсами одного объекта (полезно кстати для задач робототехники и анализа картины мира).

Все эти задачи заправлены в новый M4-Instruct сет на 1+M сэмплов. И также есть бенч на этот же спектр задач.

Архитектурно — ничего нового. Обучали с модели, которая до этого работала только с одной картинкой, то есть тюн с изменением структуры диалога хорошо ложится поверх VLM (совершенное открытие!).

Но безусловно, очень ценны данные и бенч.

🟢Статья
🟢Код
🟢M4-Instruct

@complete_ai

⚡️AuraFlow v0.1 — новый open-source text-to-image проект на базе диффузионных трансформеров (по сути имплементация ставшей уже закрытой StableDiffusion 3 с некоторыми архитектурными изменениями)

Из интересного:
📍заменили в большинстве случаев MMDiT блоки (как в SD3) на простые DiT, что сократило затраты на обучение
📍заменили параметризацию на maximal update parametrization, что позволило повысить предсказуемость поведения loss функции при скейлинге архитектуры (при стандартной параметризации можно учить маленькую модель, скажем с Adam’ом, вполне нормально, но при увеличении размеров модели можно получить взрыв градиентов)
📍Recaption everything — подчеркивает важность текстовых описаний в обучении, авторы пишут, что это дало серьёзный буст в качестве
📍Исследуя параметризацию, авторы пришли к оптимальному размеру модели при скейлинге — 6.8B параметров

👨‍💻Модель уже есть в diffusers, откуда её можно просто забрать и поиграться на выходных:

from diffusers import AuraFlowPipeline

❗️Модель показывает SoTA на бенчмарке GenEval — 0.703 (с учётом prompt enhancement)

Пока это v0.1 и, судя по всему, скоро нас будут ждать новые версии модели, возможное даже с MoE подходом. А пока предлагаю поиграться с моделью (сам тоже хочу посмотреть степень понимания текстового описания — пишут, что модель очень хорошо ему следует) — черрипики в закрепе как всегда прекрасны😉

🟢Блог
🟢Веса модели

@complete_ai

Достойнейшие из достойных🏆