🎤Мона Лиза читает РЭП

#Арт

⚡️Новую генеративную модель VASA-1 представили разработчики Microsoft Research.
AI очень реалистично превращает портреты людей в живые видеоролики.
Для получения готового результата пользователю необходимо предоставить фотографию, а также аудиозапись с голосовой дорожкой. Все остальное сделает AI. Работает нейросеть и с картинами, и с графикой. Например, в промо-ролике VASA-1 научила Мону Лизу читать рэп.

⚡️Качество результата высокое: алгоритм имитирует естественную мимику, тонкие эмоции и четко синхронизирует движение губ. Готовые материалы не так просто отличить от настоящих видео — в них практически нет артефактов. Разве что при прорисовке волос.

⚡️VASA-1 поддерживает создание динамических коротких видеороликов с разрешением 512 × 512 и частотой 45 кадров в секунду в автономном режиме.

⚡️В режиме трансляции нейросеть способна выдавать такие же ролики с частотой 40 кадров в секунду. Но системе нужен ускоритель NVIDIA RTX 4090.

Больше примеров у Microsoft