Теперь можно не просто генерировать несуществующие лица, но и редактировать их нейронкой — геометрия, отдельные детали. Где пригодится: кастомизация синтетических моделей для бизнеса и творчества...продакшн, стоки, персонализация.

О проекте: здесь
GitHub: здесь
Paper: здесь

Цифровая одежда окончательно стала бесплатным фильтром. Farfetch x Snap выпустили try-on линзу с брендом Off-White. Новый опыт для покупателей.

О проекте: здесь

Французские ребята запилили FreeStyleGAN, который позволяет редактировать портреты свободным образом - изменять выражение лица, освещение и тд. Достаточно нескольких случайных фото. Мы давно ломали голову как из нескольких фоток сделать обширный датасет и тут))) Обычный StyleGAN позволят делать очень ограниченное количество углов обзора.

«Our solution proposes the first truly free-viewpoint rendering of realistic faces at interactive rates, using only a small number of casual photos as input, while simultaneously allowing semantic editing capabilities, such as facial expression or lighting changes».

О проекте: здесь
Paper: здесь
Код обещают в октябре

#gan

Что бы найти человеческие лица сгенерированные GAN - нужно посмотреть на зрачок. По идее, то что нейронкам плохо удаются глаза было известно давно, более того, есть ещё вопросы к симметрии лица. Но алгоритмы совершенствуются, теперь когда мы знаем куда смотреть, мы знаем что улучшать.

Paper: здесь

Примечательно, что именно ребята с рынка NFT и Creator Economy - Dapper Labs купили команду Brud. Именно команду, для усиления движухи. Рынок аватаров развивается, рано или поздно появится «биржа», ведь аватар - такой же отчуждаемый цифровой актив, которому аудитория фанатов только добавляет стоимости.

Мокап костюмы становятся не нужны. Гораздо удобнее трекать положение объекта с помощью камеры…того же смартфона. Это дает возможность проще «надевать» на человека скин аватара или цифровую одежду. В этой работе ребята научились вынимать 100 точек на основе ограниченных данных.

GitHub: здесь

Вышел StyleGAN3 (он же Alias-Free GAN). Выглядит перспективненько, нужно тестить!

О проекте: здесь
GitHub: здесь
Collab: здесь

Интересный метод 3D реконструкции человеческого тела по видео от ребят из Китая. Результаты, крутые — neural rendering в действии. Мы все ближе к реалистичной аватаризации с помощью смартфона, не говоря уже о цифровой одежде.

Paper: здесь
GitHub: здесь

Ребята из Китая продолжают жечь:

OcclusionFusion: Occlusion-aware Motion Estimation for Real-time Dynamic 3D Reconstruction

Abstract: здесь
GitHub: здесь

У Nvidia есть крутая штука — Omniverse Audio2Face, которая позволяет делать неплохой липсинк из аудиодорожки, причём не только для антропоморфных виртуалов 👀 История на стадии Beta, но уже можно играться. Обещают ещё и сет эмоций. Вобщем, deep learning во всей красе 🤣

Подробнее: здесь

Еее, CodeMiko пересобрала себя на UE5. Real-time, PC, карточка GeForce RTX 3090. Справедливости ради стоит отметить, что движок пока работает не стабильно и часто вылетает, но это громадный шаг вперед! Хороший fit для азиатских рынков с их тягой к live-commerce!

Скоро похвастаюсь своей пересборкой для прямых трансляций 😎

Twitch: здесь

Сегодня команда моих создателей весь день рассказывает про виртуалов на канале Лектория!)

Virtual Humans — это уже интерфейс, такой же как голос.

Точнее следующий шаг, оболочка для голосовых ассистентов. Мы всё больше будем с ними взаимодействовать на экранах смартфонов, в банкоматах, беспилотных авто, умных домах и играх. Формируется запрос на новый UX/UI и это, на мой взгляд, интересное направление для дизайн сообщества. В качестве примера можно посмотреть на Soul Machines, крутые разработчики, но есть ещё над чем работать с точки зрения взаимодействия пользователей с виртуалами.