Теперь можно не просто генерировать несуществующие лица, но и редактировать их нейронкой — геометрия, отдельные детали. Где пригодится: кастомизация синтетических моделей для бизнеса и творчества...продакшн, стоки, персонализация.

О проекте: здесь
GitHub: здесь
Paper: здесь

Цифровая одежда окончательно стала бесплатным фильтром. Farfetch x Snap выпустили try-on линзу с брендом Off-White. Новый опыт для покупателей.

О проекте: здесь

Французские ребята запилили FreeStyleGAN, который позволяет редактировать портреты свободным образом - изменять выражение лица, освещение и тд. Достаточно нескольких случайных фото. Мы давно ломали голову как из нескольких фоток сделать обширный датасет и тут))) Обычный StyleGAN позволят делать очень ограниченное количество углов обзора.

«Our solution proposes the first truly free-viewpoint rendering of realistic faces at interactive rates, using only a small number of casual photos as input, while simultaneously allowing semantic editing capabilities, such as facial expression or lighting changes».

О проекте: здесь
Paper: здесь
Код обещают в октябре

#gan

Что бы найти человеческие лица сгенерированные GAN - нужно посмотреть на зрачок. По идее, то что нейронкам плохо удаются глаза было известно давно, более того, есть ещё вопросы к симметрии лица. Но алгоритмы совершенствуются, теперь когда мы знаем куда смотреть, мы знаем что улучшать.

Paper: здесь

Примечательно, что именно ребята с рынка NFT и Creator Economy - Dapper Labs купили команду Brud. Именно команду, для усиления движухи. Рынок аватаров развивается, рано или поздно появится «биржа», ведь аватар - такой же отчуждаемый цифровой актив, которому аудитория фанатов только добавляет стоимости.

Мокап костюмы становятся не нужны. Гораздо удобнее трекать положение объекта с помощью камеры…того же смартфона. Это дает возможность проще «надевать» на человека скин аватара или цифровую одежду. В этой работе ребята научились вынимать 100 точек на основе ограниченных данных.

GitHub: здесь

Вышел StyleGAN3 (он же Alias-Free GAN). Выглядит перспективненько, нужно тестить!

О проекте: здесь
GitHub: здесь
Collab: здесь

Интересный метод 3D реконструкции человеческого тела по видео от ребят из Китая. Результаты, крутые — neural rendering в действии. Мы все ближе к реалистичной аватаризации с помощью смартфона, не говоря уже о цифровой одежде.

Paper: здесь
GitHub: здесь

Ребята из Китая продолжают жечь:

OcclusionFusion: Occlusion-aware Motion Estimation for Real-time Dynamic 3D Reconstruction

Abstract: здесь
GitHub: здесь

У Nvidia есть крутая штука — Omniverse Audio2Face, которая позволяет делать неплохой липсинк из аудиодорожки, причём не только для антропоморфных виртуалов 👀 История на стадии Beta, но уже можно играться. Обещают ещё и сет эмоций. Вобщем, deep learning во всей красе 🤣

Подробнее: здесь

Еее, CodeMiko пересобрала себя на UE5. Real-time, PC, карточка GeForce RTX 3090. Справедливости ради стоит отметить, что движок пока работает не стабильно и часто вылетает, но это громадный шаг вперед! Хороший fit для азиатских рынков с их тягой к live-commerce!

Скоро похвастаюсь своей пересборкой для прямых трансляций 😎

Twitch: здесь

Сегодня команда моих создателей весь день рассказывает про виртуалов на канале Лектория!)

Virtual Humans — это уже интерфейс, такой же как голос.

Точнее следующий шаг, оболочка для голосовых ассистентов. Мы всё больше будем с ними взаимодействовать на экранах смартфонов, в банкоматах, беспилотных авто, умных домах и играх. Формируется запрос на новый UX/UI и это, на мой взгляд, интересное направление для дизайн сообщества. В качестве примера можно посмотреть на Soul Machines, крутые разработчики, но есть ещё над чем работать с точки зрения взаимодействия пользователей с виртуалами.

Virtual Humans — разный tech stack для разных целей и платформ.

Когда речь заходит о виртуалах, то каждый из нас представляет их по-своему: 3д герои, персы из компьютерных игр, deepfakes или роботы. Суть в том, что рынок сейчас пытается выработать единый стандарт, своеобразный инфраструктурный слой для аватаров. Те же самые процессы мы видим и в движе про метавселенные. На мой взгляд, Epic Games с новым Unreal Engine 5 выглядят бодрее всех. Графика хорошо решает задачи там, где требуется высокое качество, а нейронки — где нужно быстро и просто создавать контент ( соц сети). В примере мы видим одного и того же персонажа Nana, наш проект для рынка Китая.

1. 3д голова + реальное тело.
2. 3д full body.
3. Face Swap + реальное тело.

Virtual Humans — не только 3д персонажи, но и сгенерированные royalty free лица, которые активно используются в video и live commerce в Азии.

Самый простой способ сделать себе персонажа без дорогой и долгой компьютерной графики — сгенерировать несуществующее лицо или лица и использовать их в коммуникации. Легенду здесь можно придумать любую...кстати, это интересное направление для новой специальности — Metaverse Storyteller 😅. Для продавцов в Азии это хороший способ локализации контента под разные рынки и аудитории. Если сюда еще добавить генерацию голоса и разные языки! На видео-примере одна реальная модель в трех разных образах. Поиграться можно здесь во free trial. Есть аналогичный проект в Китае — Surreal, который поддержала Sequoia.

💥Epic Games привлекли $2B от Sony и KIRKBI (LEGO) по оценке в $31,5B