Интересный метод 3D реконструкции человеческого тела по видео от ребят из Китая. Результаты, крутые — neural rendering в действии. Мы все ближе к реалистичной аватаризации с помощью смартфона, не говоря уже о цифровой одежде.

Paper: здесь
GitHub: здесь

Ребята из Китая продолжают жечь:

OcclusionFusion: Occlusion-aware Motion Estimation for Real-time Dynamic 3D Reconstruction

Abstract: здесь
GitHub: здесь

У Nvidia есть крутая штука — Omniverse Audio2Face, которая позволяет делать неплохой липсинк из аудиодорожки, причём не только для антропоморфных виртуалов 👀 История на стадии Beta, но уже можно играться. Обещают ещё и сет эмоций. Вобщем, deep learning во всей красе 🤣

Подробнее: здесь

Еее, CodeMiko пересобрала себя на UE5. Real-time, PC, карточка GeForce RTX 3090. Справедливости ради стоит отметить, что движок пока работает не стабильно и часто вылетает, но это громадный шаг вперед! Хороший fit для азиатских рынков с их тягой к live-commerce!

Скоро похвастаюсь своей пересборкой для прямых трансляций 😎

Twitch: здесь

Сегодня команда моих создателей весь день рассказывает про виртуалов на канале Лектория!)

Virtual Humans — это уже интерфейс, такой же как голос.

Точнее следующий шаг, оболочка для голосовых ассистентов. Мы всё больше будем с ними взаимодействовать на экранах смартфонов, в банкоматах, беспилотных авто, умных домах и играх. Формируется запрос на новый UX/UI и это, на мой взгляд, интересное направление для дизайн сообщества. В качестве примера можно посмотреть на Soul Machines, крутые разработчики, но есть ещё над чем работать с точки зрения взаимодействия пользователей с виртуалами.

Virtual Humans — разный tech stack для разных целей и платформ.

Когда речь заходит о виртуалах, то каждый из нас представляет их по-своему: 3д герои, персы из компьютерных игр, deepfakes или роботы. Суть в том, что рынок сейчас пытается выработать единый стандарт, своеобразный инфраструктурный слой для аватаров. Те же самые процессы мы видим и в движе про метавселенные. На мой взгляд, Epic Games с новым Unreal Engine 5 выглядят бодрее всех. Графика хорошо решает задачи там, где требуется высокое качество, а нейронки — где нужно быстро и просто создавать контент ( соц сети). В примере мы видим одного и того же персонажа Nana, наш проект для рынка Китая.

1. 3д голова + реальное тело.
2. 3д full body.
3. Face Swap + реальное тело.

Virtual Humans — не только 3д персонажи, но и сгенерированные royalty free лица, которые активно используются в video и live commerce в Азии.

Самый простой способ сделать себе персонажа без дорогой и долгой компьютерной графики — сгенерировать несуществующее лицо или лица и использовать их в коммуникации. Легенду здесь можно придумать любую...кстати, это интересное направление для новой специальности — Metaverse Storyteller 😅. Для продавцов в Азии это хороший способ локализации контента под разные рынки и аудитории. Если сюда еще добавить генерацию голоса и разные языки! На видео-примере одна реальная модель в трех разных образах. Поиграться можно здесь во free trial. Есть аналогичный проект в Китае — Surreal, который поддержала Sequoia.

💥Epic Games привлекли $2B от Sony и KIRKBI (LEGO) по оценке в $31,5B

Learning a Hybrid Neural Volumetric Representation for Dynamic Hair Performance Capture.

Динамические волосы всегда были большой проблемой в графике, без них нельзя запилить реалистичных аватаров. Пока это все ещё требует больших вычислительных ресурсов… ждём новые работы!

Abstract: здесь

Виртуальный персонаж может быть разным.

Все зависит от канала коммуникации, задач бренда, формата контента, бюджета и аудитории:

— реалистичный vs. мультяшный
— вымышленный vs. цифровой двойник
— human-driven vs. ai-driven
— AR, 2D, deepfake etc.

У каждого варианта есть свои ограничения и преимущества. Хочу на примере виртуальной Aliona Pole разобрать форматы в серии постов.

Подробнее ALIONA POLE STUDIO

Реалистичный персонаж и трекинг 3д-головы на видео

Основной принцип гиперреализма — иллюзия реальности, иллюзия на грани обмана зрения. Аудитории интересно отгадывать что реально, а что нет.

Анимация реалистичных персонажей — достаточно сложный процесс, требующий времени, специального софта и квалифицированных специалистов. Как мы делали этот ролик с виртуальной Aliona Pole:

> IPhone 11 Pro Max— съемка видео;
> Cinema4d — трекинг 3д-головы персонажа на видео;
> Maya — лицевая анимация;
> Redshift — рендеринг;
> After Effects — композ;

Особенная заморочка была с трубочкой конечно 🤣

Такой контент подходит для коммерческих коллабораций, крупных рекламных компаний и тд. Создавать ежедневный контент для соц сетей таким способом долго и дорого. Тут нам на помощь приходят нейронки, но об этом в другой раз!

Подробнее ALIONA POLE STUDIO

AI + 3D

Для создания регулярного контента с виртуальным персонажем нужно окружение. Это могут быть фото (съемки, оффлайн, модель, стилист и тд) или 3д-сцены (моделлеры, специализированный софт и тд). Все это занимает время и тратит ресурсы. На помощь приходят генеративные нейронки в комбинации с графикой.

Как мы собрали этот визуал:

> Сгенерировали нейронкой Midjourney базовый визуал;
> Добавили части 3д персонажа Aliona Pole;
> Вытащили другой нейронкой глубину и восстановили 3д сцену;

В скором времени мы увидим полноценные сетки Text-to-3D и различные варианты скрещивания NeRF + Text-to-Image, как например технология генерации трехмерных сцен из текстовых подсказок от Apple — GAUDI.

Подробнее ALIONA POLE STUDIO

Нужно ли превращать персонажа в NFT?

Персонаж — это актив, в который вы инвестируйте время и деньги. По мере набора социального капитала в медиа он становится все более значимым. Ценность создают уникальные:

> внешность;
> легенда;
> голос;
> аудитория;

Персонажа можно продать или передать с помощью технологии NFT, у которой в данном случае есть понятная "Utility". Обладатель токена может вернуться к нам в сервис и продолжить создавать контент со своим героем. Это открывает интересные перспективы — биржа персонажей, продюсирование синтетических селебрити и тд. Avatar as an NFT — это уже не просто картинка, это инструмент для создания контента и актив вашего бизнеса.

Подробнее ALIONA POLE STUDIO

Сamera-based motion capture или как создавать анимации с 3д-персонажами самостоятельно без лишнего железа?

Традиционные "suit-based" mocap системы от Xsens и Rokoko сегодня являются основой при подготовке анимации. Такой продакшн требует специального оборудования, софта, навыков, времени и бюджета. Всю эту анимацию после записи (захвата) элементарно нужно чистить руками дизайнеров!

Как еще проще создавать регулярный анимационный контент?

Сейчас активно развиваются "camera-based" решения. В этом примере мы тестируем новые нейронки для анимации мультяшной версии Aliona Pole:

> smartphone
> real-time
> "camera-based" motion capture

Есть еще над чем поработать — кисти, лицо, чтобы руки не проходили сквозь тело... но это направление значительно сокращает издержки и по сути делает аниматором любого пользователя со смартфоном!

На подходе синтезированные real time video + voice фильтры.

Здесь ребята использовали AI для трансформации видео и аудио: Kor Recast + Stable Diffusion image2image + EbSunth.

Теперь набрасываем сюда активно развивающиеся сетки типо DALLE-2, добавляем возможность минтинга NFT и платформу, на которой эти токены можно использовать для создания контента… получаем крутой инструмент для креаторов на стероидах!

Да, еще много возни со стабильностью работы нейронок и скоростью/ценой инференса, но это то синтетическое будущее которое неизбежно.

Кстати, синтезировать аватара, заминтить и пользоваться можно и сейчас в malivar.io

Полезный отчет от Sequoia Capital о Generative AI

Quote:

"A powerful new class of large language models is making it possible for machines to write, code, draw and create with credible and sometimes superhuman results".

Link

SKIP TRADITIONAL PRODUCTION

Одно из преимуществ Generative AI — экономия времени и денег в сравнении с традиционным продакшеном.

Создание регулярного контента с виртуальными персонажами упиралось в большие бюджеты. Собрать 3D пост для инстаграма часто дороже, чем организовать стандартную фотосессию. И я не говорю уже про видео. Разберем процесс на примере двух визуалов выше:

3D:
— тех задание
— профессиональный 3D Artist / специальный софт и железо
— позирование и создание цифровой одежды
— сборка сцены и рендеринг
— если не понравилось, еще раз все то же самое

AI:
— любой человек написал prompt
— кликнул кнопку generate
— получил кучу вариантов, выбрал или развил нужный

Как сделать так, чтобы твой персонаж или другой образ стал доступным для свободной реалистичной генерации?

Есть большое количество профессиональных историй от комьюнити по типу automatic 1111, но если мы говорим про обычных людей, которые не хотят качать модельки с GitHub на свое железо, то есть альтернатива: OHMYSYNT

How to Fix AI-Generated Faces?

На вход:
У вас есть обученная моделька себя через DreamBooth, вы засунули ее в AUTOMATIC1111 и начали генерировать контент через Stable Diffusion.

Проблемы:
1. Лица на общих и средних планах генерируются плохо.
2. Даже если лицо восстановить, теряется похожесть на исходную модель.

Варианты решений:
1. Open source нейронки для восстановления лиц CodeFormer, GFPGAN, GPEN — но теряется похожесть.
2. Руки дизайнера и постпродакшн — но это деньги и время.
3. Изначально генерировать контент в OHMYSYNT с восстановлением лица и переносом похожести.