Virtual Humans — разный tech stack для разных целей и платформ.

Когда речь заходит о виртуалах, то каждый из нас представляет их по-своему: 3д герои, персы из компьютерных игр, deepfakes или роботы. Суть в том, что рынок сейчас пытается выработать единый стандарт, своеобразный инфраструктурный слой для аватаров. Те же самые процессы мы видим и в движе про метавселенные. На мой взгляд, Epic Games с новым Unreal Engine 5 выглядят бодрее всех. Графика хорошо решает задачи там, где требуется высокое качество, а нейронки — где нужно быстро и просто создавать контент ( соц сети). В примере мы видим одного и того же персонажа Nana, наш проект для рынка Китая.

1. 3д голова + реальное тело.
2. 3д full body.
3. Face Swap + реальное тело.

Virtual Humans — не только 3д персонажи, но и сгенерированные royalty free лица, которые активно используются в video и live commerce в Азии.

Самый простой способ сделать себе персонажа без дорогой и долгой компьютерной графики — сгенерировать несуществующее лицо или лица и использовать их в коммуникации. Легенду здесь можно придумать любую...кстати, это интересное направление для новой специальности — Metaverse Storyteller 😅. Для продавцов в Азии это хороший способ локализации контента под разные рынки и аудитории. Если сюда еще добавить генерацию голоса и разные языки! На видео-примере одна реальная модель в трех разных образах. Поиграться можно здесь во free trial. Есть аналогичный проект в Китае — Surreal, который поддержала Sequoia.

💥Epic Games привлекли $2B от Sony и KIRKBI (LEGO) по оценке в $31,5B

Learning a Hybrid Neural Volumetric Representation for Dynamic Hair Performance Capture.

Динамические волосы всегда были большой проблемой в графике, без них нельзя запилить реалистичных аватаров. Пока это все ещё требует больших вычислительных ресурсов… ждём новые работы!

Abstract: здесь

Виртуальный персонаж может быть разным.

Все зависит от канала коммуникации, задач бренда, формата контента, бюджета и аудитории:

— реалистичный vs. мультяшный
— вымышленный vs. цифровой двойник
— human-driven vs. ai-driven
— AR, 2D, deepfake etc.

У каждого варианта есть свои ограничения и преимущества. Хочу на примере виртуальной Aliona Pole разобрать форматы в серии постов.

Подробнее ALIONA POLE STUDIO

Реалистичный персонаж и трекинг 3д-головы на видео

Основной принцип гиперреализма — иллюзия реальности, иллюзия на грани обмана зрения. Аудитории интересно отгадывать что реально, а что нет.

Анимация реалистичных персонажей — достаточно сложный процесс, требующий времени, специального софта и квалифицированных специалистов. Как мы делали этот ролик с виртуальной Aliona Pole:

> IPhone 11 Pro Max— съемка видео;
> Cinema4d — трекинг 3д-головы персонажа на видео;
> Maya — лицевая анимация;
> Redshift — рендеринг;
> After Effects — композ;

Особенная заморочка была с трубочкой конечно 🤣

Такой контент подходит для коммерческих коллабораций, крупных рекламных компаний и тд. Создавать ежедневный контент для соц сетей таким способом долго и дорого. Тут нам на помощь приходят нейронки, но об этом в другой раз!

Подробнее ALIONA POLE STUDIO

AI + 3D

Для создания регулярного контента с виртуальным персонажем нужно окружение. Это могут быть фото (съемки, оффлайн, модель, стилист и тд) или 3д-сцены (моделлеры, специализированный софт и тд). Все это занимает время и тратит ресурсы. На помощь приходят генеративные нейронки в комбинации с графикой.

Как мы собрали этот визуал:

> Сгенерировали нейронкой Midjourney базовый визуал;
> Добавили части 3д персонажа Aliona Pole;
> Вытащили другой нейронкой глубину и восстановили 3д сцену;

В скором времени мы увидим полноценные сетки Text-to-3D и различные варианты скрещивания NeRF + Text-to-Image, как например технология генерации трехмерных сцен из текстовых подсказок от Apple — GAUDI.

Подробнее ALIONA POLE STUDIO

Нужно ли превращать персонажа в NFT?

Персонаж — это актив, в который вы инвестируйте время и деньги. По мере набора социального капитала в медиа он становится все более значимым. Ценность создают уникальные:

> внешность;
> легенда;
> голос;
> аудитория;

Персонажа можно продать или передать с помощью технологии NFT, у которой в данном случае есть понятная "Utility". Обладатель токена может вернуться к нам в сервис и продолжить создавать контент со своим героем. Это открывает интересные перспективы — биржа персонажей, продюсирование синтетических селебрити и тд. Avatar as an NFT — это уже не просто картинка, это инструмент для создания контента и актив вашего бизнеса.

Подробнее ALIONA POLE STUDIO

Сamera-based motion capture или как создавать анимации с 3д-персонажами самостоятельно без лишнего железа?

Традиционные "suit-based" mocap системы от Xsens и Rokoko сегодня являются основой при подготовке анимации. Такой продакшн требует специального оборудования, софта, навыков, времени и бюджета. Всю эту анимацию после записи (захвата) элементарно нужно чистить руками дизайнеров!

Как еще проще создавать регулярный анимационный контент?

Сейчас активно развиваются "camera-based" решения. В этом примере мы тестируем новые нейронки для анимации мультяшной версии Aliona Pole:

> smartphone
> real-time
> "camera-based" motion capture

Есть еще над чем поработать — кисти, лицо, чтобы руки не проходили сквозь тело... но это направление значительно сокращает издержки и по сути делает аниматором любого пользователя со смартфоном!

На подходе синтезированные real time video + voice фильтры.

Здесь ребята использовали AI для трансформации видео и аудио: Kor Recast + Stable Diffusion image2image + EbSunth.

Теперь набрасываем сюда активно развивающиеся сетки типо DALLE-2, добавляем возможность минтинга NFT и платформу, на которой эти токены можно использовать для создания контента… получаем крутой инструмент для креаторов на стероидах!

Да, еще много возни со стабильностью работы нейронок и скоростью/ценой инференса, но это то синтетическое будущее которое неизбежно.

Кстати, синтезировать аватара, заминтить и пользоваться можно и сейчас в malivar.io

Полезный отчет от Sequoia Capital о Generative AI

Quote:

"A powerful new class of large language models is making it possible for machines to write, code, draw and create with credible and sometimes superhuman results".

Link

SKIP TRADITIONAL PRODUCTION

Одно из преимуществ Generative AI — экономия времени и денег в сравнении с традиционным продакшеном.

Создание регулярного контента с виртуальными персонажами упиралось в большие бюджеты. Собрать 3D пост для инстаграма часто дороже, чем организовать стандартную фотосессию. И я не говорю уже про видео. Разберем процесс на примере двух визуалов выше:

3D:
— тех задание
— профессиональный 3D Artist / специальный софт и железо
— позирование и создание цифровой одежды
— сборка сцены и рендеринг
— если не понравилось, еще раз все то же самое

AI:
— любой человек написал prompt
— кликнул кнопку generate
— получил кучу вариантов, выбрал или развил нужный

Как сделать так, чтобы твой персонаж или другой образ стал доступным для свободной реалистичной генерации?

Есть большое количество профессиональных историй от комьюнити по типу automatic 1111, но если мы говорим про обычных людей, которые не хотят качать модельки с GitHub на свое железо, то есть альтернатива: OHMYSYNT

How to Fix AI-Generated Faces?

На вход:
У вас есть обученная моделька себя через DreamBooth, вы засунули ее в AUTOMATIC1111 и начали генерировать контент через Stable Diffusion.

Проблемы:
1. Лица на общих и средних планах генерируются плохо.
2. Даже если лицо восстановить, теряется похожесть на исходную модель.

Варианты решений:
1. Open source нейронки для восстановления лиц CodeFormer, GFPGAN, GPEN — но теряется похожесть.
2. Руки дизайнера и постпродакшн — но это деньги и время.
3. Изначально генерировать контент в OHMYSYNT с восстановлением лица и переносом похожести.

How to Fix AI-Generated Faces? (Part 2)

Как увеличить разрешение генерации и вернуть детали после Face Restoration и переноса похожести?

Проблемы:
1. Лица на общих и средних планах генерируются плохо.
2. Даже если лицо восстановить, теряется похожесть на исходную модель.
3. Разрешение картинки и потеря деталей.

Решение:
1. Дополнительная генерация лица с настройками в img2img / 46.58s / 1024 x 1024
2. Кнопка "сделать красиво" в OHMYSYNT 🤣

When there is no time for social media content

Генерация изображений вышла за рамки просто «стилизованных аватарок» на один раз. Уже можно играться разными позами, кропами, положениями камер, окружениями и одеждой. Обучил своего AI-SYNT и все. Уже и Face Landmark ControlNet вот-вот подъедет для разнообразной мимики!

Get stunning product posts in seconds

To engage your customers, reduce costs, and save time associated with traditional production, start creating personalized, AI-generated posts that showcase your product in various settings and with different brand ambassadors.

How does it work?

Every product, human or character can have it's own AI-SYNT. AI-SYNT is a digital copy trained on your content. AI-SYNT allows you to generate scenes featuring your product and brand ambassadors.

Who might find this useful?

E-commerce, social commerce, brands and vendors, SMM, digital marketers etc.

Join Waitlist https://ohmysynt.io

Get stunning product posts in seconds.

Прогресс в AI привел к переосмыслению брендами традиционного процесса создания контента. Все движется в направлении кнопки «сделать красиво» с минимальным набором подсказок. Это быстрее и дешевле.

Многим не нужны сложные интерфейсы, навыки работы с редакторами, знания обучения нейронных сетей и prompt инжиниринга — нужен результат.

Выбираете продукт, амбассадора и задаете минимальные данные по аудитории для кого. Дальше AI-магия и персонализированный, продающий пост готов.

Это то ближайшее будущее, куда движется наша R&D команда, 2023й — год прорывных решений по генерации видео.

Если ваша компания готова уже сейчас начать работу в этом направлении — напишите нам: OHMYSYNT

Смогут ли старые добрые 3д-инфлюенсеры получить новое дыхание с помощью Generative AI? Генерация гораздо быстрее и дешевле традиционного продакшена.

Кейс

All speakers are AI-generated!

In fact, only concepts for now! 😅

Great opportunity to visit sunny Yerevan on June 10-11!

Our entire team will be attending the Design Reflektorij Forum. This is a space where you can look at the profession from different angles. There will be a lot of discussion around the integration of AI with traditional design tools!

And this will be a great party, by the way!

Perfect fit for:

1. Companies that can send their team to the forum;
2. Individual designers and creative people;
3. Guests of Yerevan.

→ EARLY BIRDS: https://reflektorij.com/forum