Сamera-based motion capture или как создавать анимации с 3д-персонажами самостоятельно без лишнего железа?

Традиционные "suit-based" mocap системы от Xsens и Rokoko сегодня являются основой при подготовке анимации. Такой продакшн требует специального оборудования, софта, навыков, времени и бюджета. Всю эту анимацию после записи (захвата) элементарно нужно чистить руками дизайнеров!

Как еще проще создавать регулярный анимационный контент?

Сейчас активно развиваются "camera-based" решения. В этом примере мы тестируем новые нейронки для анимации мультяшной версии Aliona Pole:

> smartphone
> real-time
> "camera-based" motion capture

Есть еще над чем поработать — кисти, лицо, чтобы руки не проходили сквозь тело... но это направление значительно сокращает издержки и по сути делает аниматором любого пользователя со смартфоном!

На подходе синтезированные real time video + voice фильтры.

Здесь ребята использовали AI для трансформации видео и аудио: Kor Recast + Stable Diffusion image2image + EbSunth.

Теперь набрасываем сюда активно развивающиеся сетки типо DALLE-2, добавляем возможность минтинга NFT и платформу, на которой эти токены можно использовать для создания контента… получаем крутой инструмент для креаторов на стероидах!

Да, еще много возни со стабильностью работы нейронок и скоростью/ценой инференса, но это то синтетическое будущее которое неизбежно.

Кстати, синтезировать аватара, заминтить и пользоваться можно и сейчас в malivar.io

Полезный отчет от Sequoia Capital о Generative AI

Quote:

"A powerful new class of large language models is making it possible for machines to write, code, draw and create with credible and sometimes superhuman results".

Link

SKIP TRADITIONAL PRODUCTION

Одно из преимуществ Generative AI — экономия времени и денег в сравнении с традиционным продакшеном.

Создание регулярного контента с виртуальными персонажами упиралось в большие бюджеты. Собрать 3D пост для инстаграма часто дороже, чем организовать стандартную фотосессию. И я не говорю уже про видео. Разберем процесс на примере двух визуалов выше:

3D:
— тех задание
— профессиональный 3D Artist / специальный софт и железо
— позирование и создание цифровой одежды
— сборка сцены и рендеринг
— если не понравилось, еще раз все то же самое

AI:
— любой человек написал prompt
— кликнул кнопку generate
— получил кучу вариантов, выбрал или развил нужный

Как сделать так, чтобы твой персонаж или другой образ стал доступным для свободной реалистичной генерации?

Есть большое количество профессиональных историй от комьюнити по типу automatic 1111, но если мы говорим про обычных людей, которые не хотят качать модельки с GitHub на свое железо, то есть альтернатива: OHMYSYNT

How to Fix AI-Generated Faces?

На вход:
У вас есть обученная моделька себя через DreamBooth, вы засунули ее в AUTOMATIC1111 и начали генерировать контент через Stable Diffusion.

Проблемы:
1. Лица на общих и средних планах генерируются плохо.
2. Даже если лицо восстановить, теряется похожесть на исходную модель.

Варианты решений:
1. Open source нейронки для восстановления лиц CodeFormer, GFPGAN, GPEN — но теряется похожесть.
2. Руки дизайнера и постпродакшн — но это деньги и время.
3. Изначально генерировать контент в OHMYSYNT с восстановлением лица и переносом похожести.

How to Fix AI-Generated Faces? (Part 2)

Как увеличить разрешение генерации и вернуть детали после Face Restoration и переноса похожести?

Проблемы:
1. Лица на общих и средних планах генерируются плохо.
2. Даже если лицо восстановить, теряется похожесть на исходную модель.
3. Разрешение картинки и потеря деталей.

Решение:
1. Дополнительная генерация лица с настройками в img2img / 46.58s / 1024 x 1024
2. Кнопка "сделать красиво" в OHMYSYNT 🤣

When there is no time for social media content

Генерация изображений вышла за рамки просто «стилизованных аватарок» на один раз. Уже можно играться разными позами, кропами, положениями камер, окружениями и одеждой. Обучил своего AI-SYNT и все. Уже и Face Landmark ControlNet вот-вот подъедет для разнообразной мимики!

Get stunning product posts in seconds

To engage your customers, reduce costs, and save time associated with traditional production, start creating personalized, AI-generated posts that showcase your product in various settings and with different brand ambassadors.

How does it work?

Every product, human or character can have it's own AI-SYNT. AI-SYNT is a digital copy trained on your content. AI-SYNT allows you to generate scenes featuring your product and brand ambassadors.

Who might find this useful?

E-commerce, social commerce, brands and vendors, SMM, digital marketers etc.

Join Waitlist https://ohmysynt.io

Get stunning product posts in seconds.

Прогресс в AI привел к переосмыслению брендами традиционного процесса создания контента. Все движется в направлении кнопки «сделать красиво» с минимальным набором подсказок. Это быстрее и дешевле.

Многим не нужны сложные интерфейсы, навыки работы с редакторами, знания обучения нейронных сетей и prompt инжиниринга — нужен результат.

Выбираете продукт, амбассадора и задаете минимальные данные по аудитории для кого. Дальше AI-магия и персонализированный, продающий пост готов.

Это то ближайшее будущее, куда движется наша R&D команда, 2023й — год прорывных решений по генерации видео.

Если ваша компания готова уже сейчас начать работу в этом направлении — напишите нам: OHMYSYNT

Смогут ли старые добрые 3д-инфлюенсеры получить новое дыхание с помощью Generative AI? Генерация гораздо быстрее и дешевле традиционного продакшена.

Кейс

All speakers are AI-generated!

In fact, only concepts for now! 😅

Great opportunity to visit sunny Yerevan on June 10-11!

Our entire team will be attending the Design Reflektorij Forum. This is a space where you can look at the profession from different angles. There will be a lot of discussion around the integration of AI with traditional design tools!

And this will be a great party, by the way!

Perfect fit for:

1. Companies that can send their team to the forum;
2. Individual designers and creative people;
3. Guests of Yerevan.

→ EARLY BIRDS: https://reflektorij.com/forum

Just imagine the number of man-hours that would have been spent on creating this image with a brand mascot using traditional computer graphics a year ago!

Posing, scene lighting setup, digital garment assembly, multiple rendering options etc.

Now, with the help of generative AI, this process takes seconds. Limitless opportunities for marketing and branded content.

OHMYSYNT

Плагины станут доступны всем платным пользователям уже на следующей неделе! Вы тестировали beta версию?

Source

The evolution of text-to-video

Text-to-image advancements will soon impact the quality of text-to-video. Expect the emergence of long videos generated from scenarios and sketches.

Sharing the research summary of our team OHMYSYNT. As of today, the progress is as follows:

Generation:

No consistency → Consistency
Low resolution → High resolution
Low quality → Mid quality
Low FPS → Mid FPS
Short duration → Few minutes

Editing:

Long training → No need
Long inferense → Fast inference
No consistency → Consistency
Low resolution → High resolution
Low quality → Mid quality

Continuing work on text-to-video for businesses.

The next step in AI-generated content for e-commerce.

Research and A/B tests support the hypothesis that visuals featuring humans increase the conversion rate.

What if we use AI-generated humans to represent the product in complete visuals, instead of only AI backgrounds and AI products?

Check out this video to see how it works.

Осталось два дня! Самое время купить билет!

AI блок в рамках Design Reflektorij Forum / 10 и 11 июня в Ереване

Generative AI: сегодня и завтра

Валерий Шарипов, основатель OHMYSYNT, расскажет об эволюции text-to-video, о пересечение AI и 3D, решениях для нового поколения дизайнеров, об ограничениях AI сегодня и возможностях в будущем.

Нейробиология и дизайн: как AI может найти ключ к визуальному восприятию

Алексей Горин, когнитивный нейробиолог, расскажет о нейроэстетике, о том, как мозг воспринимает искусство и как создать для него более комфортные условия.

Этика в эпоху AI: исследование границ

Пойдём в Дискуссию с острыми вопросами: Владислав Деревянных (бренд-дизайн директор Voskhod Branding) уже внедрил AI в проекты агенства, Валерий Шарипов, Сергей Андронов (бренд-дизайн директор Manychat), Алексей Горин.

→ Другие темы, спикьеры и регистрация
→ Вопросы организаторам @marinakslv

Добавили новую фичу и открыли доступ к ai-инструменту OHMYSYNT

Теперь можно обучать персонализированных ai-синтов и генерировать маркетинговые изображения в разных форматах.

Доступны две подписки. Зарегистрироваться и подписаться можно здесь https://app.ohmysynt.io

1. STANDARD за $99 мес.

— Безлимитные генерации
— Возможность писать свои промпты
— Обучение одного AI-SYNT
— Стандартная скорость

2. ONE-TIME за $19

— Разовая генерация 448 шт. аватарок
— Обучение одного AI-SYNT
— Медленная скорость

UGC vs AIGC

Ещё не все переварили UGC контент, как маркетологи придумали новый термин — AIGC, контент, созданный с помощью алгоритмов и ИИ. Интересно, какое место займут все эти сгенерированные изображения, видео и тексты в стратегиях компаний? Какие каналы будут популярны? Только умоляю, не говорите про Threads 🤣