Gemini Omni - редактирующая модель

Результат предыдущих генераций можно редактировать промптом.

Предыдущий промт учитывается - консистентность должна сохраняться.

@cgevent

У меня в приложении Google Flow появилась Gemini Omni для генерации видео.

Одно видео - 30 кредитов.
За 10 секунд.

На плане Pro дают 1000 кредитов в месяц. Итого 33 видео.

При этом Veo 3.1 Quality стоит 100 кредитов за одно видео.

https://support.google.com/googleone/answer/16287445

@cgevent

Штош, поразбираемся с Gemini Omni. Генерация

По сравнению с Seedance первое, что бросается в глаза это вялая динамика и физика.
Качество картинки в принципе ок, нет особого мыла. Но по сравнению с Сиданским все выглядит заторможенно и как-то искусственно. Переключения камеры, скажем так, своеобразны.
10 секунд также не радуют.
Но перейдем к редактированию.

@cgevent

Gemini Omni. Редактирование

А вот редактирование видео совершенно огненное. Причем вы можете загружать свое видео, а не обязательно генерацию.

"Make everyone in this shot flamingos. Wearing the same outfit."

@cgevent

Gemini Omni. Редактирование

Еще три примера редактирования от fofr.

1. исходник
2. сделай её невидимой, надень на неё перчатки
3. пока она говорит, подходят двое мужчин и уносят фотографию в рамке
4. поменяй ее одежду

Ну то есть можно рассматривать Gemini Omni как Нанобанану только для видео. Понимание происходящего в кадре потрясающее, возможности редактирования тоже.

За сим вырисовывается такой пайплайн: генерация в Сиденс, редактирование в Омни.

Да, дороговато получается.

@cgevent

Gemini Omni. World Knowledge

Также надо понимать, что Omni реально мультимодальная и у нее под капотом вся мощь Gemini. Ну то есть она понимает про окружающий мир и его устройство все, что есть в мозгах у LLM. Также как и Нанобанана.

Ей, по идее, не нужны дико детальные промпты, она способна создавать детали на основе понимания мира.
Есть масса применений за пределами драк и бешеной динамики (образование, иллюстрация, презентации), где такое понимание будет сильно полезным.

@cgevent

Gemini Omni. Редактирование реальных видео

Это, конечно, совершенно убойный пример.
Я тут собрался накатить за композ, но понял, что это это уже какой-то мета-композ, который обычными средствами просто не сделать.

Исходник - реальное youtube-видео с Gemini Omni Release Notes:
https://youtu.be/5T0yRNmNRi4
(всем рекомендую)

Результат - в посте.

Кстати, со всеми этими генерациями, я понял, что постоянно оцениваю липсинк - даже на реальных видео!

@cgevent

Gemini Omni. Avatar\Cameo

Взял свою старую фотку с CG EVENT 2015 (примечательно, что в тех самых очках Google Glass) и попросил превратить меня в жидкого терминатора.

Скушал и не поперхнулся.

Конечно сохранить identity с ракурса под 45 градусов нереально, но он, как смог, справился.

"Transform foto of me to the video of liquid terminator looking at camera and saying "Metaverse is coming!". Make transition into terminator smooth"

Он воспринял transition слишком буквально и поменял задник. В следующем посте попросил его не менять фон.

@cgevent

#Нейропрожарка

«Новая жизнь»

Автор: Курмаев Тимур (@welcomehomeson)

Я иногда тестирую ИИ инструменты для создания видео и фото - просто для развлечения. И в качестве бенчмарка я всегда использую нашу кошку - самую достойную модель для моих экспериментов.

Перед отпуском решил взять подписку Higgsfield, хотел сделать небольшую, но цельную работу - проверить можно ли без опыта в производстве видео-контента выдать удобоваримый результат и за недорого.

- Сценарий: из головы. Сейчас мы ждем пополнение в семье, и я придумал простенький сюжет о том как меняется жизнь кошек с появлением ребенка. В главной роли мой бенчмарк, конечно же.

- Стилистика: хотелось повторить анимацию из мультфильмов Аркейн и Человек-Паук: Через вселенные (получилось далеко не везде)

- Инструменты пробовал разные, но лучший эффект дала связка:
• Gemini для промптов (дал лучшее описание специфической анимации)
• NanaBanana 2/Pro для генерации кадров
• Kling 3.0 для анимации через старт/стоп кадры, с использованием функции Elements.
• CapCut для монтажа и звуков
• Музыку хотел нагенерить в Suno после черновой версии, но в итоге остановился на «затычке» из CapCut и известном треке
• Генерировал в 720 (экономия!), затем апскейлил через десктопный Topaz.

Проблема, которая бесила больше всего - консистентность. Из-за нее я раньше не пытался делать что-то связное. Сейчас я был нацелен на функцию Elements в Kling. Также ради консистентности сделал выбор в пользу fixed frame. Даже при этих условиях пришлось пойти на допущения (я думаю, что они будут сразу заметны). Уверен, что это решается большим количеством попыток генераций = бюджетом.

Если выделить чистое время работы - наберется порядка 10 часов.

Пользовался только Higgsfield по подписке. На видео израсходовал примерно 2200-2400 рублей.

Выводы обывателя: ИИ-инструменты выдают хорошие результаты, но итоговое качество финального ролика - вопрос бюджета и времени. Как инструмент для продакшена - топ, для личных целей - пока еще слишком нестабильно и дорого.

@cgevent

Gemini Omni. Что дальше?

Я послушал подкаст Introducing Gemini Omni:
https://youtu.be/5T0yRNmNRi4?t=844

И там есть пара интересных моментов о том, что выпущенная модель Gemini Omni имеет приставку Flash.
И что это как бы первая и "маленькая" модель. И что это можно сравнить с первой Нанабананой.
И что скоро нас ждем модель Pro (по аналогии с Нанабанана Про, появившейся позже и ставшей практически стандартом для редактирования изображений.

В подкасте достаточно много и откровенно говорили про ограничение в 10 секунд.
Во-первых, уже сейчас можно продолжать клипы, ибо Омни держит в памяти полный рефренс и по идее должна попадать в косистентность.
Во-вторых, и это главное, несколько раз сказали, что длительность будет увеличена в следующей версии. Несколько раз звучала цифра в 30 секунд, но скорее как вариант, а не окончательный параметр.

Из интересного: когда вы подсовываете свое (чужое) лицо как референс, имеет смысл делать как можно больше фоток с разных ракурсов и подсовывать их все. Оказывается модель строит что-то типа 3Д-модели (как при фотограмметрии), чтобы сохранять консистентность при повороте головы. Больше фоток на входе - лучше.

Более того, в будущих версиях может появиться версия с видео-референсом вашего лица. Ставите камеру и крутите лицом перед ней (по типу KYC) - модель строит модель вашего лица и использует ее при генерации.

И все это может превратиться в создание ваше цифровой копии - ваш аватар на максималках. Вы записываете видео, где крутите башкой и зачитываете текст на камеру. Цифруется лицо и голос, и сохраняется в виде вашего аватара, который вы в дальнейшем можете использовать в генерациях. (Тут HeyGen поперхнулся)

Также рассказали, что в новых версиях Omni появится больше tooling-a - инструментов, унаследованных от Gemini, типа поиска в интернете и работы с данными. То, что появилось в Nanobanana 2.

Про инструменты для сторителлинга сказали, но вкратце. Будут развивать Flow в этом направлении.

@cgevent

3Д-генераторы замахиваются на волосы, вены и бороды.

В режиме Extreme High генератор Rodin 2.5 генерит довольно реалистичные анатомические подробности. Брови и волосы уже не выглядят кашей.
Напомню, что Rodin умеет генерить 10 миллионов полигонов.

Ну и они не боятся генерить органику теперь.

Правда что делать с такой оравой фейсов непонятно - разве что в 3Д-печать.

https://hyper3d.ai/

@cgevent