Я много писал про OmniGen. Это как бы новая архитектура для генерации картинок.
Но это не совсем генератор. Это скорее нейроредактор уже имеющихся изображений.

А теперь внимание.
Есть такая Stable Diffusion Based модель - Pony.
Ну это как бы царь (или царица) в области генерации NSFW.
Так вот, автор Пони сейчас файнтюнит Omnigen (на датасетах из Пони), чтобы можно было редактировать эти веселые картинки в соответствии с вашими фантазиями. Промптами. Поглядите мой пост на предмет таких промптов.

Вы представляете, что это будет за комбайн?

И называться все это будет PomniGen!

Как пишет автор Пони: generate with Pony V7 and edit with (p)omnigen.

_______
Источник | #cgevent
@F_S_C_P

Узнай судьбу картами Таро:
✨Anna Taro bot

Мнемонад. https://t.iss.one/cgevent/10122

Вот держите еще один ИИ-фильм, который навыигрывал тучу призов.

Да, тут наверное один из лучших ии-липсинков на планете и сделано все очень добротно.

Я не люблю постить работы без пайплайнов или истории их изготовления, поэтому вот вам описание того, как это было сделано и какие кнопачки надо нажимать в Клинге, Рунвее и Премьере, чтобы помучиться и получить желаемое.

А я понял, что мне это все напоминает.

Это как бы прошаренные превизы. Анимированные раскадровки на стероидах. Нейрочерновики.

Прогуглите, что такое превизы, кто не в курсе. Есть целые компании типа Third Flow, которые занимаются только превизами.

Так вот, я смотрю на эти ИИ-фильмы и вижу, что глаза глядят не туда, что ножки проскальзывают, что эмоции не соответствуют моменту - но я В ПРИНЦИПЕ понимаю, что хотел сказать автор, какую историю он хочет рассказать, какая идея стоит за этим неуклюжими сценами. Среди которых могут быть просто гениальные 2-5 секундные шоты, но в целом - это красочный, но неуклюжий превиз. Только в превизе всегда есть контроль камеры, а тут нет. За камерой сидит нейросеть на ИИ-грибах.

Поэтому я честно считываю все эти истории, как будто листаю сценарий с картинками. Но в сторителлинг это не складывается до конца. Это сторителлинг на пальцах. На ИИ-пальцах.

Самые убойные результаты нам пока демонстрирует video2video. Да потому-то на входе - кожаное видео. Снятое ручками. Родовой контролНет, так сказать.

Давайте я доверну мысль из предыдущего поста, а то поздно, дед забыл принять таблетки и лыко вяжет плохо.
Вот смотрите, есть всякие I2P адаптеры, ну или можно просто скормить в chatGPT картинку и сказать, сделай мне детальный промпт, чтобы сгенерить похожее. Он сделает.

А теперь представьте, что вы ему даете на вхот 10-минутное видео и говорите, а сделай, дружок, промптик, чтобы сгенерить похожее видео. Как будет выглядеть этот промпт.

Вы наверное ему даже референсов можете приподнаподсовывать (image2video), но все равно, размером с какую планету будет промпт для генерации 10-минутного видео с рассказом истории по референсам?

Это я к тому, что у видео измерений не два(x,y) плюс время(t), а сильно больше. И все они участвуют в сторителлинге.
Это у комиксов x,y и t.
И у мемных видосов со взрывом мозгов или сплющиванием объектов.

_______
Источник | #cgevent
@F_S_C_P

Стань спонсором!

А почему все молчат? https://t.iss.one/cgevent/10127

FLUX1.1 [pro] Ultra and Raw Modes

В четыре раза большее разрешение при том же времени генерации.

Raw Mode - cуперфотореализьм.

Уже завезли в Krea.ai

И на репликейт
replicate.com

И на фал
https://fal.ai/models/fal-ai/flux-pro/v1.1-ultra

Новость:
blackforestlabs.ai

@cgevent

_______
Источник | #cgevent
@F_S_C_P

Стань спонсором!

Вот вы видели новые варианты управления камерой в Runway.

В опенсорсных моделях это будет появляться в виде контролНетов и Лор. И это будет не то чтобы недружелюбно.
Это будет просто зоопарк.

На видео пример работы, внимание, "DimensionX left orbit Lora" для CogVideo.
Лора для поворота налево.

Выглядит круто, особенно для опенсорсного генератора.

Но просто представьте как вы втыкаете очередную лору в CogVideo Lora node в Комфи, чтобы пошевелить ушами.

И во что все это превращается.

Я уже давно ною про вопросы управляемости видео-генерациями, но похоже пока ничего лучше чем video2video, где на входе кожаное видео не придумали.

А кожаное видео, зараза, надо уметь снимать. И кожаные нужны для него тоже, если это не котики.

Все, нейродед проворчался.

Лору, кстати, можете забрать тут

@cgevent

_______
Источник | #cgevent
@F_S_C_P

Стань спонсором!

Нейропроцедурное моделирование

Наткнулся на видео от Pepe Buendia по процедурным городам в Гудини.

Ну, честно говоря, Миха Лёсин показывал такое на CG EVENT еще в 2007 году, но это не так важно.

А важно то, что весь этот наш GenAI выдает нам, как правило, пиксели и видосы. Финальный материал.

И мы потом такие, контролНет, инпайнт, все дела, чтобы снова попасть в финальный материал, то есть в пиксели.

А что если хочется сказать: а сгенери сцену в Гудини, чтобы сделать вот такой вот город-сад (напихать референсов), выведи рульки наружу (как положено в Гудини) и сохрани ея для меня.

Если свести это к метазадаче: а сгенери мне код для (нужное подчеркнуть), который дает вот такую картинку. Но это уже совсем нобелевка.

Народ пока лепит 3Д генераторы, но на выходе - нередактируемая хтонь.

А хочется на выходе иметь не пихсели или вертексы, а рульки и педальки. Как результат работы ИИ. Чтобы можно было докручивать.

Уже писал, что встречал подобное только у Влада в www.tech-va.com
где нейросетки на выходе выдают рульки и параметры для Нюка.

Понятно, что можно сказать, дай мне код на питоне, чтобы в блендоре сделать кубик.

Также видел поделки на базе Daz3D, но там они просто по тегам таскают персонажей из библиотеки.

А хочется на вход промпт и картинку как референс, а на выходе Geometry Nodes, например.
Или ноды для TouchDesigner.

Ну или частный случай: на входе портрет из флюкса, на выходе - ползунки для метахьюмана. Можно же натренить?

@cgevent

_______
Источник | #cgevent
@F_S_C_P

Стань спонсором!

Так, потерпите, меня пробило на грибы и Runway.

Я щас доберусь до видеогенератров, но вот вам еще один очень классный пример, похожий на предыдущий о том, как вытаскивать 3Д мир из любой картинки, уже не имея никакой болванки в блендоре.

Берете в Runway Image2Video.
Просто используете новые управлялки из Runway, чтобы сделать видео облетов "внутри" картинки.
Используете эти видео чтобы собрать трехмерную сцену из Гауссианов в Unity Gaussian BOX Splatting.
А дальше вы уже в 3Д и просто светите сцену с помощью Custom URP Lit 6 ways Shader.

Еще раз - на входе картинка (хоть Флюкс, хоть древний Мидж) - на выходе вы бродите в Юнити по этой картинке внутри!

Шел 2024 год. Люди массово переселялись в картинки.
Сорс.

@cgevent

_______
Источник | #cgevent
@F_S_C_P

Узнай судьбу картами Таро:
✨Anna Taro bot

Так, а теперь завершаем 2D->3D марафон и складываем все в одну коробочку. https://t.iss.one/cgevent/10253

Вчера постил благую весть, о том, что CogVideo 1.5 завезли в Комфи, перебрав все косточки по дороге.
Приводил пример видео генерации с лорой на движение камеры от автора интеграции.
А сегодня смышленые парни уже берут такие генерации кормят их в postshot и получают метаверсик этого сгенеренного мира. Пример нечищеный, как есть.

И да, это 3dgs - гауссианы, полученные из postshot.

Кто не знает про postshot - глядите сюда www.jawset.com (надо немного знать 3Д).

А я проматываю на пару лет вперед и вижу то самое королевство кривых зеркал (может и прямых, кстати).

Вы силой мысли(или дрожащим голосом) генерите любую влажную картинку из ваших фантазий, а потом просто заныриваете в нее. Ибо мир уже готов, гауссианы ждут вас в свои объятия. Хотя через пару лет это уже будут наверное нано-латентные-пиксели, учитывающие вашу биохимию.

А если отставить нейродедовский юмор, то Midjourney как раз что-то лопотали про это на своих Open Hours. Писал об это тут.

Ох, куда катится мир... в какие картинки.


_______
Источник | #cgevent
@F_S_C_P

Узнай судьбу картами Таро:
✨Anna Taro bot

Кожаная метка

А вот это уже симптоматично. Вместо того, чтобы гоняться за распухающим объемом контента, произведенного с помощью ИИ (мне особенно "зашли" бесконечные стримы, произведенные с помощью NotebookLM и визуализированные с помощью Heygen или Hedra, источник бесконечного булшита на любые темы), ютюбчик хочет отмечать именно кожаные видео, не тронутые грязными лапами ИИ.

Тут, конечно, стартаперы должны зашевелиться с идеями типа "Стриминг-Бутик с кожаными видео only." Но, как вы понимаете, в мире, где основные метрики - это количество, а не качество контента, эта идея немедленно будет взломана.

А идея делить контент на кожаный и ИИшный (имхо), довольно утопична. Просто потому что "а зачем?". Потребление контента кожаными - вот основная цель бизнесов, зарабатывающих на трафике, рекламе и стриминге. Зачем рубить сук?
Более того, кожаные уже давно не в состоянии отличать сгенеренный контент от рукотворного.

Интересно, что монтаж вроде как можно, а вот эффекты уже нельзя:

Видео не обязательно должно быть неотредактированным, чтобы получить кожаную метку, но, согласно странице поддержки, каждый этап процесса должен поддерживать C2PA и не допускать:
- Редактирования, которое нарушает цепочку происхождения или делает невозможным отслеживание видео до его первоисточника. Например, если вы снимаете изображение с метаданными C2PA, а затем сохраняете его в фотоальбоме своего телефона, который не поддерживает C2PA версии 2.1 или выше, это может нарушить цепочку происхождения
- Значительные изменения основной природы или содержания видео, включая звуки или визуальные эффекты.
- Изменения, которые делают видео несовместимым со стандартами C2PA (версии 2.1 и выше).

В общем я не понимаю - зачем?

Давайте оставим только прямые склейки? Ну ок...
www.theverge.com
@cgevent

_______
Источник | #cgevent
@F_S_C_P

Стань спонсором!

Реалтаймовый path tracing в UE5.

Честно говоря, звучит как изобретение квантового рейтрейсинга или применение квантовых компьютеров для рендеринга. Ну не может такой кадр считаться в 60fps, я хорошо помню из прошлой жизни, что такие сцены считаются сутками. На кадр.

Если интересно как это возможно, поглядите видео. Как я понял, вместо миллиардов лучей испускаются миллионы(звучит иронично, но экономия в тысячи раз) и испускаются локально, только там где надо(блидинг, софт шедоу и пр).

И там хорошие три вопроса, один из которых про потерю качества при таком подходе. Ответ - ее почти нет.

Явшоке. Подробности ниже.

А я вспоминаю недавние посты про генерацию, а точнее про рендеринг игр нейронками, которые знать не знают про path tracing и физическую корректность, и думаю, а что важнее - дофамин или физически корректный свет? И где предел качества картинки, после которого пользователю уже все равно на качество?

youtu.be

@cgevent

_______
Источник | #cgevent
@F_S_C_P

Узнай судьбу картами Таро:
✨Anna Taro bot