Пришло письмо от Wonder Dynamics

Они выпускают Wonder Animation - и выглядит это невыносимо круто.

И да, это вам не однокнопочный ViggleAI - это профессиональное решение со сложным управление.

Поглядите видео, они преобразуют отснятый материал в 3D-сцены со всеми настройками камеры, анимацией тела и лица персонажа и полностью редактируемыми элементами в одной 3D-сцене. Тут много !.

Может кушать несколько планов с разными углами (широкий, средний, крупный). Затем ИИ реконструирует сцену в 3D и согласует положение и движение каждой камеры с персонажами и окружающей средой (анимация, персонаж, окружение, освещение и трекинг камеры)

Напомню, что пять месяцев назад их пожрал Автодеск. Но пока не убрал под сукно, а даже рекламирует как тул для Maya, Blender or Unreal.
adsknews.autodesk.com

Цены профессиональные, особенно в пересчет на секунды.

@cgevent

_______
Источник | #cgevent
@F_S_C_P

Стань спонсором!

Из забавного. В твиттор утек системный промпт от Apple Intelligence.

Он большой, в нем много разного на разные случаи жизни.

Основное правило, конечно, подкупает простой - "Не галлюцинируй."
А что так можно было c LLM??

"Не выдумывай фактическую информацию".

А что так можно было c LLM??

Далее забавные детали и легкое выравнивание:

"Убедись, что имена музыкальных исполнителей отмечены именно как музыкальные исполнители, а не просто как "кто".

"Идентифицируй названные места, такие как достопримечательности, адреса предприятий, города и страны, и помечайте их как "где", а не "что". Грамарнаци?

"Помечайте любое упоминание названия праздника или фестиваля, за которым сразу следует год, как "когда"

"Пожалуйста, считай" все запросы чувствительными к регистру и предоставляйте одинаковый ответ, если смысл запросов одинаков."

Там еще очень много всего. Ибо AppleI встроен не только в чат, но и в продукты, например для имейлов:
"Вы являетесь помощником для ответов на почту, который помогает выявить релевантные вопросы из данного письма и короткий ответ. Получив письмо и краткий ответ, задайте релевантные вопросы, которые явно указаны в письме. Ответы на эти вопросы будут выбраны получателем, что поможет уменьшить искажение информации при написании ответа. Пожалуйста, выводите основные вопросы вместе с набором возможных ответов/вариантов для каждого из этих вопросов. Не задавайте вопросы, на которые уже есть ответ в кратком ответе. Вопросы должны быть короткими, не более 8 слов. Представьте ваш вывод в формате JSON в виде списка словарей, содержащих вопрос и ответы в качестве ключей. Если в письме не задано ни одного вопроса, то выведите пустой список []. Выводите только корректный JSON и ничего больше."

Ну и там такого очень много.

Увязка с продуктами, а не только с чатом, может раздувать системный промпт.

Если вам не лень, по почитайте скрины тут:
x.com
И поиском по твиттору

@cgevent

_______
Источник | #cgevent
@F_S_C_P

-------
Секретики!
-------

Я много писал про OmniGen. Это как бы новая архитектура для генерации картинок.
Но это не совсем генератор. Это скорее нейроредактор уже имеющихся изображений.

А теперь внимание.
Есть такая Stable Diffusion Based модель - Pony.
Ну это как бы царь (или царица) в области генерации NSFW.
Так вот, автор Пони сейчас файнтюнит Omnigen (на датасетах из Пони), чтобы можно было редактировать эти веселые картинки в соответствии с вашими фантазиями. Промптами. Поглядите мой пост на предмет таких промптов.

Вы представляете, что это будет за комбайн?

И называться все это будет PomniGen!

Как пишет автор Пони: generate with Pony V7 and edit with (p)omnigen.

_______
Источник | #cgevent
@F_S_C_P

Узнай судьбу картами Таро:
✨Anna Taro bot

Мнемонад. https://t.iss.one/cgevent/10122

Вот держите еще один ИИ-фильм, который навыигрывал тучу призов.

Да, тут наверное один из лучших ии-липсинков на планете и сделано все очень добротно.

Я не люблю постить работы без пайплайнов или истории их изготовления, поэтому вот вам описание того, как это было сделано и какие кнопачки надо нажимать в Клинге, Рунвее и Премьере, чтобы помучиться и получить желаемое.

А я понял, что мне это все напоминает.

Это как бы прошаренные превизы. Анимированные раскадровки на стероидах. Нейрочерновики.

Прогуглите, что такое превизы, кто не в курсе. Есть целые компании типа Third Flow, которые занимаются только превизами.

Так вот, я смотрю на эти ИИ-фильмы и вижу, что глаза глядят не туда, что ножки проскальзывают, что эмоции не соответствуют моменту - но я В ПРИНЦИПЕ понимаю, что хотел сказать автор, какую историю он хочет рассказать, какая идея стоит за этим неуклюжими сценами. Среди которых могут быть просто гениальные 2-5 секундные шоты, но в целом - это красочный, но неуклюжий превиз. Только в превизе всегда есть контроль камеры, а тут нет. За камерой сидит нейросеть на ИИ-грибах.

Поэтому я честно считываю все эти истории, как будто листаю сценарий с картинками. Но в сторителлинг это не складывается до конца. Это сторителлинг на пальцах. На ИИ-пальцах.

Самые убойные результаты нам пока демонстрирует video2video. Да потому-то на входе - кожаное видео. Снятое ручками. Родовой контролНет, так сказать.

Давайте я доверну мысль из предыдущего поста, а то поздно, дед забыл принять таблетки и лыко вяжет плохо.
Вот смотрите, есть всякие I2P адаптеры, ну или можно просто скормить в chatGPT картинку и сказать, сделай мне детальный промпт, чтобы сгенерить похожее. Он сделает.

А теперь представьте, что вы ему даете на вхот 10-минутное видео и говорите, а сделай, дружок, промптик, чтобы сгенерить похожее видео. Как будет выглядеть этот промпт.

Вы наверное ему даже референсов можете приподнаподсовывать (image2video), но все равно, размером с какую планету будет промпт для генерации 10-минутного видео с рассказом истории по референсам?

Это я к тому, что у видео измерений не два(x,y) плюс время(t), а сильно больше. И все они участвуют в сторителлинге.
Это у комиксов x,y и t.
И у мемных видосов со взрывом мозгов или сплющиванием объектов.

_______
Источник | #cgevent
@F_S_C_P

Стань спонсором!

А почему все молчат? https://t.iss.one/cgevent/10127

FLUX1.1 [pro] Ultra and Raw Modes

В четыре раза большее разрешение при том же времени генерации.

Raw Mode - cуперфотореализьм.

Уже завезли в Krea.ai

И на репликейт
replicate.com

И на фал
https://fal.ai/models/fal-ai/flux-pro/v1.1-ultra

Новость:
blackforestlabs.ai

@cgevent

_______
Источник | #cgevent
@F_S_C_P

Стань спонсором!

Вот вы видели новые варианты управления камерой в Runway.

В опенсорсных моделях это будет появляться в виде контролНетов и Лор. И это будет не то чтобы недружелюбно.
Это будет просто зоопарк.

На видео пример работы, внимание, "DimensionX left orbit Lora" для CogVideo.
Лора для поворота налево.

Выглядит круто, особенно для опенсорсного генератора.

Но просто представьте как вы втыкаете очередную лору в CogVideo Lora node в Комфи, чтобы пошевелить ушами.

И во что все это превращается.

Я уже давно ною про вопросы управляемости видео-генерациями, но похоже пока ничего лучше чем video2video, где на входе кожаное видео не придумали.

А кожаное видео, зараза, надо уметь снимать. И кожаные нужны для него тоже, если это не котики.

Все, нейродед проворчался.

Лору, кстати, можете забрать тут

@cgevent

_______
Источник | #cgevent
@F_S_C_P

Стань спонсором!

Нейропроцедурное моделирование

Наткнулся на видео от Pepe Buendia по процедурным городам в Гудини.

Ну, честно говоря, Миха Лёсин показывал такое на CG EVENT еще в 2007 году, но это не так важно.

А важно то, что весь этот наш GenAI выдает нам, как правило, пиксели и видосы. Финальный материал.

И мы потом такие, контролНет, инпайнт, все дела, чтобы снова попасть в финальный материал, то есть в пиксели.

А что если хочется сказать: а сгенери сцену в Гудини, чтобы сделать вот такой вот город-сад (напихать референсов), выведи рульки наружу (как положено в Гудини) и сохрани ея для меня.

Если свести это к метазадаче: а сгенери мне код для (нужное подчеркнуть), который дает вот такую картинку. Но это уже совсем нобелевка.

Народ пока лепит 3Д генераторы, но на выходе - нередактируемая хтонь.

А хочется на выходе иметь не пихсели или вертексы, а рульки и педальки. Как результат работы ИИ. Чтобы можно было докручивать.

Уже писал, что встречал подобное только у Влада в www.tech-va.com
где нейросетки на выходе выдают рульки и параметры для Нюка.

Понятно, что можно сказать, дай мне код на питоне, чтобы в блендоре сделать кубик.

Также видел поделки на базе Daz3D, но там они просто по тегам таскают персонажей из библиотеки.

А хочется на вход промпт и картинку как референс, а на выходе Geometry Nodes, например.
Или ноды для TouchDesigner.

Ну или частный случай: на входе портрет из флюкса, на выходе - ползунки для метахьюмана. Можно же натренить?

@cgevent

_______
Источник | #cgevent
@F_S_C_P

Стань спонсором!

Так, потерпите, меня пробило на грибы и Runway.

Я щас доберусь до видеогенератров, но вот вам еще один очень классный пример, похожий на предыдущий о том, как вытаскивать 3Д мир из любой картинки, уже не имея никакой болванки в блендоре.

Берете в Runway Image2Video.
Просто используете новые управлялки из Runway, чтобы сделать видео облетов "внутри" картинки.
Используете эти видео чтобы собрать трехмерную сцену из Гауссианов в Unity Gaussian BOX Splatting.
А дальше вы уже в 3Д и просто светите сцену с помощью Custom URP Lit 6 ways Shader.

Еще раз - на входе картинка (хоть Флюкс, хоть древний Мидж) - на выходе вы бродите в Юнити по этой картинке внутри!

Шел 2024 год. Люди массово переселялись в картинки.
Сорс.

@cgevent

_______
Источник | #cgevent
@F_S_C_P

Узнай судьбу картами Таро:
✨Anna Taro bot

Так, а теперь завершаем 2D->3D марафон и складываем все в одну коробочку. https://t.iss.one/cgevent/10253

Вчера постил благую весть, о том, что CogVideo 1.5 завезли в Комфи, перебрав все косточки по дороге.
Приводил пример видео генерации с лорой на движение камеры от автора интеграции.
А сегодня смышленые парни уже берут такие генерации кормят их в postshot и получают метаверсик этого сгенеренного мира. Пример нечищеный, как есть.

И да, это 3dgs - гауссианы, полученные из postshot.

Кто не знает про postshot - глядите сюда www.jawset.com (надо немного знать 3Д).

А я проматываю на пару лет вперед и вижу то самое королевство кривых зеркал (может и прямых, кстати).

Вы силой мысли(или дрожащим голосом) генерите любую влажную картинку из ваших фантазий, а потом просто заныриваете в нее. Ибо мир уже готов, гауссианы ждут вас в свои объятия. Хотя через пару лет это уже будут наверное нано-латентные-пиксели, учитывающие вашу биохимию.

А если отставить нейродедовский юмор, то Midjourney как раз что-то лопотали про это на своих Open Hours. Писал об это тут.

Ох, куда катится мир... в какие картинки.


_______
Источник | #cgevent
@F_S_C_P

Узнай судьбу картами Таро:
✨Anna Taro bot