Потестили свежие модели генераторов видео и единственное, что сейчас работает более менее, это COG. 🐔

Остальные модели генерят - че попало.

В нем нельзя привязать миллион настроек, но это бесплатно и рендерит 5 секунд с разрешением в 762px на 432px. Рендерит примерно за 2-3 минуты на RTX 4080. После 3-4 генераций кеш забивается на столько, что нужно перезагружать комп.

Но пацаны у себя генерят на RTX 3070 за 5-6 минут.

🔩 Пайплайн такой:

Загружаете отснятое видео в воркфлоу COG на ComfyUI, модель генерит глубину с каждого кадра и по этой глубине - начинает генерить промпт который вы написали. Грубо говоря)

Можно выводить Canny (линии) и делать по ним, в место глубины. Но вот вместе они не работают пока.

Но для качества нужно пройтись апскейлером и еще тонну пост-обработки в AE. То фон плывет, то пальцы мажет. Лица вообще пока до свидания. Поэтому тут больше композ учить надо, нежели нейронки) Но я для видоса заморочусь, самому интересно))

Ну и опять же, то что вы видите у Ранвея, Соры и т.д. - это очень мощные сервера. Через которые прогоняются ваши запросы. У вас таких серверов дома нет. Как и ни у кого кроме крупных компаний.

Контролировать изображение в этих сервисах невозможно от слова - СОВСЕМ. Вы в каждом кадре будете получать другое изображение.

Если на посте хорошенько поковыряться (особенно имея Depth of field), можно сделать что-то оч веселенькое)) Для короткометражек, особенно для пре-продакшена начинает помогать.

💻P.S. Если интересно как делать, кидайте голоса на премку, чтобы можно было анимированный 💩 ставить под постом( 😂

Ну и урок запишу с воркфлоу на канал)