Вчера ещё зарелизили генерацию видео от Luma - очень достойный результат. Но кода или тех-репорта не будет, так как это сугубо продукт.

Я сделал для вас генерации с теми же промптами, что и Kling в предыдущем посте. А последние 3 видео - это черипики из твиттера, где на вход подавалось фото.

Мое комментарии по результатам:
- Генерит все также по 5 секунд, время генерации одного клипа сравнимо с Kling.
- Эстетическое качество хуже чем в Kling (если судить по первым попыткам). Однако гораздо больше движения в кадре, хоть оно иногда и не имеет смысла, как в случае с пандой или человеком, который должен был менять колесо в машине.
- Если же на вход подается первый кадр + промт, то результаты выходят заметно лучше. Можно прям классные ролиик создавать, генеря ключевые кадры с помощью MJ. Но опять же, видосы из твиттора сделаны не за одну попытку и требуют промпт инжениринга.

Еще видосы по похожим промптам есть у Саши в канале: пост.

Вы может потестить Luma сами, без вейтлиста: lumalabs.ai/dream-machine

@ai_newz

Follow-Your-Emoji:Fine-Controllable and Expressive Freestyle Portrait Animation

Тут завезли нормальный липсинк. Follow Your Emoji берет на вход видео с вашими кривляньями, переводит их в последовательность фреймов с лендмарками, а затем использует их чтобы драйвить входное фото. Это controlnet для лица на стеройдах, который очень хорошо сохраняет личность на входном фото. Все на базе SD.

Вышло настолько хорошо, что методу под силу не просто рот вовремя открывать, но и глаза косить, смеяться (и чихать, я думаю, тоже) см. примеры, авторы там знатно поиздевались над своим творением.

Код вроде как должны выложить, на project page уже есть ссылка, но пока в никуда.
Еще есть бумага.

@ai_newz