🆕 Обновления видеогенератора KLING - синхронизации губ и API. Как сделать липсинк в KLING. Советы по взаимодействию и ограничения

Kling - китайский аналог 📱 Sora. Однако сейчас заметна тенденция перещеголять Runway. Сами посудите:

🔴 Как и Runway GEN-2 встроили инструмент Motion Brush для движения отдельных объектов в свою модель KLING 1.0. В KLING 1.5. пока такой функции нет, как и в новом GEN-3.

🟡 KLING так же как и Runway сделали доступным API.

🟣 Скоро в KLING добавят ИИ редактор видео, и будет вообще китайский конкурент Runway. Итак, остановимся на обновлениях.

1️⃣ Новые обновления Kling:

Новая функция синхронизации губ
Встроенная функция синхронизации губ создает невероятно естественный эффект при загрузке закадрового голоса или песен, создавая впечатление, что персонаж действительно говорит или поет.

Как работает липсинк в Kling 🔡

🌸 Генерируете видео в Kling или можно использовать ранее сгенерированное видео в Своем профиле (а то я до сих пор жду, когда мое видео обработается) 

🌸 Выбираете видео и под ним нажимаете кнопку «Match Mouth Type»

🌸 Загружаете аудио - можно песню и Kling AI подгонит движение губ.

🌸

Советы по взаимодействию и ограничения

:

🔴

Работает в версиях

Kling 1.0

и

Kling 1.5

🟡

Подходит для говорящих персонажей и для песен

🟣

Не работает липсинк понятное дело там, где нет лица, например

Дарт Вейдер

, или на животных. Еще если отсутствует постоянно видимое лицо, или лицо часто уходит с экрана.

Однозначно классно, что теперь на одной платформе можно сгенерить видео хорошего качества и там же озвучить его

🆒 Новый раздел «Сообщество

На официальном сайте появился новый раздел «Сообщество». Там можно делиться своими творениями, и одна работа может принести до 666 бесплатных кредитов.

3️⃣ API сервисы доступны всем пользователям

Вслед за Luma и Runway, API KLING теперь доступен без списка ожидания! Через API теперь можно получить доступ к генерации видео, изображений, и виртуальной примерочной Virtual Try-on.

Я решила сгенерировать видео в бесплатной версии KLING 1.0, но, к сожалению, мой ролик до сих пор обрабатывается (видно на скрине), а видео, что у меня были, не подходят для липсинка - лицо постоянно двигается

🔄 UPD: Пока у меня был баг с Телеграмом, и ничего не грузилось, прошло 1,5 часа, изменений никаких. Поэтому любителям бесплатных тарифов, как я, придется запастись терпением. Или посмотреть примеры и подробнее ознакомиться с обновлениями можете здесь. А свой результат, я надеюсь, дождусь и поделюсь им позже.

НейроProfit

#видеогенераторы #нейросеть #видео #нейросетьдлявидео #kling #runway #видеогенератор #luma #motionbrush #runway #обзор