Дубляж с липсинком

Поглядите это двухминутное видео, чтобы оценить, как теперь работает дубляж с помощью липсинка от sync.so

Новый язык озвучки теперь попадает в губы.

В принципе sync.so и раньше умел модифицировать движение губ под нужный аудио-файл, просто теперь они прикрутили сюда перевод и войсклонинг. Получилась студия дубляжа с липсинком.

Интересно, что пример на среднем плане, нужно смотреть, что будет на крупняках.

Цены, как всегда, конские. Но это, похоже, лучший липсинкер на рынке.

https://sync.so/pricing

@cgevent

Умная колонка на стероидах, которую мы заслужили.

Китайцы сделали вот такую умную голову.

Кринж в том, что это просто говорящая голова, которая ставится на стол и общается с вами.
200(!) микровыражений лица, в каждом глазу по камере, обработка целиком на устройстве (не надо подключаться к облаку). От 10 до 18(!) кг (сама башка 3 кг).
И отсоединяемое лицо по частям! - можно менять скины.

В общем я не очень понимаю, чем это лучше, чем смартфон с голосовым режимом и аватаром. Меня от зловещей долины стошнит раньше, чем оно со мной заговорит.

Но.

Это же идеальный прототип секс-игрушек нового типа. До полноростовых робатов еще далеко и дорого. А тут немного модификаций и готово.

Они еще и поговорить с вами смогут.

@cgevent

#Нейропрожарка

“Перед рассветом”

Я режиссёр Антон Зимин сейчас работаю над полнометражным фильмом “Перед рассветом”, исторической драмой об этом святом - Сергии Радонежском.

Я родился в Сергиевом Посаде, и история о человеке, который пришёл в лес, создал обитель, вокруг которой вырос город, всегда меня завораживала. На самом деле Сергий сделал больше, он стал точкой, вокруг которой начал собираться народ.

Мой фильм о моменте в истории, когда люди перестают верить, что могут быть единым народом, и о человеке, который возвращает им эту веру.

В XIV веке на Руси уже не верили, что можно избавиться от монголо-татарского ига. Междоусобицы, эпидемии, поборы Орды, голод и лишения - из сознания людей начало исчезать само понятие единого русского народа. Это были тёмные времена - настоящая ночь Руси.
Именно Сергий Радонежский помог обрести эту веру. Благодаря своему жизненному пути и деяниям он стал самым почитаемым игуменом своего времени.
Его благословение Дмитрия на битву с Ордой сделало сопротивление общим делом всего народа.
После Куликовской битвы наши предки впервые поверили, что могут объединиться и противостоять общему врагу.
Так на горизонте русской истории загорелись первые предвестники рассвета.

Сейчас я развиваю проект и работаю над ним в формате AI-видео, это позволяет уже сейчас прорабатывать сцены, визуальный язык и ритм будущего фильма.

Проект находится в активной разработке и открыт для партнёрства, в том числе для привлечения инвестиций в полнометражную съёмочную версию.

Тизер сделан с помощью Nana Banan Pro и Kling 3.0. Мне удалось добиться высокой реалистичности игры актеров с помощью использования метода Станиславского в промптах.
Подробнее о методе Станиславского в ИИ-видео у меня в канале @aizproduction
Закадровый голос - пока здесь самое слабое место). Мне нужна была особая ритмика, поэтому я записал себя и изменил с помощью ИИ, но дефекты речи остались. Интонация получилась именно та, что мне нужна, но произношение пока грязновато.

@cgevent

Игровой нейрорендеринг от Roblox

Тут Roblox бахнул очень интересный пресс-релиз о своих будущих планах. Много слов, но я для вас выкусил суть.

Если в одном предложении: видеомодель Roblox Upsampler принимает на вход черновой рендер (и разную информацию типа глубины, 3д и меты) от их традиционного игрового движка и нейрорендерит это на их же серверах, а потом доставляет видеопоток на клиентов.

Вообще-то говоря звучит как план для любого игрового движка.

Дальше обсудим разные моменты для тех, кто не обессилен чтением двух абзацев. Описание того, что происходит на видео также внизу.

1. Модели мира сами по себе не могут обеспечить масштабный и стабильный многопользовательский опыт. Хотя генераторы миров впечатляют во многих отношениях, они терпят неудачу во многих критически важных областях. К ним относятся согласованность во времени в рамках одной сессии, долговременная память между сессиями, задержка и тонкий контроль со стороны создателя. Менее очевидные недостатки проявляются, когда речь заходит о стабильной симуляции многопользовательского режима, требовательном соревновательном геймплее, высокоинтеллектуальных NPC, тестировании и постепенном совершенствовании.

2. Иначе говоря: модель мира не есть игровой движок. И Роблокс предлагает гибридный подход - Roblox Reality, который сочетает в себе игровой движок Roblox, облачную платформу Roblox и модель видеомира Roblox Super Upsampler.

3. Игровой движок Roblox обрабатывает структурированные и логические аспекты мира, обеспечивая стабильную долговременную память, символическую логику и повторяемую симуляцию. Основное движение объектов управляется в движке, например, местоположение и скорость автомобиля, его колеса, амортизаторы и рулевое управление. На основе этого, модель видеомира добавляет дополнительные визуальные и генеративные компоненты, такие как капли воды, стекающие по лобовому стеклу, и шелест листьев, когда автомобиль проносится мимо. Такой подход позволяет игровому движку поддерживать модель данных (общее и согласованное состояние), в то время как модель видеомира генерирует пиксели (визуальную составляющую).

А теперь самое интересное. Генератор мира, он же нейрорендер, будет крутиться в облаке Роблокса на картах H200\B200.
Причем они целятся 2К 60fps - не очень понимаю, как будут достигать такой скорости просчета (пусть даже в облаке) и такой скорости доставки пикселей по сети.

Вишенка на торте: на клиенте планируют нейрорендер крупных планов - опционально накладывать локально отрендеренный аватар с увеличенным разрешением для поддержания очень низкой задержки при действиях на переднем плане.

Теперь, что на видео.
1. Нынещний рендер в роблоксе.
2. Справа вверху. То, что будет поступать на вход видеомодели. 3Д и превиз.
3. То, что у них есть сейчас. Нейрорендер, но не в реалтайме.
4. Куда они целятся.

Качество тут:
https://youtu.be/A60n4O5k8XI

В общем хороший манифест и протокол о намерениях.

От себя добавлю, что они напирают на фотореализьм, но нейрорендер может делать любые визуальные "скины" для игровой картинки. Хоть в аниме, хоть в пиксельарт. И это круто.

Оcталось достичь 2К в 60fps

https://about.roblox.com/newsroom/2026/04/roblox-reality-hybrid-architecture-democratizing-photorealistic-multiplayer-gaming

Когда? Конец года...

@cgevent

Блендор, как генератор 3Д-миров.

Ну хорошо, пока только пончиковых миров, но зато в честном 3Д без всяких бесовских сплатов и кашеобразных мешей.

Новый коннектор Клода к Блендору: на вход подаете картинку пончика, дальше Клодский все делает сам, включая попадание в цвет и свет(!), глазурь и вот эту вот присыпку.

Ну, за 3Д-шников.

@cgevent

Для гиков: LTX2.3 VR-Outpaint IC-LoRA

Это 360° video outpainting LoRA - на входе обычное видео, на выходе VR-ready equirectangular video.

Лора и форкфлоу тут:
https://huggingface.co/TheBurgstall/VR-360-Outpaint-LTX2.3-IC-LoRA
Комфи нода:
https://github.com/Burgstall-labs/ComfyUI-EquirectProjector

@cgevent

Визуальное тестирование генераторов миров

Неделя сплатов получается...

Одна и та же картинка из chatGpt Image 2 кормится на вход в три разных генератора.

Получается:

WorldLabs - Marble 1.1 [1.9 Million Splats]

Tencent - HY World 2.0 [0.5 Million Splats]

SpAItial - Echo 2 [2.2 Million Splats]

Результат(мир) засовывается в приложение AirVis. Оно есть и на телефонах, и на маке, и даже на Meta Quest.

Поглядите, на видео сначала тест на маке, а потом в Квесте.

Кто круче?

@cgevent

#Нейропрожарка

Трейлер несуществующей пока экранизации книги "На пороге Тьмы" Андрея Круза.

Автор: Саянов Евгений.

Цель: показать завязку истории приключений Владимира Бирюкова (ГГ), состоящую из набора сцен с ключевыми героями.

Срок: полгода (работал редкими наскоками в свободное время, поэтому этот срок - не показатель).

Инструменты:
Референсы - НаноБанана
Видео - Вео 3.1
Озвучка - Luvvoice
Фоновая музыка и песня (в финальных кадрах) - Суно
Монтировал в КапКате
Потратился (1000 руб) только на покупку студенческого аккаунта Гугл, где дается лимитированный по количеству генераций (в сутки, в месяц) доступ к инструментам Гугла.

@cgevent

Вышел Grok 4.3

И, конечно, сразу нашлись бенчмарки, где он побивает всех и вся.

Уже есть на OpenRouter:
https://openrouter.ai/x-ai/grok-4.3

Цены: $1.25 за 1 млн input tokens и $2.50 за 1 млн output

Но самое интересное - это Grok Imagine Agents..

@cgevent

Ну и в самом Grok Imagine постоянно идут внутренние апдейты.

Приподкрутили липсинк и работу со звуком.

@cgevent

Агенты, Grok, Higgsfield и Timeline

Упомянув новых агентов в Grok Imagine, грех не упомянуть Higgsfield, которые в принципе строят то же самое - единое пространство, в котором можно собирать контент. При этом без привязки к конкретным моделям.

На днях они бахнули обновление - нодовый интерфейс для сборки. И тоже агентский подход - типа сделай мне красиво и быстро - сам внутри порешай, что да как.

Но вот что мне интересно.

В такие подходы плохо вписывается Timeline.

Все эти "продолжи видео", или "тут бежим, тут лежим, тут отлетаем дроном" предполагают, что ИИ сам монтирует видео.

Поэтому, насколько мне известно, Хиггсы, например, не планируют внедрять Timeline.

В Гугле (Flow) и в почившей Соре это(таймлайн) было невыносимо убого.

В Гроке я увидел мельком монтажную линию, но, похоже, не для монтажа, а для оценки того, где какой клип располагается.

И весь это агентский поход предполагает, что монтаж - на стороне ИИ.

В принципе новому нормальному пользователю этого достаточно - не нужно изучать непростое искусство монтажа.

Старому нормальному - можно втащить генерации в премьер или резолв - но тут окажется, что надо править чужой монтаж, что не очень-то и то комфортно.

В общем, похоже, что монтаж из финального этапа превратится в набор "пожеланий" на начальном этапе и будет отдан на откуп ИИ.

При этом я видел много не взлетевших стартапов по ИИ-монтажу. Типа грузишь туда черновой материал, а ИИ это режет, чтобы было "красиво". Ни один не выстрелил. Не умеет ИИ (пока) в монтаж, как в финальный этап.

Так что может быть нас ждет будущее без таймлайна. ИИ все решит за нас "под капотом".

Дисклаймер. Я тут больше имею в виде не клиповый или рекламный монтаж (тут ИИ уже справляецца), а именно сторителлинг.

@cgevent

Гемини теперь умеет генерить разные типы файлов.

Тут они в роли догоняющего, Клод давно так умеет.

Теперь можно просить Gemini сгенерить Workspace files (Docs, Sheets and Slides), .pdf, .docx, .xlsx, .csv, LaTeX, Plain Text (TXT), Rich Text Format (RTF) and Markdown (MD).

Я попросил его сгенерить Эксель с диаграммой, он справился.

Потом попросил отредактировать PDF, но тут он начал отчаянно тупить. С пятого раза отдал мне ссылку на скачивание, долго отнекивался. Не смог сохранить одну из картинок внутри документа.

Похоже это скорее генерация документов, чем редактирование.

https://blog.google/innovation-and-ai/products/gemini-app/generate-files-in-gemini/

@cgevent