Всем привет!

Сегодня и завтра я на конференции CodeFest в Новосибирске, завтра поделюсь со слушателями в треке AI про способы расширения возможностей LLM в сторону понимания других типов данных, типа картинок, видео и др.

Конфа очень бодрая, организаторы молодцы, собрали крутых спикеров со всей России! Конечно, джетлаг с Мск в +4 часа не супер комфортно, но есть ребята, кто прилетел из -5))

Много стендов, активностей от разных компаний, подробнее расскажу про самые интересные сегодня и завтра👨‍💻

⚡️Сегодня мы выпустили обновлённую версию Kandinsky Video 1.1 в публичный доступ

Основные изменения коснулись качества генерации (поработали с самим пайплайном синтеза, улучшили латентный декодер, использовали значительно бОльший сет на обучении) и, конечно, скорости - видео длиной 5 секунд генерируется примерно за 1.5 минуты (это если без очереди) с FPS=30.

📖 Детали по классике в Хабре
🛜 Ссылки собрали на Project Page
🤖 Бот в телеграмм теперь и с видео

@complete_ai

На днях вышла очередная модель Luma - “убийца” Sora (модель от Open AI, которая генерирует фантастические по качеству видео по тексту)

С учётом наплыва активности на новый сервис, запустив генерацию вчера в районе 21, где-то под утро видео-таки сгенерировалось (довольно хорошее качество, кадры хорошо согласуются друг с другом, движения плавные).

Почитал про команду: изрядный штат ребят с большим опытом в 3D. Вот первая фамилия в команде
https://yoopaul.github.io/

Ну и остальные далее тоже ребята с авторством в статьях по NERF и прочему
https://lumalabs.ai/team

На мой взгляд вновь подтверждается, что то, что мы называем «видео» - это на самом деле основано на огромных массивах рендерингов сцен.

Snap, кстати, на днях выпустили статью про синтез 4D сцен на базе диффузионных моделей генерации видео (сначала синтезируются ролики text-to-video моделью, а далее каждый кадр фиксируется и создаются «пролёты» на базе гауссова сплаттинга)