Китайская компания 4DV AI, показала проект, который позволяет превращать обычные видео в интерактивную 3D-сцену — с возможностью крутить камеру, приближать и менять ракурс.

🔍 Как это работает:
Видео разбивается на облако точек — сплаты, каждая с цветом, формой и позицией в 3D.

Потом эти точки собираются заново — уже под нужным углом.

Получается как будто ты находишься внутри сцены и можешь смотреть на неё с любой стороны.

🔜 Всё это происходит в реальном времени, как в игровом движке. Качество впечатляет: примерно на 2.4dB лучше (Peak Signal-to-Noise Ratio), чем предыдущий метод (4DGS) и выдает — до 467 FPS на RTX 4090.

🎧 Звук синхронизируется, так что ощущается реалистично.

📹 Можно покрутить и посмотреть демки в браузере👇
https://www.4dv.ai/viewer/salmon_10s

🌟 Проект: https://zju3dv.github.io/freetimegs/

@ai_machinelearning_big_data


#AI #4DV #GaussianSplatting #3Dvideo #NeRF