🌟 DG-Mesh: Построение высококачественных полигональных сеток из монокулярного видео.

DG-Mesh реконструирует высококачественную динамическую 3D-сетку с согласованными вершинами из монокулярного видео. В пайплайне используются 3D-гауссовы всплески для представления динамических сцен и дифференцируемые алгоритмы для построения полигонов.

DG-Mesh позволяет отслеживать движение вершин, упрощая текстурирование динамических объектов.
Метод эффективно использует память и полностью дифференцируем, что позволяет выполнять оптимизацию 3D-сетки целевого объекта напрямую.

В репозитории на Github представлен код для локальной тренировки с использованием датасетов:

- D-NeRF
- DG-Mesh
- NeuralActor
- Кастомный датасет, снятый на Iphone 14 Pro и обработанный в Record3D, RealityCheck и маскированный в DEVA.

🖥 Локальный запуск:

conda create -n dg-mesh python=3.9
conda activate dg-mesh
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

# Install nvdiffrast
pip install git+https://github.com/NVlabs/tiny-cuda-nn#subdirectory=bindings/torch
pip install git+https://github.com/NVlabs/nvdiffrast/

# Install pytorch3d
export FORCE_CUDA=1
conda install -c fvcore -c iopath -c conda-forge fvcore iopath -y
pip install "git+https://github.com/facebookresearch/pytorch3d.git"

# Clone this repository
git clone https://github.com/Isabella98Liu/DG-Mesh.git
cd DG-Mesh

# Install submodules
pip install dgmesh/submodules/diff-gaussian-rasterization
pip install dgmesh/submodules/simple-knn

# Install other dependencies
pip install -r requirements.txt

🟡 Страница проекта
🖥 GitHub [ Stars: 234 | Issues: 6 | Forks: 2 ]
🟡 Arxiv

@ai_machinelearning_big_data

#Video2Mesh #3D #ML #NeRF

Китайская компания 4DV AI, показала проект, который позволяет превращать обычные видео в интерактивную 3D-сцену — с возможностью крутить камеру, приближать и менять ракурс.

🔍 Как это работает:
Видео разбивается на облако точек — сплаты, каждая с цветом, формой и позицией в 3D.

Потом эти точки собираются заново — уже под нужным углом.

Получается как будто ты находишься внутри сцены и можешь смотреть на неё с любой стороны.

🔜 Всё это происходит в реальном времени, как в игровом движке. Качество впечатляет: примерно на 2.4dB лучше (Peak Signal-to-Noise Ratio), чем предыдущий метод (4DGS) и выдает — до 467 FPS на RTX 4090.

🎧 Звук синхронизируется, так что ощущается реалистично.

📹 Можно покрутить и посмотреть демки в браузере👇
https://www.4dv.ai/viewer/salmon_10s

🌟 Проект: https://zju3dv.github.io/freetimegs/

@ai_machinelearning_big_data


#AI #4DV #GaussianSplatting #3Dvideo #NeRF