[PYTHON:TODAY]

💀

Раньше в ботофермах использовали настоящие смартфоны, теперь только ИИ

С добрым утром 🫡

Please open Telegram to view this post

🔥43🤯23👍5❤4

8.77K views04:38

🔥

Нейронка, которая превращает обычные фотографии в 3D-сцену за считанные секунды

VGGT (Visual Geometry Grounded Transformer) — open-source модель, способная восстановить геометрию реального пространства по одной, нескольким или даже сотням фотографий.

Загружаем снимки объекта, комнаты, здания или локации — VGGT может определить:

🔣

положение и параметры камер;

🔣

карты глубины — Depth Maps;

🔣

3D Point Maps;
🔣 соответствующие 3D-точки между разными кадрами.

Есть готовая визуализация через Gradio и Viser, а результат можно экспортировать в COLMAP и дальше использовать, например, в пайплайнах NeRF / Gaussian Splatting.

⚙️

Установка:


git clone [email protected]:facebookresearch/vggt.git
cd vggt
pip install -r requirements.txt

▶️

Пример запуска:


import torch

from vggt.models.vggt import VGGT
from vggt.utils.load_fn import load_and_preprocess_images

device = "cuda" if torch.cuda.is_available() else "cpu"

# bfloat16 поддерживается на Ampere GPU
# с Compute Capability 8.0+
dtype = (
    torch.bfloat16
    if torch.cuda.get_device_capability()[0] >= 8
    else torch.float16
)

# Загружаем модель.
# При первом запуске веса автоматически
# скачаются с Hugging Face.
model = VGGT.from_pretrained(
    "facebook/VGGT-1B"
).to(device)

# Указываем собственные фотографии
image_names = [
    "path/to/imageA.png",
    "path/to/imageB.png",
    "path/to/imageC.png",
]

images = load_and_preprocess_images(
    image_names
).to(device)

with torch.no_grad():
    with torch.cuda.amp.autocast(dtype=dtype):

        # Получаем камеры, depth maps,
        # point maps и другие предсказания
        predictions = model(images)

👨‍💻

Хотим не возиться с кодом?

Ставим зависимости для готового интерфейса:


pip install -r requirements_demo.txt

И запускаем Gradio:


python demo_gradio.py

Открывается веб-интерфейс, куда можно загружать изображения или видео, запускать реконструкцию и интерактивно рассматривать полученную 3D-сцену прямо в браузере.

Есть и отдельный 3D-viewer:


python demo_viser.py \
  --image_folder path/to/your/images/folder

А если нужен результат для дальнейшей работы в 3D, VGGT умеет экспортировать реконструкцию непосредственно в COLMAP:


python demo_colmap.py \
  --scene_dir=/YOUR/SCENE_DIR/

После обработки получаем параметры камер и 3D-точки в каталоге sparse, которые можно использовать дальше в соответствующих 3D-пайплайнах.

Очень мощная штука для Computer Vision, 3D, робототехники, AR/VR и Gaussian Splatting.

♎️

Пробуем

#python #soft #github

Please open Telegram to view this post