🌟 GeoWizard — новая модель для оценки 3D-параметров изображений

GeoWizard — генеративная модель, использующая алгоритмы построения гарт глубины и нормалей одновременно. Во время логического вывода GeoWizard совместно генерирует высококачественные изображения глубины и нормальности, учитывая композицию изображения.

Модель использует алгоритм BiNI для восстановления 3D-сетки на основе предполагаемой карты нормалей, что значительно облегчит применение модели на методах 3D-реконструкции.

git clone [email protected]:fuxiao0719/GeoWizard.git


cd

GeoWizard
conda create -n geowizard python

=

3.9


conda activate geowizard
pip install -r requirements.txt


cd

geowizard

🟡 Страничка GeoWizard
🖥 GitHub [ Stars: 573 | Issues: 1 |Forks: 23 ]
🟡 Hugging Face
🟡 Arxiv

@ai_machinelearning_big_data

#Normal #3D #Depthmap #Generative #Ai

🌟 DG-Mesh: Построение высококачественных полигональных сеток из монокулярного видео.

DG-Mesh реконструирует высококачественную динамическую 3D-сетку с согласованными вершинами из монокулярного видео. В пайплайне используются 3D-гауссовы всплески для представления динамических сцен и дифференцируемые алгоритмы для построения полигонов.

DG-Mesh позволяет отслеживать движение вершин, упрощая текстурирование динамических объектов.
Метод эффективно использует память и полностью дифференцируем, что позволяет выполнять оптимизацию 3D-сетки целевого объекта напрямую.

В репозитории на Github представлен код для локальной тренировки с использованием датасетов:

- D-NeRF
- DG-Mesh
- NeuralActor
- Кастомный датасет, снятый на Iphone 14 Pro и обработанный в Record3D, RealityCheck и маскированный в DEVA.

🖥 Локальный запуск:

conda create -n dg-mesh python=3.9
conda activate dg-mesh
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

# Install nvdiffrast
pip install git+https://github.com/NVlabs/tiny-cuda-nn#subdirectory=bindings/torch
pip install git+https://github.com/NVlabs/nvdiffrast/

# Install pytorch3d
export FORCE_CUDA=1
conda install -c fvcore -c iopath -c conda-forge fvcore iopath -y
pip install "git+https://github.com/facebookresearch/pytorch3d.git"

# Clone this repository
git clone https://github.com/Isabella98Liu/DG-Mesh.git
cd DG-Mesh

# Install submodules
pip install dgmesh/submodules/diff-gaussian-rasterization
pip install dgmesh/submodules/simple-knn

# Install other dependencies
pip install -r requirements.txt

🟡 Страница проекта
🖥 GitHub [ Stars: 234 | Issues: 6 | Forks: 2 ]
🟡 Arxiv

@ai_machinelearning_big_data

#Video2Mesh #3D #ML #NeRF

🌟 RTMW(3D): Многообъектная 2D- и 3D-оценка позы всего тела в реальном времени.


RTMW (набор моделей оценки позы всего тела нескольких человек в реальном времени), - это серия моделей, предназначенных для решения тонкостей оценки позы всего тела.
RTMW основан на исследованиях RTMPose и включает в себя новые методы обработки информации о позе и различных частей тела.

Для решения ключевой проблемы оценки локальных областей низкого разрешения (например, стопы, кисти рук) были применены техники:
- PAFPN - пирамидальная сеть функций частичного агрегирования;
- HEM - модуль иерархического кодирования для повышения разрешения локальных участков;
- FPN - метод, улучшающий разрешение отдельных объектов за счет агрегирования функций с разных уровней сетевой пирамиды.

Таким образом, архитектура моделей RTMW состоит из принципов RTMPose и объединяет модули PAFPN и HEM и FPN. Одновременное использование этих модулей значительно повышает точность оценки позы всего тела.

Для оценки 3D позы всего тела была разработана модель RTMW3D, которая использует прогнозирование оси Z для головы декодера и устанавливает новую корневую точку для человеческого скелета.
Применение техники смещения оси упрощает процесс обучения модели и позволяет применять ее в задачах, связанных с высокой интенсивностью динамики объекта оценки, например, спортивное состязательное видео.

RTMW и RTMW3D тестировались на общедоступных наборах данных (COCO-WholeBody и H3WB) и показали хорошие результаты производительности и точности, в том числе в задаче оценки 3D поз всего тела.

🟢Модели RTMW c описанием различий, вариантами форматов и прямой загрузкой на странице проекта rtmpose
🟢Модели RTMW3D на странице проекта rtmpose3d

⚠️ Внимательно ознакомьтесь с материалами общего репозитория mmpose в ветках соответствующих проектов и документацией перед началом использования.

⚖️ Лицензирование: Apache-2.0 license

🟡Arxiv
🖥Open-Mmlab [Stars: 5.3K | Issues: 189 | Forks:1.2K ]

@ai_machinelearning_big_data

#3D #Posetracking #ML #MMPose

🌟 Simplicits: революционный подход к симуляции эластичности 3D объектов, независимый от сетки и геометрии.

Существующие инструменты для симуляции эластичных объектов часто ограничены в использовании и могут работать только с определенными типами 3D-моделей. Это создает трудности при моделировании деформации объектов разной геометрии и упругости.

Проект Simplicits предлагает сделать 3D-моделирование еще проще и универсальнее. Его главная особенность в том, что он может работать с любыми типами 3D-геометрии, выполняя моделирование изменяющихся во времени эластодинамических свойств объектов.
На вход подается 3D-модель в состоянии покоя, а на выходе получается набор данных, описывающих, как эта модель будет двигаться и деформироваться.

Метод, заложенный в Simplicits использует "функцию занятости" - математическое описание того, какие точки находятся внутри 3D-объекта, а какие снаружи. Такую функцию можно построить практически для любой 3D-модели.
Далее Simplicits применяет алгоритм линейного смешивания скиннинга (LBS). Это позволяет описать, как будет деформироваться поверхность объекта при движении. Важно, что все вычисления производятся без использования сетки из треугольников, как, например, в традиционных методах симуляции.
Вместо этого применяются спрогнозированные на основе карт деформации нейронные поля, обрабатывающие веса скиннинга для симуляции динамического движения, что делает процесс более гибким и управляемым.

Разработчики провели множество тестов Simplicits на самых разных 3D-объектах - от простых лент до сложных сцен с использованием Gaussian Splatting и NeRFs. Результаты показали, что система успешно справляется даже с объемными деформациями и множеством видов контакта поверхностей при движении, например - столкновениями объектов.

Simplicits - это важный шаг вперед в области 3D-моделирования. Он делает создание реалистичных трехмерных анимаций более доступным как для профессионалов, так и для начинающих пользователей, что предоставляет новые горизонты в таких сферах, как компьютерная графика, виртуальная реальность и компьютерные игры.

🟡 Страница проекта
🟡 Статья
🟡 Demo Видео

@ai_machinelearning_big_data

#Paper #3D #Simulation #ML

🌟 StyleSplat: стилизация 3D-объектов с помощью Gaussian Splatting

С помощью StyleSplat пользователи могут стилизовать несколько объектов в одной сцене, применяя к каждому объекту разные стили с большой точностью.
StyleSplat спроектирован так, чтобы быть легким и эффективным, при этом давая возможность контролировать масштаб шаблонов стиля, регулируя такие параметры, как размер изображения стиля или слои, используемые для извлечения объектов.

В основе проекта применяется техника, которая использует гауссово пятно для передачи стиля трехмерных объектов. Такой подход устраняет ограничения других существующих методов, предоставляя улучшенный контроль и настройку при создании 3D.

StyleSplat выполняется в три основных этапа:

1. Сегментации видео DEVA (DEVA) и Segment Anything (SAM) для получения согласованных 2D-масок по всей сцене. Эти маски обеспечивают точный выбор объекта и служат основой для последующих шагов.
2. Гауссовская группировка, в которой каждому 3D-гауссову вектору присваивается уникальный и обучаемый компактный вектор признаков.
Оптимизируя эти векторы вместе с коэффициентами сферических гармоник, выполняется уточняющая сегментация трехмерных гауссиан, что позволяет более точно выбирать объекты.
3. Перенос 3D-стиля. Это этап тонкой настройки совмещает коэффициенты сферических гармоник выбранных гауссиан с изображением эталонного стиля. Этот этап гарантирует, что будут стилизованы только выбранные объекты, а остальная часть сцены останется нетронутой.

По сравнению с аналогичным решением S2RF, StyleSplat превосходит его по точности и визуальной достоверности.
S2RF часто приводит к обесцвечиванию нецелевых областей, тогда как использование сегментированных 3D-гауссиан в StyleSplat обеспечивает точную и изолированную передачу стиля.


🟡 Страница проекта StyleSplat
🟡 Arxiv
🖥 Coming soon...

@ai_machinelearning_big_data

#3D #Gaussian #ML #Styletransfer

🌟 VGGSfM: 3D-реконструкция на основе глубокого анализа структуры в движении.

VGGSfM предлагает новый подход к процессу реконструкции трехмерной структуры сцены и положения камер по набору фотографий.

Вместо цепочки отдельных алгоритмов поиска ключевых точек, сопоставления их между кадрами, длительного восстановления положения камер относительно координат ключевых точек, была разработана модель, каждый компонент которой работает параллельным сквозным принципом.

Ключевые особенности метода:

🟢Вместо поиска соответствий между парами изображений, модель сразу отслеживает точки через все кадры последовательности.
🟢Положения всех камер оцениваются одновременно, а не последовательно.
🟢Для финальной оптимизации используется дифференцируемый слой.

В ходе тестирования при обучении особенно хорошие результаты были получены на сложных сценах с большими изменениями ракурса между кадрами. Там, где традиционные методы часто терпели неудачу, VGGSfM справлялся с задачей.

Локальная установка:

source install.sh
Локальный запуск:

# Убедитесь, что целевые изображения находятся в ВАША_ПАПКА/images, а необходимые модели скачены

python demo.py SCENE_DIR=/path_to_images resume_ckpt=/path_to_models

# Результаты реконструкции (параметры камеры и 3D-точки) будут сохранены в формате COLMAP в директории output/seq_name
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
# Визуализация
# Установите и запустите visdom

pip install visdom

pip install git+https://github.com/fossasia/visdom

visdom

# Откройте https://localhost:8097 в браузере. Затем запустите демо с флагом "visualize=True"

python demo.py SCENE_DIR=/path_to_images resume_ckpt=/path_to_models visualize=True

▶️ VGGSfM поддерживает извлечение плотных карт глубины с помощью Depth-Anything-V2 (бета):

python 
pip install scikit-learn

git clone [email protected]:DepthAnything/Depth-Anything-V2.git dependency/depth_any_v2

# Затем запустите демо с флагом "dense_depth=True"

python demo.py SCENE_DIR=/path_to_images resume_ckpt=/path_to_models dense_depth=True

▪ Страница проекта
▪Модели на HF
▪Demo
▪Github [ Stars: 529 | Issues: 16 | Forks: 33]

@ai_machinelearning_big_data

#AI #3D #Depthmap #ML #Reconstruction

🌟 InstantSplat: реконструкция больших 3D-сцен без Structure from Motion (SfM).

InstantSplat - подход к реконструкции 3D-сцены по исходным изображениям с помощью Multi-View Stereo (MVS) и 3D Gaussian Splatting (3D-GS).

Методика InstantSplat использует выборку из самых дальних точек (FPS) в каждом вокселе, чтобы сохранить только самые надежные гауссианы для построения точного представления сцены.
Одновременное уточнение гауссовых атрибутов и параметров камеры с помощью фотометрических потерь позволяет добиться высокого качества рендеринга и точной оценки положения камеры без использования Adaptive Density Control (ADC). Для решения проблемы overparameterization, присущей 3D-GS, InstantSplat применяет confidence-aware point downsampler.
Алгоритм оптимизации в InstantSplat позволяет исправлять ошибки, накопленные на этапе MVS, в результате чего получается относительно точная и плотная 3D-модель.

По сравнению с релевантными современными методами (Nope-NeRF и CF-3DGS), InstantSplat предлагает более высокое качество рендеринга, более высокую точность оценки положения камеры при низких значениях Absolute Trajectory Error (ATE) и Relative Pose Error (RPE), при этом требует меньшего количества обучающих просмотров.


▶️Локальный запуск с автозагрузкой модели на тестовом подготовленном датасете (около 8Gb) :

# Clone InstantSplat and download pre-trained model
git clone --recursive https://github.com/NVlabs/InstantSplat.git
cd InstantSplat
git submodule update --init --recursive
cd submodules/dust3r/
mkdir -p checkpoints/
wget https://download.europe.naverlabs.com/ComputerVision/DUSt3R/DUSt3R_ViTLarge_BaseDecoder_512_dpt.pth -P checkpoints/

# Install dependencies (modify CUDA version dep. of your system)
pip install pytorch torchvision pytorch-cuda=12.1 -c pytorch -c nvidia
pip install -r requirements.txt
pip install submodules/simple-knn
pip install submodules/diff-gaussian-rasterization

# modify the rasterizer
vim submodules/diff-gaussian-rasterization/cuda_rasterizer/auxiliary.h
'p_view.z <= 0.2f' -> 'p_view.z <= 0.001f' # line 154

# Optional but highly suggested, compile the cuda kernels for RoPE
cd submodules/dust3r/croco/models/curope/
python setup.py build_ext --inplace

# Data preparation OR download test pre-processed sample.
cd <data_path>

# InstantSplat train and output video (no GT reference, render by interpolation)
bash scripts/run_train_infer.sh

# InstantSplat train and evaluate (with GT reference)
bash scripts/run_train_eval.sh

📌Лицензирование : Apache 2.0 license


🟡Страница проекта
🟡Arxiv
🟡Tutorial Video
🟡Модель
🟡Demo на HF
🖥Github [ Stars: 228 | Issues: 1 | Forks: 8]


@ai_machinelearning_big_data

#AI #ML #3D #Gaussian

⚡️ Stable Fast 3D: Image-to-3D от Stability AI

Stable Fast 3D - модель и сервис, который позволяет генерировать 3D-активы из одного изображения.
Модель основана на TripoSR с значительными архитектурными улучшениями (запекание света, окрашивание вершин и marching cubes artifacts), позволяющими создавать высококачественные 3D-объекты, включая UV-развёртку, параметры материалов и альбедо с минимальным влиянием освещения.
В качестве источника используется загруженное пользователем изображение объекта, после чего модель генерирует полный 3D-объект и предлагает возможность дополнительной модификации сетки.

Stable Fast 3D доступен как для локальной установки, так и через API или с помощью он-лайн сервиса Stable Assistant.

Локальный запуск:

# Update setuptools
pip install -U setuptools==69.5.1

# For CLI-version of inference install requirements
pip install -r requirements.txt

# For Gradio UI of inference install requirements
pip install -r requirements-demo.txt

# CLI inference
python run.py demo_files/examples/chair1.png --output-dir output/

# run Gradio UI 
python gradio_app.py

📌Лицензирование :

🟢бесплатно для исследовательского, некоммерческого и коммерческого использования организациями и частными лицами, получающими годовой доход в размере до 1 млн USD;
🟠для коммерческого использования организациями и частными лицами, получающими годовой доход в размере, превышающим 1 млн USD - запрос-консультация через форму


🟡Страница проекта
🟡Tech Report
🟡Demo Video
🟡Модель на HF
🟡Demo на HF
🖥Github [ Stars: 56 | Issues: 3 | Forks: 6]


@ai_machinelearning_big_data

#AI #ML #3D #SatbilityAI

🌟 StackFLOW: Монокулярная реконструкция пары "человек-объект" с использованием многоуровневого нормализующего потока со смещениями.

Техническая реализация метода реконструкции состоит из двух фаз: моделирование пространственных отношений и реконструкция человека-объекта в моделируемом пространстве.

Кодирование пространственных отношений пары человек-объект выполняется методом "Human-Object Offset". Для каждой пары вычисляются смещения между всеми якорными точками человека и объекта.
Эти смещения позволяют захватить высоко детализированную корреляцию между частями человека и объекта, обеспечивая качественное кодирование 3D пространственных отношений между ними.

Затем выполняется монокулярная реконструкция человека и объекта методом "Stacked Normalizing Flow (StackFLOW)".
Для вывода апостериорного распределения пространственных отношений между человеком и объектом из изображения, вносятся векторные корректировки в позу человека и положение объекта, максимизируя правдоподобие выборок и минимизируя потери репроекции 2D-3D соответствия.

В процессе разработки метода, StackFLOW сравнивали с существующими методиками реконструкции PHOSA, CHORE и BSTRO на наборах данных BEHAVE и InterCap.
По результатам StackFLOW показал конкурентоспособные результаты.


В репозитории проекта размещены три варианта запуска проекта локально (демонстрация с окклюзиями, демонстрация оптимизации с несколькими объектами и демо с оптимизацией полной последовательности) подробные инструкции по самостоятельной тренировке и оценке на датасетах BEHAVE и InterCap.

📌 Внимательно прочитайте инструкции к каждому типу запуска, трейн-коду и оценочному запуску!


🟡Страница проекта
🟡Модель
🟡Arxiv
🖥Github [ Stars: 8 | Issues: 2 | Forks: 1]


@ai_machinelearning_big_data

#AI #3D #Reconstruction #VideoTo3D #ML

🌟 Spann3R: 3D-реконструкция на основе изображений с помощью пространственной памяти.

Spann3R - уникальный метод плотной трехмерной реконструкции из упорядоченных или неупорядоченных наборов изображений.

Метод основан на концепции пространственной памяти, которая позволяет выполнять инкрементную реконструкцию сцены с помощью прогнозирования карты точек для каждого изображения в единой системе координат.

Spann3R может применяться в реальном времени для онлайн-реконструкции.

Архитектура Spann3R основана на модели DUSt3R с добавлением внешней пространственной памяти. Она включает в себя энкодер ViT, два связанных декодера (целевой и ссылочный), как в DUSt3R, и легковесный энкодер памяти.

Модель обучается на последовательностях из 5 кадров, случайно выбранных из видео, с использованием стратегии сurriculum training, которая регулирует размер окна выборки в процессе обучения. Эта стратегия позволяет Spann3R изучать краткосрочные и долгосрочные зависимости между кадрами.

Для обучения Spann3R использовались наборы данных Habitat, ScanNet, ScanNet++, ARKitScenes, BlendedMVS и Co3D-v2.

Оценка Spann3R проводилась на трех наборах: 7Scenes, NRGBD и DTU. Результаты показывают, что Spann3R демонстрирует конкурентоспособное качество онлайн-реконструкции по сравнению с автономными методами - FrozenRecon и DUSt3R, при этом превосходя их по скорости.

Spann3R достигала частоты кадров в 50 к/с без оптимизации во время оценочного тестирования. Визуализация процесса онлайн-реконструкции демонстрирует способность Spann3R понимать регулярность сцены, модель способна восстанавливать геометрию даже текстурно-однородных областей, например, стен.

⚠️ Перед локальным запуском на тестовых данных, необходимо предварительно загрузить предобученную модель и тестовый набор данных для инференса. Модель положить в папку ./checkpoints , а тестовый набор в ./examples

▶️Установка и запуск:

# Clone repository:
git clone https://github.com/HengyiWang/spann3r.git
cd spann3r

# Create conda env:
conda create -n spann3r python=3.9 cmake=3.14.0
conda install pytorch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 pytorch-cuda=11.8 -c pytorch -c nvidia 

pip install -r requirements.txt
pip install -U -f https://www.open3d.org/docs/latest/getting_started.html open3d

# Compile CUDA kernels for RoPE
cd croco/models/curope/
python setup.py build_ext --inplace
cd ../../../

# Download the DUSt3R checkpoint
wget https://download.europe.naverlabs.com/ComputerVision/DUSt3R/DUSt3R_ViTLarge_BaseDecoder_512_dpt.pth

# Run demo:
python demo.py --demo_path ./examples/s00567 --kf_every 10 --vis

🟡Страница проекта
🟡Модель
🟡Arxiv
🟡Demo video
🖥Github


@ai_machinelearning_big_data

#AI #ML #3D #Reconstruction #ViT

🌟 Boltz-1: открытая модель для предсказания структуры биомолекулярных комплексов.

Boltz-1 - первая доступная модель с открытым исходным кодом, которая достигает точности AlphaFold3 в прогнозировании 3D-структур белков, РНК, ДНК и небольших молекул. Boltz-1 основана на архитектуре AlphaFold3, но включает ряд модификаций, повышающих точность и общую эффективность модели.

Архитектура состоит из модуля множественного выравнивания последовательностей (MSA), модуля PairFormer и диффузионной модели, работающую на двух уровнях разрешения: тяжелые атомы и токены. Токены представляют собой аминокислоты для белков, основания для РНК и ДНК, а также отдельные тяжелые атомы для других молекул.

Boltz-1 использует диффузионную модель, аналогичную AlphaFold3, но Boltz-1 использует жесткое выравнивание с помощью алгоритма Кабша после каждого шага процедуры вывода, чтобы гарантировать, что интерполированная структура более похожа на очищенную от шума выборку. Это уменьшает дисперсию потерь денойзинга и предотвращает переобучение модели.

Обучение модели проводилось на структурных данных из PDB, выпущенных до 30 сентября 2021 года, с разрешением не менее 9Å. Чтобы ускорить обучение, разработчики Boltz-1 применили алгоритм сопряжения MSA с использованием таксономической информации, унифицированный алгоритм кадрирования и алгоритм определения кармана связывания. Обучение модели заняло 68 тысяч шагов с размером пакета 128, что меньше, чем у AlphaFold3.

Оценка Boltz-1 была выполнена на датасете CASP15 и на наборе PDB, специально созданном разработчиками для тестирования.

Результаты показали, что Boltz-1 сопоставима по точности с Chai-1, закрытой репликацией AlphaFold3. Обе модели демонстрируют схожие показатели среднего LDDT и среднего TM-score.

Boltz-1 продемонстрировала преимущество в предсказании взаимодействия белок-лиганд на наборе данных CASP15.

Прикладная реализация инференса, доступная в репозитории на Github, может принимать на вход форматы:

🟢Fasta file, для большинства кейсов использования;
🟢Комплексная YAML-схема для более сложных случаев;
🟢Каталог с файлами для пакетной обработки.

Подробные инструкции для процесса прогнозирования и дообучения опубликованы в репозитории с кодом.

▶️Локальный инференс:

# Install boltz with PyPI
pip install boltz

# run inference
boltz predict input_path

📌Лицензирование: MIT License.


🟡Модель
🟡Техотчет
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Diffusion #3D #Biomolecular

🌟 MASt3R-SLAM: детализированный SLAM с априорными данными 3D-реконструкции в реальном времени.

MASi3R-SLAM - проект, который умеет строить детальные 3D-карты окружающей среды и отслеживать движение камеры в реальном времени без предварительной калибровки. Система работает даже с изменяющимися во аремени параметрами, например, при зумировании или оптических искажениях.

Основа MASi3R-SLAM - алгоритм, использующий модели DUSi3R и MASi3R для восстановления геометрии сцены по 2 изображениям. DUSi3R анализирует пары изображений, предсказывая детальные карты 3D-точек в общей системе координат, а MASi3R дополнительно генерирует дескрипторы для каждого пикселя, повышая точность сопоставления даже при большом смещении кадров.

Полученные данные от моделей обрабатывает уникальный алгоритм, который анализирует «карты точек», прогнозируемые нейросетью, и находит соответствия между кадрами за 2 миллисекунды, что в 40 раз быстрее аналогов.

В тестировании на наборах TUM RGB-D и EuRoC, показали: MASi3R-SLAM превосходит DROID-SLAM и другие системы по точности траектории (средняя ошибка — 3 см) и детальности 3D-моделей.

На сегодняшний день основное ограничение MASi3R-SLAM — скорость декодера из-за его вычислительной нагрузки: полный цикл обработки одного ключевого кадра занимает в среднем 26–27 миллисекунд, что примерно 64% общего времени работы паплайна.

Например, при разрешении 512 пикселей по длинной стороне декодер MASi3R тратит до 2 секунд на глобальный поиск соответствий, тогда как алгоритм сопоставления сокращает это время до 2 мс. На выходе создается «бутылочное горлышко», которое ограничивает частоту кадров до 15 FPS.

⚠️ Перед установкой необходимо загрузить модели и установить версию Pytorch, соответствующую установленной версии CUDA.


▶️Локальная установка и примеры запуска для live-режима и видео:

# Create Conda env 
conda create -n mast3r-slam python=3.11
conda activate mast3r-slam

# Clone Repo
git clone https://github.com/rmurai0610/MASt3R-SLAM.git --recursive
cd MASt3R-SLAM/

# Install dependencies
pip install -e thirdparty/mast3r
pip install -e thirdparty/in3d
pip install --no-build-isolation -e .

# Launch Live demo with camera
python main.py --dataset realsense --config config/base.yaml

# Or running on a MP4 video
python main.py --dataset <path/to/video>.mp4 --config config/base.yaml
python main.py --dataset <path/to/folder> --config config/base.yaml

📌Лицензирование: CC-BY-NC-SA-4.0 License.


🟡Страница проекта
🟡Набор моделей
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #CV #3D #SLAM #Robotics

🌟 Sonata: алгоритм самообучения для получения надежных представлений точечных данных в 3D.

Sonata — самообучающийся алгоритм для работы с облаками точек, опубликованный в рамках CVPR 2025, который решает проблему склонности моделей «цепляться» за простые геометрические подсказки, игнорируя семантику объектов. Это явление, названное «геометрическим сокращением», мешало 3D-решениям распознавать сложные сцены без тонкой настройки.

В отличие от конкурентов, Sonata использует принципиально новую архитектуру: вместо U-Net с декодером здесь работает только энкодер Point Transformer V3. Это снижает риск «геометрических ловушек» и увеличивает каналы для анализа с 96 до 512, что критично для семантики.

Алгоритм учится через самодистилляцию: модель-«студент» анализирует замаскированные фрагменты сцен, а модель-«учитель» стабилизирует обучение на целых сценах. Чтобы избежать шаблонного вывода, координаты замаскированных точек сильно искажают сильнее (σ=0.01), а сложность задач растёт постепенно — маски увеличиваются с 10 см до 40 см за первые 5% обучения.

Студент — основная модель, которая активно обучается. Она анализирует сложные виды данных: например, сцены с 70% замаскированных точек или крошечные фрагменты (5% от всей сцены). Её параметры обновляются через обратное распространение ошибки.

Учитель — «замороженная» версия студента, чьи веса обновляются не через градиенты, а через экспоненциальное скользящее среднее (EMA). Он обрабатывает полные, немодифицированные сцены и служит стабильным ориентиром для студента.

Эти решения позволили собрать гигантский датасет из 140 тыс. 3D-сцен (в 86 раз больше существующих аналогов) и достичь рекордов: точность Sonata при линейном анализе на ScanNet выросла в 3,3 раза (с 21,8% до 72,5%), а с 1% данных метод почти вдвое обгоняет конкурентов.

Интеграция с 2D-моделью DINOv2 добавила детализации — комбинированный подход достиг 75,9%. При этом Sonata тратит меньше ресурсов: даже на компактных архитектурах она достигает SOTA-показателей в семантической сегментации помещений и уличных сцен.

Код проекта доступен на GitHub, а визуализации показывают, как алгоритм «видит» многоэтажные здания, различая комнаты и этажи без подсказок.


📌Лицензирование: Apache 2.0 License.


🟡Страница проекта
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #3D #Robotics #Sonata

🔥 BPT - это новый способ токенизации данных для создания 3D-моделей.

Ключевое достижение: Метод обладает рекордно высоким (State-of-the-Art) коэффициентом сжатия данных - 75%!

BPT использует блочную индексацию и агрегацию патчей, что позволяет уменьшить длину последовательностей мэшей примерно на 75% по сравнению с исходными данными.

Это значительно повышает эффективность обработки и генерации высокодетализированных 3D-моделей.

Преимущество: Такое сжатие позволяет эффективно генерировать высокодетализированные 3D-модели, содержащие более 8000 граней (полигонов).

BPT - очень перспективный подходя для 3D-моделирования.

Он позволяет создавать детализированные и топологически точные модели с использованием компактных и эффективных представлений данных.

🟡Подробнее
🟡Github

@ai_machinelearning_big_data


#ml #ai #machinelearning #3d

🌟 HoloPart: генеративная 3D-сегментация.

3D-сегментация объектов на семантические части — задача не новая, но большинство методов до сих пор работают только с видимыми поверхностями, игнорируя скрытые области. Это ограничивает их применение в задачах анимации и редактирования геометрии, где нужны полные части.

HoloPart — модель, разработанная VastAI, которая решает проблему амодальной сегментации для 3D-объектов, восстанавливая скрытые фрагменты. С HoloPart можно, например, изменить размер колес у машины, добавить детали или перераспределить материалы между частями. Для художников и инженеров это экономит часы ручной работы.

Модель работает в 2 этапа: сначала стандартная сегментация выделяет видимые части, а затем HoloPart достраивает их до полных 3D-форм, используя комбинацию из локального и глобального внимания. Локальные механизмы фокусируются на деталях каждой части, а контекстное внимание следит, чтобы восстановленные элементы не конфликтовали с общей структурой объекта.

Эксперименты на датасетах ABO и PartObjaverse-Tiny показали, что HoloPart обходит конкурентов - PatchComplete и DiffComplete по всем метрикам. Средний Chamfer Distance (показывает точность совпадения форм) у HoloPart — 0.026 против 0.087 у DiffComplete на ABO. А F-Score, оценивающий полноту восстановления, достигает 0.848 против 0.371 у аналогов.

⚠️ Перед тем, как загрузить целевой glb-файл в HoloPart ytj необходимо выполнить сегментацию сторонними средствами. Разработчики рекомендуют SAMPart3D и SAMesh.


▶️Локальный инференс:

# Clone the repo
git clone https://github.com/VAST-AI-Research/HoloPart.git
cd HoloPart

# Create a conda env
conda create -n holopart python=3.10
conda activate holopart

# Install dependencies
pip install torch torchvision --index-url https://download.pytorch.org/whl/{your-cuda-version}
pip install -r requirements.txt

# Step 1: Prepare segmented mesh with a mesh file and mask
import trimesh
import numpy as np
mesh = trimesh.load("mesh.glb", force="mesh")
mask_npy = np.load("mask.npy")
mesh_parts = []
for part_id in np.unique(mask_npy):
    mesh_part = mesh.submesh([mask_npy == part_id], append=True)
    mesh_parts.append(mesh_part)
mesh_parts = trimesh.Scene(mesh_parts).export("input_mesh.glb")

# Step 2: Decompose the 3D mesh into complete parts:
python -m scripts.inference_holopart --mesh-input assets/example_data/file.glb

📌Лицензирование: MIT License.


🟡Страница проекта
🟡Модель
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #3D #HoloPart #Segmentation #VastAI