🌟 Semantic-SAM — универсальная модель сегментации и распознавания сложных объектов с высокой степенью детализации

Semantic-SAM — экспериментальный метод сегментации изображений, опирающийся на на Mask DINO, OpenSeeD, SEEM и VLPart, выполняющий интерактивную сегментацию с возможностью управления уровнем детализации и семантической осведомленностью.

Этот проект - первая попытка обучения модели и на наборах данных (SA-1B) и на данных по сегментации фрагментов изображений (SAM).
Бенчмарки проведенные в ходе исследования демонстрируют, что такое обучение положительно сказывается на точности Semantic-SAM.

🟡 Arxiv
🖥 Github [ Stars: 2,1K | Issues: 65 | Forks: 104 ]
🟡 Модели
🤗 Попробовать интерактивную демонстрация многоуровневой детализации
🤗 Попробовать авто-генерацию с контролируемой детализацией

@ai_machinelearning_big_data

#ML #SAM #Segmentation #Recognition

🌟 SAM 2.1 Developer Suite: очень небольшое обновление.

Segment Anything Model (SAM) - это набор базовых моделей, которые позволяют автоматически сегментировать любые объекты, независимо от их формы, размера и расположения на изображении и видео.

Meta без официального пресс-релиза обновила модели SAM до версии 2.1. Обновление минорное :

🟢повышена точность идентификации на изображении (визуальное отделение от фона) ~ 1.5 % по сравнению с SAM2

🟢увеличена точность сегментации нескольких объектов на изображении ~ 2% от SAM2

🟢повышено качество сегментации объектов во времени для видео ~ 2% от SAM2.

Набор моделей: tiny, small, base_plus и large остался прежним, как и их размеры и производительность.

⚠️ Чтобы использовать новые модели SAM 2.1, необходима последняя версия кода из репозитория. Если установлена более ранняя версия, ее необходимо сначала удалить с помощью pip uninstall SAM-2.

▶️ Набор кода для самостоятельного обучения базовой модели с подробной инструкцией можно найти в разделе training репозитория SAM2. Все необходимые изменения в связи с обновлением до версии 2.1 внесены.

▶️Подробная инструкция по запуску локальной установки с web-интерфейсом в разделе demo репозитория. Backend - Docker, frontend - yarn.

Демо-ноутбуки для запуска в Google Collab:

🟠автоматическое создание масок объектов;

🟠маскирование объектов по текстовому промпту;

🟠интерактивная сегментация на видео.


📌Лицензирование : Apache 2.0 License.


🟡Коллекция моделей на HF
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #SAM2 #META #Segmentation #CV

🌟 HoloPart: генеративная 3D-сегментация.

3D-сегментация объектов на семантические части — задача не новая, но большинство методов до сих пор работают только с видимыми поверхностями, игнорируя скрытые области. Это ограничивает их применение в задачах анимации и редактирования геометрии, где нужны полные части.

HoloPart — модель, разработанная VastAI, которая решает проблему амодальной сегментации для 3D-объектов, восстанавливая скрытые фрагменты. С HoloPart можно, например, изменить размер колес у машины, добавить детали или перераспределить материалы между частями. Для художников и инженеров это экономит часы ручной работы.

Модель работает в 2 этапа: сначала стандартная сегментация выделяет видимые части, а затем HoloPart достраивает их до полных 3D-форм, используя комбинацию из локального и глобального внимания. Локальные механизмы фокусируются на деталях каждой части, а контекстное внимание следит, чтобы восстановленные элементы не конфликтовали с общей структурой объекта.

Эксперименты на датасетах ABO и PartObjaverse-Tiny показали, что HoloPart обходит конкурентов - PatchComplete и DiffComplete по всем метрикам. Средний Chamfer Distance (показывает точность совпадения форм) у HoloPart — 0.026 против 0.087 у DiffComplete на ABO. А F-Score, оценивающий полноту восстановления, достигает 0.848 против 0.371 у аналогов.

⚠️ Перед тем, как загрузить целевой glb-файл в HoloPart ytj необходимо выполнить сегментацию сторонними средствами. Разработчики рекомендуют SAMPart3D и SAMesh.


▶️Локальный инференс:

# Clone the repo
git clone https://github.com/VAST-AI-Research/HoloPart.git
cd HoloPart

# Create a conda env
conda create -n holopart python=3.10
conda activate holopart

# Install dependencies
pip install torch torchvision --index-url https://download.pytorch.org/whl/{your-cuda-version}
pip install -r requirements.txt

# Step 1: Prepare segmented mesh with a mesh file and mask
import trimesh
import numpy as np
mesh = trimesh.load("mesh.glb", force="mesh")
mask_npy = np.load("mask.npy")
mesh_parts = []
for part_id in np.unique(mask_npy):
    mesh_part = mesh.submesh([mask_npy == part_id], append=True)
    mesh_parts.append(mesh_part)
mesh_parts = trimesh.Scene(mesh_parts).export("input_mesh.glb")

# Step 2: Decompose the 3D mesh into complete parts:
python -m scripts.inference_holopart --mesh-input assets/example_data/file.glb

📌Лицензирование: MIT License.


🟡Страница проекта
🟡Модель
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #3D #HoloPart #Segmentation #VastAI