⚡️ Matrix3D: универсальная модель для фотограмметрии от Apple.

Matrix3D — модель, предлагающая решение сразу нескольких задач в рамках единой архитектуры: оценку положения камер, предсказание глубины и генерацию новых ракурсов.

Всю эту красоту обеспечивает модифицированный диффузионный трансформер, который обрабатывает изображения, параметры камер и карты глубины как взаимосвязанные модальности. Он не только упрощает традиционный пайплайн (нет зависимостей от отдельных алгоритмов SfM или MVS), но и повышает точность за счет уникальной оптимизации.

Ключевая особенность Matrix3D — маскированное обучение, позаимствованное из методов MAE. Модель тренируется на частично заполненных данных: парах «изображение-поза» или «изображение-глубина». При этом модель учится «достраивать» недостающие модальности, что позволяет комбинировать входы и выходы во время инференса. Например, можно добавить карту глубины с физического датчика или сгенерировать новые ракурсы на основе всего двух изображений.

Результаты тестов с задачей оценки поз на датасете CO3D Matrix3D обходят специализированные методы (RayDiffusion): точность определения положения камеры достигает 96,3% против 92,4% у конкурентов.

В синтезе видов модель демонстрирует PSNR 20,45 против 19,22 у SyncDreamer, а в оценке глубины — AbsRel 0,036 против 0,064 у Metric3D. При этом Matrix3D не требует отдельных моделей для каждой задачи, все решается в рамках одной модели.

Практическая ценность модели — в ее адаптивности. Например, для 3D-реконструкции из одного кадра Matrix3D сначала генерирует недостающие ракурсы, оценивает их позы и глубину, а затем оптимизирует сцену через 3D Gaussian Splatting.

Для работы с несколькими кадрами без известных поз модель сама восстанавливает параметры камер, что раньше требовало отдельного этапа с COLMAP. Все это реализовано в репозитории с готовыми скриптами — от синтеза видов до полной реконструкции.

Конечно, есть нюансы: качество облаков точек пока уступает другим методам (GeoMVSNet). Но даже имеющиеся результаты достаточны для инициализации 3DGS, а главное — весь процесс занимает несколько минут на одной RTX 3090. Для сравнения: CAT3D, хотя и точнее в синтезе, требует 16х A100 и оптимизации под каждую сцену.


🟡Страница проекта
🟡Модель
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Photogrammetry #Matrix3D #Apple

🌟 NeMo-Inspector: продвинутый анализ генерации языковых моделей.

NeMo-Inspector от NVIDIA — это инструмент, который превращает анализ генераций из рутины в осмысленный процесс. Он не просто показывает результаты, а помогает их систематизировать, сравнивать и даже чистить данные.

NeMo-Inspector не просто просмотрщик логов. Это полноценная среда, где можно менять промпты на лету, маркировать проблемные данные и проверять гипотезы.

Для инженеров, которые хотят не просто получать ответы от LLM, но и понимать, как они рождаются, NeMo-Inspector мастхэв. Он не даст магии, зато сэкономит часы ручного разбора и поможет найти слабые места даже в сложных пайплайнах, а поддержка Markdown, LaTeX и подсветки синтаксиса сделает работу с математическими задачами или кодом менее муторной.

▶️NeMo-Inspector работает в двух режимах: 

🟢Inference Page позволяет экспериментировать с промптами в реальном времени. Вы можете писать запросы вручную или использовать шаблоны с плейсхолдерами: например, подставлять разные задачи в структуру «Проблема: {вопрос}; Решение: {ответ}». Это удобно, когда нужно тестировать гипотезы без постоянной перезагрузки модели.

🟢Analyze Page заточен под глубокий разбор уже сгенерированных данных. Загрузите JSON-файлы и инструмент покажет выборки в читаемом формате с подсветкой кода и формул.

Гибкость проводимого анализа - особенность NeMo-Inspector. Вы можете сравнивать, как одна модель справляется с разными параметрами (температура, top_p) или как разные модели решают одну задачу. Допустим, проверяете, повышает ли CoT точность ответов. NeMo-Inspector выведет результаты бок о бок, а еще посчитает статистику: доля правильных ответов, «уверенность» модели (persistence) или кастомные метрики, которые можно задать самостоятельно через Python-функции.

Из практических кейсов: NeMo-Inspector помог «почистить» синтетический датасет GSM-Plus, где 46,99% данных оказались проблемными (в некоторых вопросах было по два знака вопроса — модель путалась, на какой отвечать). В проекте с OpenMath-Mistral-7B выяснилось, что 26% ошибок связаны с падением качества сгенерированного кода. После доработки датасета точность модели выросла на 4,17%.


📌Лицензирование: Apache 2.0 License.


🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #NeMoInspector #NVIDIA

⚡️ HunyuanCustom: консистентная видеогенерация c инпейнтом и липсинком.

Tencent выпустила HunyuanCustom, фреймворк, который не только генерирует видео по заданным условиям, но и умеет сохранять консистентность субъектов, будь то человек, животное или предмет. Модель справляется даже с мультисубъектными сценами: в демо-роликах люди естественно взаимодействуют с предметами, а текст на упаковках не плывет между кадрами.

В основе модели лежит улучшенный механизм слияния текста и изображений через LLaVA. Например, если вы загружаете фото женщины в платье и текст «танцует под дождем», система анализирует оба инпута, связывая описание с визуальными деталями.

Но главное - это модуль временной конкатенации: он «растягивает» особенности изображения вдоль временной оси видео, используя 3D-VAE. Это помогает избежать «прыгающих» лиц или внезапных изменений фона, проблемы, которая характерна даже для топовых моделей видеогенерации.

Tencent переработали и пайплайн аудио. Для синхронизации звука с движениями губ или действиями в кадре HunyuanCustom использует AudioNet, модуль, который выравнивает аудио- и видеофичи через пространственное кросс-внимание.

Фреймворк поддерживает возможность замены объекта в готовом ролике (скажем, подставить новую модель кроссовок в рекламу), модель сжимает исходное видео в латентное пространство, выравнивает его с шумными данными и встраивает изменения без артефактов на границах.

Экспериментальные тесты показали, что HunyuanCustom обходит конкурентов по ключевым метрикам. Например, Face-Sim (сохранение идентичности лица) у Tencent — 0.627 против 0.526 у Hailuo, а с Keling, Vidu, Pika и Skyreels разрыв еще больше.

⚠️ Для работы модель требует минимум 24 ГБ видеопамяти для роликов 720p, но чтобы раскрыть все возможности, разработчики рекомендуют 80 ГБ VRAM.

Код и чекпоинты уже доступны в открытом доступе, а в репозитории есть примеры запуска как на нескольких GPU, так и в экономном режиме для потребительских видеокарт.


📌Лицензирование кода : Tencent Hunyuan Community License.


🟡Страница проекта
🟡Модель
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Video #HunyuanCustom #Tencent

🌟 Continuous Thought Machines: нейросеть, которая способна думать как мозг человека.

Continuous Thought Machine (CTM) - концептуальная архитектура от SakanaAI, вдохновленная биологическими процессами мозга человека. Вместо масштабирования «в ширину» концепт предлагает «глубину» мышления, учитывая временную динамику и имитируя естественные нейронные взаимодействия.

Биологическая аналогия в CTM не случайна. Волны активности в CTM напоминают процессы в коре мозга, где синхронизация нейронов играет ключевую роль в обработке информации. Это не точная имитация природы, но шаг к системам, которые решают задачи через внутренние динамические состояния, а не через гигантские объемы данных.

Ядро CTM - это 2 ключевых механизма. Во-первых, каждый "нейрон" здесь имеет собственные параметры для анализа истории входящих сигналов. Это похоже на то, как биологические нейроны адаптируются к контексту, запоминая предыдущие импульсы.

Во-вторых, архитектура использует синхронизацию активности нейронов как основу для принятия решений. Представьте, что нейроны «договариваются» между собой через временные паттерны активности — именно это и становится языком, на котором CTM интерпретирует данные.

🟠Математическая основа CTM

CTM строится на рекуррентной обработке временных паттернов. Каждый нейрон обновляет свое состояние через персональную MLP​​, которая анализирует историю пре-активаций — выходов «синаптической» модели​​, объединяющей предыдущие состояния и данные через внимание.

Синхронизация вычисляется как взвешенное скалярное произведение пост-активаций с экспоненциальным затуханием​​, где параметр "забывания прошлых взаимодействий"​обучается, контролируя вклад временных шагов.

Выходы модели формируются проекцией синхронизации, а адаптивность достигается динамическим выбором критических тиков через минимизацию потерь и максимизацию уверенности.

Эксперименты показали, что такой подход работает не только в теории. На ImageNet-1K CTM демонстрирует точность 72.47% (top-1), а ее внимание плавно перемещается по изображению, фокусируясь на ключевых деталях, также, как человек рассматривает объект.

Самый интересный эксперимент - решение лабиринтов. Без позиционных эмбедингов модель строит внутреннюю «карту», анализируя структуру шаг за шагом, и даже обобщает знания на лабиринты большего размера. Это косвенно доказывает, что CTM способна к планированию, а не просто запоминанию паттернов.

CTM умеет экономить ресурсы: для простых задач (классификации очевидных изображений) она останавливает вычисления раньше, а для сложных — «думает» дольше. Это происходит без явных инструкций.

В качестве примера: в задаче сортировки чисел модель тратит больше «мысленных шагов» на сложные перестановки, а в вычислении четности последовательности обучается стратегиям, напоминающим алгоритмическую логику.

Пока CTM не SOTA, но она открывает возможности применения в RL-средах (как конкурент LSTM), а в калибровке предсказаний даже превосходит человеческую точность на CIFAR-10. Архитектура не привязана к определенному типу данных, она работает с изображениями, последовательностями и текстом (хотя на NLP ее масштабно не тестировали).

В открытом доступе на Github опубликован код практической демонстрации CTM в задачах классификации ImageNet, решения двумерных лабиринтов, сортировку, вычисления четности, QA и задачи RL. Датасеты и тестовые модели доступны по запросу через форму Google Drive.


🟡Статья
🟡Arxiv
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #CTM #SakanaAI