Языковая 3Д-генерация.

У нас есть некоторое количество сервисов для 3Д-генерации, о которых я неоднократно писал.
Проблема там в основном в топологии (каша) и в качестве текстур. Плюс в ограниченности сцены - как правило это один объект.

Уже неделю как интернет бомбит от связки Блендора и Клода 3.7 через MCP, о которой я уже писал.
Ну и действительно, поглядите на пример.

Все, что потребовалось здесь, это сгенерировать картинку, а потом сказать Клюду:
"Recognize any elements of this scene individually. Describe them precisely, then build them in a scene."

"Распознай все элементы этой сцены по отдельности. Опишите их точно, а затем сделай из них сцену".

"Традиционные" 3Д-генераторы тоже пытаются распознать картинку, потом сгенерить ее с разных ракурсов, а потом восстановить 3Д из нескольких картинок. А Клод пытается "собрать\отрендерить сцену" с помощью, грубо говоря, скриптов для Блендора - запуская разные команды, о которых он в курсе. Процедурное моделирование на стрероидах LLM.

Понятно, что пока довольно примитивные сцены, понятно, что замоделить голову неведомого ему персонажа будет сложновато, но дайте время.

Интересно подумать, над специальным файнтюном как для распознавания картинок, так и для (и особенно) для Блендора. Файнтьюн, который обучен на последовательностях действий и сценах.

Просто сцены, которые генерит Клод, отлично редактируются, анимируются - это нормальная геометрия, а не обмылки из 3Д-генераторов.

Интересно, посмотреть, что будет дальше.

@cgevent

Заканчиваем 3Д-марафон эпическим сравнением 3Д-генераторов.

От самого Энди Прайса - Блендор Гуру.

Поглядите картинки, они красноречивы сами по себе.
Там правда есть момент, Энди не юзал Rodin Pro, за что ему насовали в коментах. Потом исправился, но не на всех тестах.

А я просто переведу твит Энди, так как сильно согласен с ним насчет редакитруемости и топологии.

Несколько тестов, чтобы понять, стоит ли художникам беспокоиться об искусственном интеллекте.

Честно говоря, ИИ стал очень хорош (особенно Prism: https://3daistudio.com). Но редактирование еще долго будет оставаться его главной проблемой. Кашеобразные(messy) сетки означают, что даже небольшие исправления требуют дорогостоящего ретопа.

Лучше всего ИИ справляется с непрозрачными, гладкими формами, которые часто встречаются в датасетах (автомобили, люди и т.д.), и хуже всего - со сложными объектами с мелкими деталями (деревья и т.д.)

Один из навыков, который будет очень ценен в будущем, - это ретоп и текстурирование. Если вы хотите повысить квалификацию, изучите любой существующий сегодня рабочий процесс по очистке фотограмметрии, потому что это, по сути, одно и то же.

Или сосредоточьтесь на "hero assets". Все, что находится близко к камере, должно быть точным, а AI-модели таковыми не является.

К игровым активам также предъявляются гораздо более сложные требования (UV-пространство, герметичные сетки, оптимизированные шейдеры), и я сомневаюсь, что ИИ сможет решить это в течение некоторого времени.

https://x.com/andrewpprice/status/1901678647850717638

@cgevent