Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Языковая 3Д-генерация.
У нас есть некоторое количество сервисов для 3Д-генерации, о которых я неоднократно писал.
Проблема там в основном в топологии (каша) и в качестве текстур. Плюс в ограниченности сцены - как правило это один объект.
Уже неделю как интернет бомбит от связки Блендора и Клода 3.7 через MCP, о которой я уже писал.
Ну и действительно, поглядите на пример.
Все, что потребовалось здесь, это сгенерировать картинку, а потом сказать Клюду:
"Recognize any elements of this scene individually. Describe them precisely, then build them in a scene."
"Распознай все элементы этой сцены по отдельности. Опишите их точно, а затем сделай из них сцену".
"Традиционные" 3Д-генераторы тоже пытаются распознать картинку, потом сгенерить ее с разных ракурсов, а потом восстановить 3Д из нескольких картинок. А Клод пытается "собрать\отрендерить сцену" с помощью, грубо говоря, скриптов для Блендора - запуская разные команды, о которых он в курсе. Процедурное моделирование на стрероидах LLM.
Понятно, что пока довольно примитивные сцены, понятно, что замоделить голову неведомого ему персонажа будет сложновато, но дайте время.
Интересно подумать, над специальным файнтюном как для распознавания картинок, так и для (и особенно) для Блендора. Файнтьюн, который обучен на последовательностях действий и сценах.
Просто сцены, которые генерит Клод, отлично редактируются, анимируются - это нормальная геометрия, а не обмылки из 3Д-генераторов.
Интересно, посмотреть, что будет дальше.
@cgevent
У нас есть некоторое количество сервисов для 3Д-генерации, о которых я неоднократно писал.
Проблема там в основном в топологии (каша) и в качестве текстур. Плюс в ограниченности сцены - как правило это один объект.
Уже неделю как интернет бомбит от связки Блендора и Клода 3.7 через MCP, о которой я уже писал.
Ну и действительно, поглядите на пример.
Все, что потребовалось здесь, это сгенерировать картинку, а потом сказать Клюду:
"Recognize any elements of this scene individually. Describe them precisely, then build them in a scene."
"Распознай все элементы этой сцены по отдельности. Опишите их точно, а затем сделай из них сцену".
"Традиционные" 3Д-генераторы тоже пытаются распознать картинку, потом сгенерить ее с разных ракурсов, а потом восстановить 3Д из нескольких картинок. А Клод пытается "собрать\отрендерить сцену" с помощью, грубо говоря, скриптов для Блендора - запуская разные команды, о которых он в курсе. Процедурное моделирование на стрероидах LLM.
Понятно, что пока довольно примитивные сцены, понятно, что замоделить голову неведомого ему персонажа будет сложновато, но дайте время.
Интересно подумать, над специальным файнтюном как для распознавания картинок, так и для (и особенно) для Блендора. Файнтьюн, который обучен на последовательностях действий и сценах.
Просто сцены, которые генерит Клод, отлично редактируются, анимируются - это нормальная геометрия, а не обмылки из 3Д-генераторов.
Интересно, посмотреть, что будет дальше.
@cgevent
👍5⚡1
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Заканчиваем 3Д-марафон эпическим сравнением 3Д-генераторов.
От самого Энди Прайса - Блендор Гуру.
Поглядите картинки, они красноречивы сами по себе.
Там правда есть момент, Энди не юзал Rodin Pro, за что ему насовали в коментах. Потом исправился, но не на всех тестах.
А я просто переведу твит Энди, так как сильно согласен с ним насчет редакитруемости и топологии.
Несколько тестов, чтобы понять, стоит ли художникам беспокоиться об искусственном интеллекте.
Честно говоря, ИИ стал очень хорош (особенно Prism: https://3daistudio.com). Но редактирование еще долго будет оставаться его главной проблемой. Кашеобразные(messy) сетки означают, что даже небольшие исправления требуют дорогостоящего ретопа.
Лучше всего ИИ справляется с непрозрачными, гладкими формами, которые часто встречаются в датасетах (автомобили, люди и т.д.), и хуже всего - со сложными объектами с мелкими деталями (деревья и т.д.)
Один из навыков, который будет очень ценен в будущем, - это ретоп и текстурирование. Если вы хотите повысить квалификацию, изучите любой существующий сегодня рабочий процесс по очистке фотограмметрии, потому что это, по сути, одно и то же.
Или сосредоточьтесь на "hero assets". Все, что находится близко к камере, должно быть точным, а AI-модели таковыми не является.
К игровым активам также предъявляются гораздо более сложные требования (UV-пространство, герметичные сетки, оптимизированные шейдеры), и я сомневаюсь, что ИИ сможет решить это в течение некоторого времени.
https://x.com/andrewpprice/status/1901678647850717638
@cgevent
От самого Энди Прайса - Блендор Гуру.
Поглядите картинки, они красноречивы сами по себе.
Там правда есть момент, Энди не юзал Rodin Pro, за что ему насовали в коментах. Потом исправился, но не на всех тестах.
А я просто переведу твит Энди, так как сильно согласен с ним насчет редакитруемости и топологии.
Несколько тестов, чтобы понять, стоит ли художникам беспокоиться об искусственном интеллекте.
Честно говоря, ИИ стал очень хорош (особенно Prism: https://3daistudio.com). Но редактирование еще долго будет оставаться его главной проблемой. Кашеобразные(messy) сетки означают, что даже небольшие исправления требуют дорогостоящего ретопа.
Лучше всего ИИ справляется с непрозрачными, гладкими формами, которые часто встречаются в датасетах (автомобили, люди и т.д.), и хуже всего - со сложными объектами с мелкими деталями (деревья и т.д.)
Один из навыков, который будет очень ценен в будущем, - это ретоп и текстурирование. Если вы хотите повысить квалификацию, изучите любой существующий сегодня рабочий процесс по очистке фотограмметрии, потому что это, по сути, одно и то же.
Или сосредоточьтесь на "hero assets". Все, что находится близко к камере, должно быть точным, а AI-модели таковыми не является.
К игровым активам также предъявляются гораздо более сложные требования (UV-пространство, герметичные сетки, оптимизированные шейдеры), и я сомневаюсь, что ИИ сможет решить это в течение некоторого времени.
https://x.com/andrewpprice/status/1901678647850717638
@cgevent
👍5⚡1
DStruct2Design
Генерация планов квартир (в статьях обычно это индивидуальный жилой дом) с помощью LLM очень актуальная тема. Столкнулся с еще одним проектом на эту тему.
В данной работе основная цель - это генерация планировки на основе числовых метрик и ограничений (площади комнат, контур и может что-то еще). Авторы предлагают использовать промежуточную структуру данных, которая описывает все эти метрики. Она потом используется для генерации результата.
Что-то похожее на этот подход мы видели в одном из предыдущих постов
Генерация планов квартир (в статьях обычно это индивидуальный жилой дом) с помощью LLM очень актуальная тема. Столкнулся с еще одним проектом на эту тему.
В данной работе основная цель - это генерация планировки на основе числовых метрик и ограничений (площади комнат, контур и может что-то еще). Авторы предлагают использовать промежуточную структуру данных, которая описывает все эти метрики. Она потом используется для генерации результата.
Что-то похожее на этот подход мы видели в одном из предыдущих постов
👍2⚡1
HouseTune (HouseLLM)
Еще одна работа посвящена генерации планов с помощью LLM моделей.
В данном случае процесс двухэтапный и используется еще и модель диффузии.
На первом этапе на основе текстового описания (например "Мне нужен дом с тремя спальнями, гостиной, кухней, ванной и балконом, примыкающим к гостиной") генерируется начальный макет Layout-Init в json формате.
На втором этапе модель диффузии преобразует Layout-Init в окончательный план Layout-Final. Здесь происходит учет ограничений и требований пользователя. Он тоде представляет собой структурированный результат в json.
Еще одна работа посвящена генерации планов с помощью LLM моделей.
В данном случае процесс двухэтапный и используется еще и модель диффузии.
На первом этапе на основе текстового описания (например "Мне нужен дом с тремя спальнями, гостиной, кухней, ванной и балконом, примыкающим к гостиной") генерируется начальный макет Layout-Init в json формате.
На втором этапе модель диффузии преобразует Layout-Init в окончательный план Layout-Final. Здесь происходит учет ограничений и требований пользователя. Он тоде представляет собой структурированный результат в json.
👍5⚡1
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Плагины MCP для Houdini, Unity, Unreal, Blender
Которые позволяют создавать конент промптами для Клода.
Так, тут похоже MCP пошел в массы, хотя Антропик сделал его еще в прошлом году. Пора наверное сделать пост про него.
Если совсем грубо и, возможно, некорректно, это набор функций на питоне(?), которые автору конкретного MCP-под-какой-то-софт надо написать, чтобы Клод потом переводил запросы\промпты пользователя в вызовы этих функций, которые дергают софт.
Смотрите, что у нас уже есть:
MCP для Блендора
https://github.com/ahujasid/blender-mcp
MCP для Худини
https://github.com/capoom/houdini-mcp
MCP для Unity
https://github.com/justinpbarnett/unity-mcp
https://github.com/Arodoid/UnityMCP
MCP для Unreal Engine
https://github.com/kvick-games/UnrealMCP
Очень жду MCP for Maya..
Пока я вижу проблему, что это проекты энтузиастов, а хорошо бы иметь такое от самих разрабов конкретноего софта. Но это корпоративные риски (кроме Блендора).
В общем, чувствую лавину "эмсипишек" для разных софтов.
@cgevent
Которые позволяют создавать конент промптами для Клода.
Так, тут похоже MCP пошел в массы, хотя Антропик сделал его еще в прошлом году. Пора наверное сделать пост про него.
Если совсем грубо и, возможно, некорректно, это набор функций на питоне(?), которые автору конкретного MCP-под-какой-то-софт надо написать, чтобы Клод потом переводил запросы\промпты пользователя в вызовы этих функций, которые дергают софт.
Смотрите, что у нас уже есть:
MCP для Блендора
https://github.com/ahujasid/blender-mcp
MCP для Худини
https://github.com/capoom/houdini-mcp
MCP для Unity
https://github.com/justinpbarnett/unity-mcp
https://github.com/Arodoid/UnityMCP
MCP для Unreal Engine
https://github.com/kvick-games/UnrealMCP
Очень жду MCP for Maya..
Пока я вижу проблему, что это проекты энтузиастов, а хорошо бы иметь такое от самих разрабов конкретноего софта. Но это корпоративные риски (кроме Блендора).
В общем, чувствую лавину "эмсипишек" для разных софтов.
@cgevent
👍3⚡2
Forwarded from NN
Вакансия дня: в стартап ищут «вайб-кодера» — разработчика, который программирует с помощью нейросетей. Нужно генерировать код и превращать идеи команды в готовый продукт.
От кандидата требуют 5-15 месяцев опыта, знание JavaScript, Vue, Django и понимание принципов UX/UI. Самое главное — уметь составлять промты и делегировать максимум задач ИИ.
Наконец-то вайбовая работа.
От кандидата требуют 5-15 месяцев опыта, знание JavaScript, Vue, Django и понимание принципов UX/UI. Самое главное — уметь составлять промты и делегировать максимум задач ИИ.
Наконец-то вайбовая работа.
👍3👌1