Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Языковая 3Д-генерация.
У нас есть некоторое количество сервисов для 3Д-генерации, о которых я неоднократно писал.
Проблема там в основном в топологии (каша) и в качестве текстур. Плюс в ограниченности сцены - как правило это один объект.
Уже неделю как интернет бомбит от связки Блендора и Клода 3.7 через MCP, о которой я уже писал.
Ну и действительно, поглядите на пример.
Все, что потребовалось здесь, это сгенерировать картинку, а потом сказать Клюду:
"Recognize any elements of this scene individually. Describe them precisely, then build them in a scene."
"Распознай все элементы этой сцены по отдельности. Опишите их точно, а затем сделай из них сцену".
"Традиционные" 3Д-генераторы тоже пытаются распознать картинку, потом сгенерить ее с разных ракурсов, а потом восстановить 3Д из нескольких картинок. А Клод пытается "собрать\отрендерить сцену" с помощью, грубо говоря, скриптов для Блендора - запуская разные команды, о которых он в курсе. Процедурное моделирование на стрероидах LLM.
Понятно, что пока довольно примитивные сцены, понятно, что замоделить голову неведомого ему персонажа будет сложновато, но дайте время.
Интересно подумать, над специальным файнтюном как для распознавания картинок, так и для (и особенно) для Блендора. Файнтьюн, который обучен на последовательностях действий и сценах.
Просто сцены, которые генерит Клод, отлично редактируются, анимируются - это нормальная геометрия, а не обмылки из 3Д-генераторов.
Интересно, посмотреть, что будет дальше.
@cgevent
У нас есть некоторое количество сервисов для 3Д-генерации, о которых я неоднократно писал.
Проблема там в основном в топологии (каша) и в качестве текстур. Плюс в ограниченности сцены - как правило это один объект.
Уже неделю как интернет бомбит от связки Блендора и Клода 3.7 через MCP, о которой я уже писал.
Ну и действительно, поглядите на пример.
Все, что потребовалось здесь, это сгенерировать картинку, а потом сказать Клюду:
"Recognize any elements of this scene individually. Describe them precisely, then build them in a scene."
"Распознай все элементы этой сцены по отдельности. Опишите их точно, а затем сделай из них сцену".
"Традиционные" 3Д-генераторы тоже пытаются распознать картинку, потом сгенерить ее с разных ракурсов, а потом восстановить 3Д из нескольких картинок. А Клод пытается "собрать\отрендерить сцену" с помощью, грубо говоря, скриптов для Блендора - запуская разные команды, о которых он в курсе. Процедурное моделирование на стрероидах LLM.
Понятно, что пока довольно примитивные сцены, понятно, что замоделить голову неведомого ему персонажа будет сложновато, но дайте время.
Интересно подумать, над специальным файнтюном как для распознавания картинок, так и для (и особенно) для Блендора. Файнтьюн, который обучен на последовательностях действий и сценах.
Просто сцены, которые генерит Клод, отлично редактируются, анимируются - это нормальная геометрия, а не обмылки из 3Д-генераторов.
Интересно, посмотреть, что будет дальше.
@cgevent
👍5⚡1
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Заканчиваем 3Д-марафон эпическим сравнением 3Д-генераторов.
От самого Энди Прайса - Блендор Гуру.
Поглядите картинки, они красноречивы сами по себе.
Там правда есть момент, Энди не юзал Rodin Pro, за что ему насовали в коментах. Потом исправился, но не на всех тестах.
А я просто переведу твит Энди, так как сильно согласен с ним насчет редакитруемости и топологии.
Несколько тестов, чтобы понять, стоит ли художникам беспокоиться об искусственном интеллекте.
Честно говоря, ИИ стал очень хорош (особенно Prism: https://3daistudio.com). Но редактирование еще долго будет оставаться его главной проблемой. Кашеобразные(messy) сетки означают, что даже небольшие исправления требуют дорогостоящего ретопа.
Лучше всего ИИ справляется с непрозрачными, гладкими формами, которые часто встречаются в датасетах (автомобили, люди и т.д.), и хуже всего - со сложными объектами с мелкими деталями (деревья и т.д.)
Один из навыков, который будет очень ценен в будущем, - это ретоп и текстурирование. Если вы хотите повысить квалификацию, изучите любой существующий сегодня рабочий процесс по очистке фотограмметрии, потому что это, по сути, одно и то же.
Или сосредоточьтесь на "hero assets". Все, что находится близко к камере, должно быть точным, а AI-модели таковыми не является.
К игровым активам также предъявляются гораздо более сложные требования (UV-пространство, герметичные сетки, оптимизированные шейдеры), и я сомневаюсь, что ИИ сможет решить это в течение некоторого времени.
https://x.com/andrewpprice/status/1901678647850717638
@cgevent
От самого Энди Прайса - Блендор Гуру.
Поглядите картинки, они красноречивы сами по себе.
Там правда есть момент, Энди не юзал Rodin Pro, за что ему насовали в коментах. Потом исправился, но не на всех тестах.
А я просто переведу твит Энди, так как сильно согласен с ним насчет редакитруемости и топологии.
Несколько тестов, чтобы понять, стоит ли художникам беспокоиться об искусственном интеллекте.
Честно говоря, ИИ стал очень хорош (особенно Prism: https://3daistudio.com). Но редактирование еще долго будет оставаться его главной проблемой. Кашеобразные(messy) сетки означают, что даже небольшие исправления требуют дорогостоящего ретопа.
Лучше всего ИИ справляется с непрозрачными, гладкими формами, которые часто встречаются в датасетах (автомобили, люди и т.д.), и хуже всего - со сложными объектами с мелкими деталями (деревья и т.д.)
Один из навыков, который будет очень ценен в будущем, - это ретоп и текстурирование. Если вы хотите повысить квалификацию, изучите любой существующий сегодня рабочий процесс по очистке фотограмметрии, потому что это, по сути, одно и то же.
Или сосредоточьтесь на "hero assets". Все, что находится близко к камере, должно быть точным, а AI-модели таковыми не является.
К игровым активам также предъявляются гораздо более сложные требования (UV-пространство, герметичные сетки, оптимизированные шейдеры), и я сомневаюсь, что ИИ сможет решить это в течение некоторого времени.
https://x.com/andrewpprice/status/1901678647850717638
@cgevent
👍5⚡1
DStruct2Design
Генерация планов квартир (в статьях обычно это индивидуальный жилой дом) с помощью LLM очень актуальная тема. Столкнулся с еще одним проектом на эту тему.
В данной работе основная цель - это генерация планировки на основе числовых метрик и ограничений (площади комнат, контур и может что-то еще). Авторы предлагают использовать промежуточную структуру данных, которая описывает все эти метрики. Она потом используется для генерации результата.
Что-то похожее на этот подход мы видели в одном из предыдущих постов
Генерация планов квартир (в статьях обычно это индивидуальный жилой дом) с помощью LLM очень актуальная тема. Столкнулся с еще одним проектом на эту тему.
В данной работе основная цель - это генерация планировки на основе числовых метрик и ограничений (площади комнат, контур и может что-то еще). Авторы предлагают использовать промежуточную структуру данных, которая описывает все эти метрики. Она потом используется для генерации результата.
Что-то похожее на этот подход мы видели в одном из предыдущих постов
👍2⚡1
HouseTune (HouseLLM)
Еще одна работа посвящена генерации планов с помощью LLM моделей.
В данном случае процесс двухэтапный и используется еще и модель диффузии.
На первом этапе на основе текстового описания (например "Мне нужен дом с тремя спальнями, гостиной, кухней, ванной и балконом, примыкающим к гостиной") генерируется начальный макет Layout-Init в json формате.
На втором этапе модель диффузии преобразует Layout-Init в окончательный план Layout-Final. Здесь происходит учет ограничений и требований пользователя. Он тоде представляет собой структурированный результат в json.
Еще одна работа посвящена генерации планов с помощью LLM моделей.
В данном случае процесс двухэтапный и используется еще и модель диффузии.
На первом этапе на основе текстового описания (например "Мне нужен дом с тремя спальнями, гостиной, кухней, ванной и балконом, примыкающим к гостиной") генерируется начальный макет Layout-Init в json формате.
На втором этапе модель диффузии преобразует Layout-Init в окончательный план Layout-Final. Здесь происходит учет ограничений и требований пользователя. Он тоде представляет собой структурированный результат в json.
👍5⚡1
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Плагины MCP для Houdini, Unity, Unreal, Blender
Которые позволяют создавать конент промптами для Клода.
Так, тут похоже MCP пошел в массы, хотя Антропик сделал его еще в прошлом году. Пора наверное сделать пост про него.
Если совсем грубо и, возможно, некорректно, это набор функций на питоне(?), которые автору конкретного MCP-под-какой-то-софт надо написать, чтобы Клод потом переводил запросы\промпты пользователя в вызовы этих функций, которые дергают софт.
Смотрите, что у нас уже есть:
MCP для Блендора
https://github.com/ahujasid/blender-mcp
MCP для Худини
https://github.com/capoom/houdini-mcp
MCP для Unity
https://github.com/justinpbarnett/unity-mcp
https://github.com/Arodoid/UnityMCP
MCP для Unreal Engine
https://github.com/kvick-games/UnrealMCP
Очень жду MCP for Maya..
Пока я вижу проблему, что это проекты энтузиастов, а хорошо бы иметь такое от самих разрабов конкретноего софта. Но это корпоративные риски (кроме Блендора).
В общем, чувствую лавину "эмсипишек" для разных софтов.
@cgevent
Которые позволяют создавать конент промптами для Клода.
Так, тут похоже MCP пошел в массы, хотя Антропик сделал его еще в прошлом году. Пора наверное сделать пост про него.
Если совсем грубо и, возможно, некорректно, это набор функций на питоне(?), которые автору конкретного MCP-под-какой-то-софт надо написать, чтобы Клод потом переводил запросы\промпты пользователя в вызовы этих функций, которые дергают софт.
Смотрите, что у нас уже есть:
MCP для Блендора
https://github.com/ahujasid/blender-mcp
MCP для Худини
https://github.com/capoom/houdini-mcp
MCP для Unity
https://github.com/justinpbarnett/unity-mcp
https://github.com/Arodoid/UnityMCP
MCP для Unreal Engine
https://github.com/kvick-games/UnrealMCP
Очень жду MCP for Maya..
Пока я вижу проблему, что это проекты энтузиастов, а хорошо бы иметь такое от самих разрабов конкретноего софта. Но это корпоративные риски (кроме Блендора).
В общем, чувствую лавину "эмсипишек" для разных софтов.
@cgevent
👍3⚡2
Forwarded from NN
Вакансия дня: в стартап ищут «вайб-кодера» — разработчика, который программирует с помощью нейросетей. Нужно генерировать код и превращать идеи команды в готовый продукт.
От кандидата требуют 5-15 месяцев опыта, знание JavaScript, Vue, Django и понимание принципов UX/UI. Самое главное — уметь составлять промты и делегировать максимум задач ИИ.
Наконец-то вайбовая работа.
От кандидата требуют 5-15 месяцев опыта, знание JavaScript, Vue, Django и понимание принципов UX/UI. Самое главное — уметь составлять промты и делегировать максимум задач ИИ.
Наконец-то вайбовая работа.
👍3👌1
Forwarded from Data Secrets
У Google вышло очень занятное исследование: они сравнили, как LLM и человеческий мозг обрабатывают язык
В качестве LM взяли Whisper, а нейронную активность человека записывали с помощью интракраниальных электродов во время спонтанных разговоров. Затем векторы эмбеддингов модельки наложили на векторы паттернов мозга и оценили линейную зависимость. Вот что получилось:
➖ Соответствие удивительно четкое и геометрия эмбеддингов в LLM (то есть отношения между словами в embedding-пространстве) соотносится с представлениями в мозге.
➖ Во время слушания Speech-эмбеддинги явно коррелируют с активностью в слуховой коре (верхняя височная извилина), затем language-эмбеддинги коррелируют с активностью в зоне Брока (нижняя лобная извилина).
➖ Во время говорения – наоборот. Language-эмбеддинги сначала "активируются" в зоне Брока (планирование высказывания), затем speech-эмбеддинги активируются в моторной коре (непосредственно говорение), и в конце снова в слуховой коре при восприятии собственной речи.
Это удивительно, потому что технически мозг и LLM используют разные подходы. Да, и там и там нейроны, но в науке принято считать, что мозг "использует" символьный подход, то есть полагается на четкие семанические структуры, синтаксис и иерархию слов. В модельках такого нет, они понимают язык статистически.
И все-таки получается, что обычный next token prediction оказывается очень похож на реальный нейронный код, и мы неожиданно близко подобрались к моделированию мозга.
research.google/blog/deciphering-language-processing-in-the-human-brain-through-llm-representations/
В качестве LM взяли Whisper, а нейронную активность человека записывали с помощью интракраниальных электродов во время спонтанных разговоров. Затем векторы эмбеддингов модельки наложили на векторы паттернов мозга и оценили линейную зависимость. Вот что получилось:
Это удивительно, потому что технически мозг и LLM используют разные подходы. Да, и там и там нейроны, но в науке принято считать, что мозг "использует" символьный подход, то есть полагается на четкие семанические структуры, синтаксис и иерархию слов. В модельках такого нет, они понимают язык статистически.
И все-таки получается, что обычный next token prediction оказывается очень похож на реальный нейронный код, и мы неожиданно близко подобрались к моделированию мозга.
research.google/blog/deciphering-language-processing-in-the-human-brain-through-llm-representations/
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3⚡1
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
This media is not supported in your browser
VIEW IN TELEGRAM
DeepSeek только что выпустил последнюю версию своей огромной модели DeepSeek-V3-0324.
Лицензия — MIT (предыдущая версия DeepSeek v3 имела специальную лицензию), а общий объем файлов в релизе составляет 641 ГБ, в формате model-00035-of-000163.safetensors.
Модель вышла всего несколько часов назад, а разработчик MLX Авни Ханнун уже запустил ее со скоростью более 20 токенов в секунду на M3 Ultra Mac Studio с 512 ГБ (9499 долларов) с помощью mlx-lm и 4-битной версии, размер на диске до 352 ГБ.
Новая модель также представлена на OpenRouter, можно пробовать.
Пишут, что лучше, быстрее, сильнее.
И СИЛЬНО ДЕШЕВЛЕ.
Подробнее:
https://huggingface.co/deepseek-ai/DeepSeek-V3-0324
https://simonwillison.net/2025/Mar/24/deepseek/
@cgevent
Лицензия — MIT (предыдущая версия DeepSeek v3 имела специальную лицензию), а общий объем файлов в релизе составляет 641 ГБ, в формате model-00035-of-000163.safetensors.
Модель вышла всего несколько часов назад, а разработчик MLX Авни Ханнун уже запустил ее со скоростью более 20 токенов в секунду на M3 Ultra Mac Studio с 512 ГБ (9499 долларов) с помощью mlx-lm и 4-битной версии, размер на диске до 352 ГБ.
Новая модель также представлена на OpenRouter, можно пробовать.
Пишут, что лучше, быстрее, сильнее.
И СИЛЬНО ДЕШЕВЛЕ.
Подробнее:
https://huggingface.co/deepseek-ai/DeepSeek-V3-0324
https://simonwillison.net/2025/Mar/24/deepseek/
@cgevent
⚡5👍1😱1
This media is not supported in your browser
VIEW IN TELEGRAM
DeepMesh
Новый подход, который оптимизирует генерацию сеток с помощью двух ключевых моментов:
- предварительное обучение, включающее новый алгоритм токенизации, а также улучшения в курировании и обработке данных
- внедрение обучения с подкреплением (RL) в генерацию 3D-сеток для достижения выравнивания.
Ставлю для себя отметку, что тут DeepMesh - это трансформер со своим особым алгоритмом токенизации.
https://zhaorw02.github.io/DeepMesh/
Новый подход, который оптимизирует генерацию сеток с помощью двух ключевых моментов:
- предварительное обучение, включающее новый алгоритм токенизации, а также улучшения в курировании и обработке данных
- внедрение обучения с подкреплением (RL) в генерацию 3D-сеток для достижения выравнивания.
Ставлю для себя отметку, что тут DeepMesh - это трансформер со своим особым алгоритмом токенизации.
https://zhaorw02.github.io/DeepMesh/
🔥4⚡3👍1