This media is not supported in your browser
VIEW IN TELEGRAM
Нейрориг
Ну за риггеров, сетаперов и Миксамо.
Немного узкая тема, для тех, кто занимается анимацией персонажей.
Тут вот в связи с наплывом 3Д-генераторов, которые замахиваются на генерацию персонажей, возникает вопрос, а что дальше делать с этими обмылками. Кроме как кидать их в 3Д-принтер или в музей метаверса.
Ну и мы тут периодически поговариваем про автоматизацию риггинга.
Риггинг - это когда у вас есть полигональная модель персонажа и надо туда вставить скелет, потом привязать разные участки модели к разным костям (это скининг), покрасить веса этой привязки, поглядеть, что все ломается на сгибах, повторить это 57 раз, накинуть инверсную кинематику, а потом еще навешать разных локаторов и кубиков, чтобы тянуть персонажа за разные части тела в разных направлениях (а не гнуть кости вручную прямой кинематикой).
Короче, вот вам китайский нейроавториг.
Одевает персонажа в сетап менее, чем за секунду. Причем топология скелета подбирается нейросеткой под персонаж (тут у ригеров мозг немного ломается).
Я просто процитирую эту дерзость:
Мы представляем Make-It-Animatable - новый data-driven метод, позволяющий сделать любую 3D-модель персонажа готовой к анимации персонажа менее чем за секунду, независимо от ее формы и позы. Наша единая система генерирует высококачественные весовые коэффициенты (скининг!), кости и трансформы позы. Благодаря использованию автоэнкодера шейпа на основе частиц наш подход поддерживает различные 3D-представления, включая полигональные сетки и 3D Gaussian splats. Кроме того, мы используем coarse-to-fine representation and a structure-aware modeling strategy, чтобы обеспечить точность и устойчивость даже для персонажей с нестандартной структурой скелета.
#явшоке
Дальше олды со слезой вспоминают майский Advanced Skeleton и скелет Миши Бажуткина, зумеры поминают Миксамо, а мы пытаемся потестить это дело тут:
https://huggingface.co/spaces/jasongzy/Make-It-Animatable (хф демо, может не работать)
и тут:
https://make-it-animatable.jasongzy.com/ (более ловкое демо, градио пока живой тут)
Совсем упоротые риггеры смотрят видос:
https://youtu.be/mH6L9r_28LA
и читают сайт проекта:
https://jasongzy.github.io/Make-It-Animatable/
В репе https://github.com/jasongzy/Make-It-Animatable - пока пусто, но очень надеюсь, что код будет, и его можно будет присунуть в Блендор и Майя.
Справедливости и эрудиции ради замечу, что такие попытки уже делались у Rokoko, где они совмещают нейро- и тру- мокапы.
Но тут это выглядит прям вызывающе - ИИ-риг, как он есть.
Ну, за риггеров (Скифу привет).
@cgevent
Ну за риггеров, сетаперов и Миксамо.
Немного узкая тема, для тех, кто занимается анимацией персонажей.
Тут вот в связи с наплывом 3Д-генераторов, которые замахиваются на генерацию персонажей, возникает вопрос, а что дальше делать с этими обмылками. Кроме как кидать их в 3Д-принтер или в музей метаверса.
Ну и мы тут периодически поговариваем про автоматизацию риггинга.
Риггинг - это когда у вас есть полигональная модель персонажа и надо туда вставить скелет, потом привязать разные участки модели к разным костям (это скининг), покрасить веса этой привязки, поглядеть, что все ломается на сгибах, повторить это 57 раз, накинуть инверсную кинематику, а потом еще навешать разных локаторов и кубиков, чтобы тянуть персонажа за разные части тела в разных направлениях (а не гнуть кости вручную прямой кинематикой).
Короче, вот вам китайский нейроавториг.
Одевает персонажа в сетап менее, чем за секунду. Причем топология скелета подбирается нейросеткой под персонаж (тут у ригеров мозг немного ломается).
Я просто процитирую эту дерзость:
Мы представляем Make-It-Animatable - новый data-driven метод, позволяющий сделать любую 3D-модель персонажа готовой к анимации персонажа менее чем за секунду, независимо от ее формы и позы. Наша единая система генерирует высококачественные весовые коэффициенты (скининг!), кости и трансформы позы. Благодаря использованию автоэнкодера шейпа на основе частиц наш подход поддерживает различные 3D-представления, включая полигональные сетки и 3D Gaussian splats. Кроме того, мы используем coarse-to-fine representation and a structure-aware modeling strategy, чтобы обеспечить точность и устойчивость даже для персонажей с нестандартной структурой скелета.
#явшоке
Дальше олды со слезой вспоминают майский Advanced Skeleton и скелет Миши Бажуткина, зумеры поминают Миксамо, а мы пытаемся потестить это дело тут:
https://huggingface.co/spaces/jasongzy/Make-It-Animatable (хф демо, может не работать)
и тут:
https://make-it-animatable.jasongzy.com/ (более ловкое демо, градио пока живой тут)
Совсем упоротые риггеры смотрят видос:
https://youtu.be/mH6L9r_28LA
и читают сайт проекта:
https://jasongzy.github.io/Make-It-Animatable/
В репе https://github.com/jasongzy/Make-It-Animatable - пока пусто, но очень надеюсь, что код будет, и его можно будет присунуть в Блендор и Майя.
Справедливости и эрудиции ради замечу, что такие попытки уже делались у Rokoko, где они совмещают нейро- и тру- мокапы.
Но тут это выглядит прям вызывающе - ИИ-риг, как он есть.
Ну, за риггеров
@cgevent