Все ждали, что к Сигграфу Интел бахнет свои топовые карты в серии ARC, о которой они так много пишут. Но они скромно пискнули моделями Arc Pro A40 и Arc Pro A50, у которых характеристики не просто скромные, а никакие.

6 ГБ памяти GDDR6, четыре порта Mini DP 1.4.Производительность 3.5 TFLOPS/4.8 TFLOPS. Если что, производительность дряхленькой Radeon HD 6970 (она вышла под конец 2010 года) — 2,7 TFLOPS.

И хотя у них на странице ARC-ов гордо красуются Blender, HandBrake, Premiere Pro, DaVinci Resolve и даже Gigapixel AI, понятно, что ни о каком современном посте не может быть и речи.

Хотя написано красиво: Professional Graphics Begins Here

Кроме того, как Интел собираются наверстывать отставание в области написания драйверов, которые, собственно говоря, и составляют интеллектуальную начинку, совершенно непонятно.

Что они противопоставят Оптиксу от Нвидия или Адреналину от AMD?

К Сигграфу Nvidia подсобрала свои Neuro SDK в одну кучу и опубликовала их в одном месте под соусом "создания контента для Метаверса".
Там как бы список нейронок для анимации, рендеринга, симуляции и пр.
Выглядит внушительно.

Kaolin Wisp
Instant Neural Graphics Primitives - нерфы
3D MoMa - нейрорендеринг
GauGAN360 - обновление Гаугана!
Omniverse Avatar Cloud Engine (ACE)
NeuralVDB — нейросжатие VDB!
Omniverse Audio2Face
ASE: встраивание навыков анимации
TAO Toolkit оценка поз

Свежий список с деталями тут:
https://blogs.nvidia.com/blog/2022/08/09/neural-graphics-sdk-metaverse-content/

Ну, за панорамщиков! И матте-пайнтеров по дороге.

Как пишет сама Нвидия "Нужна environment map, но нет в библиотеке или под рукой? Неохота таскаться по округе с камерой? Не хотите возиться с HDRI? Тогда ИИ идет к вам!"

Они расширили своего Гогена до разверток для панорам (что напрашивалось).
Теперь можно помахать мышкой и накропать ландшафтов с помощью ИИ, который умеет рисовать морями, горами и долами.

Интерфейс - адищще, и зачем-то убрали текстовый ввод (а ведь было по моде, с промптом, в прошлой версии).

Поглядите видео.

А демо тут:
https://imaginaire.cc/gaugan360/

Помните я распинался про ассетное мышление?
Пошло в массы.
Academy Software Foundation, объявила о выпуске библиотеки ассетов для цифрового производства (DPEL), демонстрирующей масштаб и сложность современного кинопроизводства, включая(в первую очередь) компьютерную графику, визуальные эффекты и анимацию.
DPEL был создан прежде всего для тестирования софта и железа на ассетах из реального продакшена.
DPEL размещает несколько ресурсов при запуске:

Стандартный оценочный материал Американского общества кинематографистов (StEM2), который включает 17-минутный короткометражный фильм «Миссия», предназначенный для стресс-тестирования современных систем обработки изображений и демонстрации с высоким динамическим диапазоном и высокой частотой кадров.

ALab Phase 2 от Animal Logic, полная производственная сцена с более чем 300 ассетами, двумя анимированными персонажами и запеченным процедурным мехом и тканью.
Библиотека объемных облаков Intel, коллекция из 30 облачных ресурсов VDB, включая как плотные, так и разреженные облака, с разным разрешением.

Персонаж Ноа из Amazon Web Services (AWS) — полностью анимируемый главный герой с ригом, геометрией, текстурами и прической, представленный в Maya. Ноа — герой короткометражного фильма «Гаечный ключ», созданного собственной производственной командой AWS FuzzyPixel.

«Когда ассеты из продакшене становятся доступными для сообщества, выигрывают все: разработчики программного и аппаратного обеспечения могут лучше тестировать и демонстрировать свои продукты, исследователи могут проверять свои идеи и вдохновляться, а кинематографисты, в свою очередь, получают более качественные и надежные инструменты для использования. — Эрик Эндертон, директор по технологиям рендеринга фильмов в NVIDIA и председатель технического руководящего комитета DPEL. «Когда Disney выпустила набор данных острова Моана, это вызвало большой ажиотаж. Мы хотим поощрять эти щедрые пожертвования и расширять доступные возможности».

Этакий Опен Сорс для ассетов из поста. Очень круто.

✨ Вышел StableDiffusion — Разбираем подробно что нас ждет дальше и что это такое!

📇 Начнем с новостей:

StableDiffusion вышел в Stage I: ресерчеры смогут получить доступ к модели уже сегодня! Для этого веса нужно будет запросить. Но не стоит расстраиваться.

Публичный релиз состоится в ближайшее время, как только будут завершены последние этапы подготовки модели к "публичной жизни". А еще сегодня ожидается последняя волна инвайтов на закрытое бета тестирование в котором уже приняли участие 10,000 юзеров, генерируя около 1,7M изображений за сутки.

🌬 Что такое StableDiffusion?

StableDiffusion — это самая удачная смесь в Text2Image, а именно гибрид Latent Diffusion и Imagen:

> Latent Diffusion (LDM) позволяет в производить диффузию на в пространстве пикселей, а в латенщине. Вместо разрешения 64х64 — выходит сразу 512, благодаря Encoder-Decoder подходу. Если короче: деталей больше, а вычислений меньше.

> От LDM StableDiffusion отличает тот факт, что интформация от текста течет с frozen LM (а именно CLIP), как в случае с T5 в Imagen.

> Оказалось что CLIP вектора куда лучше шарят изображения и они выходят прям очень-очень крутыми (все же клип учился на изображениях и LM косвенно тоже)! И хотя понимание отношений объектов (кто слева, кто справа, и тд) чуть лучше и T5, но качество картинки у CLIP лучше на порядок!

Модель сделали ребята из StabilityAI и CompVis, обучая SD 0.8B на супер компьютере Ezra-1 AI UltraCluster, состоящим из 4,000 A100, используя для трена 2B пар изображение-текст из датасета LAION 5B, файнтюня модель на LAION-Aesthetics (сабсете).

✨ Для генерации нативного 512x512 изобрадения хватит 10 GB VRAM. Так что все от 2080ti до 3090ti кажется хорошим вариантом для дома! Ну и в Colab модель конечно же тоже влезет, даже в бесплатный!

📇 Blog Post
💻 Code StableDiffusion
👁 Веса Модели (model card)

🤖 Мишин Лернинг ✖️ Н е й р о э с т е т и к а

Unity показывает зубы.

Демо со львами - это явное обозначение границ прайда и демонстрация в духе "посмотрите, наконец, зачем мы купили Weta FX, Ziva, Speedtree и еще много всего".

И все это добро крутится в 4К при 30fps(!). Даже на PS5.

Подробнейший разбор в блоге у Unity.
Там львиная доля про то, как делали волосы и мех, про Wig, GPU-driven clustered hair simulation, про новый плейер Ziva RT Unity, ML, Ziva VFX 2.0, Wētā Digital, SpeedTree, SyncSketch и Unity Editor.

Основное сообщение - а теперь все это можно наруливать очень быстро, а рендерить еще быстрее. В реалтайме.
Ну и ссылки на гитхаб, где волосы от Unity лежат как open source.

Ссылка(обязательна к просмотру):
https://blog.unity.com/technology/new-real-time-demo-lion-unity-art-tools-in-action-and-the-future-of-weta-digital-for

"Для рендеринга волос и меха Unity разработали набор улучшений алгоритма программной растеризации на основе GPU-tile в HDRP со значительной оптимизацией для рендеринга нескольких миллионов уникальных прядей волос. Этот метод обеспечил плавное визуальное отображение с analytic anti-aliasing с независимой от вычислительного порядка прозрачностью для прядей волос, а также улучшил усовершенствованные физические модели освещения для рендеринга волос кинематографического качества.

Этот подход означает, что теперь мы можем визуализировать миллионы отдельных прядей волос, движущихся независимо и уникально, без артефактов. Он точно сохраняет блики волос и то, как свет просвечивает сквозь мягкие волосы, например, на шерсти детеныша или гриве льва в солнечном свете."

Свежие утечки от runwayML.
Выглядит задорно и круто.
Похоже надо пересчитывать оставшихся композеров.

Подробнее тут: https://twitter.com/i/status/1557517982095626241

Что-то день начался с Unity, придется продолжать в том же духе.
Вот видос от Oliver Pavicevic - все это сделано в Unity. Станция Чоп. Гляньте его твиттор, у него там много такого добра. Он даже свой тул под названием Deckard запилил для таких штук.
https://twitter.com/OlixOliver

Тамагоччи на стероидах.
Многие сегодня написали, про симметричный ответ Маску от Xiaomi.
Они анонсировали конкурента Тесла Бота - робота-гуманоида CyberOne.

Однако самое интересное остается, похоже за кадром.
Пусть он неуклюжий и ходит как слегка парализованный, но его основная фишка в распознавании окружающей действительности (некой классификации ея) и, что совсем уж интересно, в распознавании эмоций окружающих его кожаных мешков.

Политкорректный рост ростом 177 см, вес 52 кг (немного!), размах рук 168 см. 21 степень свободы в движении и скорость отклика в реальном времени 0.5 мс для каждой степени свободы.
Про крутящиеся моменты и прочие инженерные подробности почитайте по ссылке.

А я еще раз акцентирую, что эта тварь может реконструировать окружающий аналоговый мир у себя в башке (чувствуете проброс в метаверсик). Для этого у нее под капотом есть собственная система распознавания семантики окружающей среды и система распознавания голосовых эмоций MiAI, что позволяет ему распознавать 85 типов звуков окружающей среды и 45 классификаций человеческих эмоций. Это пока.
Маркетологи уже пишут, что тварюга может определять позитив или грусть и даже утешать кожаных бедняг в моменты духопадения.

Вместо лица у него изогнутый OLED module to display real-time interactive information.

В общем с робособаками разобрались (ибо китайцы уже научились их копировать), теперь разбираемся с робогуманоидами, ибо за дело взялись китайцы, а не только Илончик.

Киберпанк is coming.
https://www.mi.com/global/discover/article?id=2754

Опять про Юнити.

В аккурат к Сигграфу, Ziva вышла из беты.
Теперь вы можете:
- сами скачать с сайта Ziva Face Trainer Demo Face.

- "зарегистрировать" свою сетку - "Перед тем как загрузить свою сетку, вы должны следовать простым инструкциям по регистрации лица, чтобы подготовить сетку к обучению. Сопоставьте вашу сетку с нашей общей сеткой лица, используя комбинацию выделения точек и выделения полигонов в Wrap3, очистите результаты сопоставления сетки в Wrap3 или Maya и увеличьте разрешение вашей сетки с помощью OpenSubDiv в Maya". Занимает 2 часа (по слухам на сайте).

- загрузить сетку в облако - в Ziva Face Trainer pipeline.

Через час скачиваете your real-time face results will be rendered and shared with you via your Ziva Store account. The Ziva Face Trainer process is fast and fully automated.

Пока на сайте стоит цена в 0 долларов:
ZFT Demo Face (Maya-only)
*Complimentary 30-day ZivaRT Maya Player License included

Налетай!

https://zivadynamics.com/ziva-face-trainer

Смотрите какой курс MIT обнаружился в сети.

MIT 6.S192: Deep Learning for Art, Aesthetics, and Creativity

Бесплатно, в полном доступе.
Причем добрый человек и куратор курса Ali Jahanian заботливо выложил это напрямую в ютюб одним плейлистом.
https://www.youtube.com/playlist?list=PLCpMvp7ftsnIbNwRnQJbDNRqO6qiN3EyH

Поглядите, какой там жир:

Computational Aesthetics, Design, Art
Generative Models as Data++
Efficient GANs
The Art Of Deception - Encountering Perception as a Creative Material
Painting with the Neurons of a GAN
Explorations in AI for Creatvity
The Shape of Art History in the Eyes of the Machine
How Machine Learning Can Benefit Human Creators
Neural Abstractions
Magenta: Empowering creative agency with machine learning
Artificial Biodiversity
AI+Creativity, an Art Nerd's Perspective
Surfacs, Objects, Procedures: Integrating Learning and Graphics for 3D Scene Understanding
Towards Creating Endlessly Creative Open-Ended Innovation Engines
Creative-Networks
Human Visual Perception of Art as Computation
Using AI in the service of Graphic Design
Dreaming and Imagination of AI
Easy 3D Content Creation with Consistent Neural Fields
Generative Art Using Diffusion
Between Art, Mind, & Machines
Diffusion Probabilistic Models

Курс непростой, это не инструкции какие кнопки жать в дискорде и какие флаги присовывать в миджорни. Но есть и очень занятные и понятные вещи типа Neural Abstractions.

Кстати, следующим постом напишу, как я лихо выкусил все эти очаровательные заголовки, чтобы привлечь ваше внимание.
https://ali-design.github.io/deepcreativity/

Лайфхак, с помощью которого я сделал предыдущий пост.
Как выкусить с сайта данные из таблицы и быстро вставить их в старый эксель или в пост.

Нвидия к Сигграфу разошлась не на шутку.
Кнопка "сделать красиво" все ближе, а запотевший бокал иискриистого уже ждет аниматоров. Не чокаясь.
На входе голос, аудиофайл.
А дальше ИИ от audio2face все делает сам. Распознает фонемы и эмоции (по голосу!) и генерит анимацию. Эмоционально окрашенную притом.
На входе звук, на выходе готовая анимация.
Куда прикатился мир?

Пока виарщики думают как трекать руки и выкинуть наконец эти громоздкие контроллеры, китайцы все давно придумали. И не в метаверсе, а в кожаной вселенной.

JetRacer от Zapata не имеет видимых винтов и работает на керосине, а не от батарей.

А ещё они набирают бета-тестеров.
25 штук

Летает с использованием 10 микро-реактивных двигателей, поднимаясь на высоту до 3000 метров и развивая максимальную скорость 250 км/ч.

И это не рендер.

Берём?