Постигаем сингулярность

Чуваки из Infinite-Realities (я писал о них ранее) довели свою систему создания 3D/4D сцен из сплатов до коммерческого состояния. Можно запечатлеть всё: от сложных динамичных кадров для кино, так и моменты с семьёй.

В полученной сцене можно свободно управлять камерой, а детализация на высочайшем уровне. Всё воспроизводится в реальном времени в 30 fps на стороннем движке, работающем в виртуальной среде с частотой 120 fps.

Женим теперь это всё с голографическими дисплеями Looking Glass и киберпанк официально прибыл.

Видео в хайрезе на Vimeo
Сайт

Принес вам забавную архитектурную ИИ-рисовалку.
Этакая nano-krea, сделанная одним человеком на коленке и питонге. Заточенная как бы под архитектурку (хотя там просто Дримшейпер модель с возможностью замены).
Полный опенсорс, несложная установка, можете сами попробовать.
Прикольная фишка - в качестве входного изображения, можно подать ему на вход захват области экрана, например окна Иллюстратора, где можно рисовать сплайнами. Справа будет ИИ-подрендер вьюпорта Иллюстратора.
Поглядите примерчики, забавно.
https://github.com/s-du/ScribbleArchitect?tab=readme-ov-file

Ну, за левел-дизайнеров и пропс-инженеров.

Помянул Юнити и вспомнил, что забыл написать про Holodeck - они тут подались на CVPR 2024 и обновили код на Гитхабе.
Это генератор 3Д-сцен из текста. Чем-то напоминает Прометей от Андрея Максимова.

Holodeck может генерировать различные сцены, например, игровые автоматы, спа-салоны и музеи, корректировать дизайн в зависимости от стиля и улавливать семантику сложных запросов, таких как "квартира для научного сотрудника с кошкой" и "офис профессора, который является поклонником "Звездных войн".

Он не генерирует сами объекты, он их тащит из датасета Objaverse:
Holodeck использует GPT-4 для получения знаний о том, как может выглядеть сцена, и использует 3D-ассеты из Objaverse для наполнения сцены разнообразными объектами.

Это скорее расставлятор 3Д-ассетов по текстовому запросу.

Его также используют для обучение агентов навигации в новых сценах без использования разметки и данных, созданных человеком. Источник синтетики без необходимости наруливать миры в Юнити.

Код есть, но там все из палок и Юнити.

А я увидел в сети новый термин - "Синтиверс". Это когда ваши виар-мирки или игровые локации генерируются под запрос в реальном времени. Подумал о чем-то - хоп, твой мир перед тобой.

Продолжаем за 3Д.

Rodin Gen-1 атакует меня письмами.

Тизерят новую модель, а пока предлагают поиграть с их демо вот тут:
https://huggingface.co/spaces/DEEMOSTECH/Rodin

Но я пошел к ним на сайт, там гораздо больше опций и задал им перцу, результаты ниже.

Лама - это не только ценный мешь.

Это ещё и понимание меша как текстового описания.

Действительно: obj или usd - это же текст

Интерн из нвидии соорудил интересный проект из LLama и 3Д.

Там и генерация и "понимание" 3д и описание.

"Новый подход, который представляет координаты вершин и определения граней 3D-сетки в виде обычного текста, что позволяет напрямую интегрировать их с LLM без расширения словарного запаса."

Реп на гитхабе есть, но код ещё не залит.



https://research.nvidia.com/labs/toronto-ai/LLaMA-Mesh/

@cgevent