Genie 2: новый генератор виртуальных миров от Google DeepMind

А тем временем в подземельях Гугла зреет Матрица!

Революционная модель создаёт интерактивные 3D-пространства из единственного изображения.

Технология поддерживает управление через классические устройства ввода и формирует миры в которых можно перемещаться около минуты.

Система генерирует различные ракурсы, физику, освещение, спецэффекты и анимацию персонажей.

Автоэнкодер и трансформерная архитектура обеспечивают запоминание скрытых элементов виртуального окружения.

Начальные изображения стартовых локаций можно генерить в Imagen 3, но это не так важно.

Важно, что платформа предназначена для тренировки цифровых агентов и быстрого прототипирования игровых сред.

Т.е. по сути можно автоматически создавать миры в которых агенты будут тренироваться работе в виртуальных и дальше в реальных мирах.

#Genie2 #DeepMind #GameDev
-------
@tsingular

🎮 Microsoft выпустила Muse - модель для генерации игрового процесса

Интересные новости от Microsoft Research - в открытый доступ выпустили модель Muse, обученную на геймплее игры Bleeding Edge.

🔧 Архитектура:
- Это World and Human Action Model (WHAM) - первая модель, способная генерировать как визуальный ряд, так и управляющие действия игрока
- Обучена на 1 млрд пар изображение-действие (это ~7 лет непрерывного геймплея!)
- Текущее разрешение 300×180 пикселей (начинали со 128×128)
- Есть экспериментальная real-time версия на 10 fps

🧠 Ключевые возможности:
- Consistency: генерирует последовательный геймплей с учетом физики игры
- Diversity: может создавать разные варианты развития событий из одной начальной точки
- Persistency: "запоминает" изменения и встраивает их в дальнейшую генерацию

💡 Где это может быть применимо помимо игр:
1. Симуляторы и обучение:
- Генерация сценариев для тренажеров
- Создание вариативных ситуаций для обучения
- Моделирование нестандартных случаев
- Тактическое предсказание

2. Робототехника:
- Обучение роботов через демонстрацию действий
- Генерация последовательностей движений
- Предсказание физических взаимодействий

3. Промышленный дизайн:
- Быстрое прототипирование интерфейсов
- Тестирование взаимодействия пользователя с продуктом
- Генерация вариантов дизайна с учетом физических ограничений

⚡️ Особенно интересно:
Microsoft открыла веса модели и демо WHAM для экспериментов. Можно попробовать на Azure AI Foundry.

А будущие анонсы по ИИ в играх от MS можно отслеживать у них в Gaming-AI-Hub

🤔 Самое интересное, конечно, - это потенциал технологии вне игровой индустрии.
Теперь пригодятся все миллиарды часов записи стримов из игр на youtube и twitche. Twitter же тоже запись стримов игр запустил, - не просто так.

#Microsoft #GameDev
———
@tsingular

🔥 3D AI Studio: генерация 3D-моделей на стероидах

Новый анонс 3D AI Studio — пожалуй, самый мощный инструмент для быстрой генерации 3D-моделей из текста или изображений.

Что впечатлило:
- Генерация занимает 15-25 секунд (не часы, как в традиционном 3D-моделировании!)
- 300,000+ пользователей и рейтинг 4.4/5 — выглядит как достойная альтернатива Meshy и Alpha3D
- Профессионалы из Nvidia и игровых студий уже активно используют

⚡️Возможности:
1. Text-to-3D — описываешь что хочешь, получаешь 3D-модель (25 кредитов)
2. Image-to-3D — загружаешь 2D картинку, AI превращает в объёмную модель
3. AI Texturing — автоматическое текстурирование (бесплатно!)
4. Remeshing — оптимизация полигональной сетки (тоже бесплатно)
5. Поддержка всех популярных форматов — OBJ, FBX, STL и др.

Для кого полезно:
🎮 Инди-разработчикам игр — вместо недель создания ассетов, можно генерировать десятки моделей за день
🛒 E-commerce — быстрое создание 3D-моделей товаров для AR-примерки
🖨 3D-печать — модели уже оптимизированы для печати
🎬 Видео и анимация — быстрое прототипирование персонажей

Технические детали:
Используют комбинацию нейросетей — одна для извлечения 3D-геометрии из 2D, другая для текстурирования. Интересно, что система автоматически создаёт LOD (level of detail) для оптимизации производительности и поддерживает различные стили — от фотореалистичных до воксельных и LEGO-подобных.

Кейсы использования:
Один разработчик упоминает, что задача, на которую раньше уходило 6 часов (моделирование пропсов), теперь занимает 15 минут. Сравнивая с традиционным пайплайном, это колоссальная экономия на аутсорсинге моделирования.

Есть нюансы:
- Работает по кредитной системе (25 кредитов за генерацию)
- Для сложных моделей всё равно потребуется доработка в Blender
- Судя по скриншотам, с органикой (люди, животные) справляется хуже, чем с неорганикой

Технический лайфхак:
В блоге описывают интересную связку: 3D AI Studio + Blender + Mixamo для быстрого создания анимированных персонажей. Сначала генерируешь модель, потом в Blender добавляешь арматуру, и наконец в Mixamo автоматически риггинг и анимации. То, что раньше занимало недели, теперь можно сделать за пару часов.

А вообще забавно наблюдать, как AI стремительно заходит в сферу 3D. Ещё пару лет назад генерация приличной 3D-модели из текста казалась фантастикой, а сейчас это доступно любому за копейки.

#3D #GameDev
———
@tsingular

OpeanAI GPT 4o может нарисовать вам одним запросом раскадровку для разработки игры.

Запрос:

Create a detailed pixel art frame animation for a game, where the final image is divided into multiple sub-images, each serving as a continuous animation keyframe. Design the sequence to depict [a wizard casting a spell: begin with intricate hand motions, then show the wizard conjuring a vibrant fireball, and finally capture the moment of casting the fireball.] Ensure the keyframes transition smoothly and continuously, and include as many frames as possible to achieve a high level of fluidity and detail in the animation.

В принципе уже можно собирать пайплайн для автоматической сборки всей игры целиком.

Source

#openai #GPT-4o #gamedev
------
@tsingular