GameNGen: Нейросетевой движок генерирует DOOM в реальном времени

Исследователи создали GameNGen - первый игровой движок на нейронной модели.
Система интерактивно симулирует DOOM со скоростью 20+ кадров в секунду на одном TPU.
Качество генерации сопоставимо с JPEG-сжатием (PSNR 29.4).
Архитектура включает RL-агента для игрового процесса и диффузионную модель для генерации кадров.
Применены техники стабилизации для длительной авторегрессивной генерации.
Люди с трудом отличают реальную игру от симуляции на коротких отрезках.

Скоро нейросети будут генерировать игры быстрее, чем мы успеем в них играть! 🎮🤖

Когда мощность чуть подтянут - можно будет генерить миры неотличимые от реального в реальном времени.

Wake up Neo! Matrix has you.

#GameNGen #DOOM #neuralrendering
-------
@tsingular

Чем ещё занять самую умную модель за $200 в месяц?

Ну, пусть в DOOM поиграет что ли... :)

Люди, как всегда.

Не сразу, но подключился, разобрался и даже поиграл.

#OpenAI #DOOM #Operator
———
@tsingular

Интересный доклад Джона Кармака (это который Doom разработал, если кто не в курсе из молодежи)

Ключевые тезисы:

🎮 Физическое обучение RL на Atari:

- Создали робота с камерой и сервоприводами, который рубится в приставку Atari
- Задержка на реакциях ~180мс (как у человека: 150-200мс)
Проблемы: распознавание счета, износ джойстика, "фантомные" действия

🧠 Фундаментальные проблемы RL:
- Sequential multitask learning - агенты забывают предыдущие игры при изучении новых
- Transfer learning провален - даже после обучения на 10+ играх, новая игра изучается с нуля, что значительно отбрасывает ИИ в сравнении с человеком назад
- Sparse rewards - в реальности награды редкие, не как в видеоиграх

⚡️ Критика современных подходов:
- LLM не выход и не решение так как не работают как человеческий мозг
- Современные RL-алгоритмы разваливаются при добавлении латентности
- Replay ratio 8:1 нереалистичен для реального мира

🎯 Предложения:
- Новый бенчмарк: последовательное обучение на Atari играх
- Инвертированная RL-среда (среда вызывает агента, а не наоборот)
- Фокус на intrinsic rewards вместо внешней оценки

Главный вывод: Современные RL-системы ИИ далеки от человека в части обучения и адаптации.

AGI откладывается на неопределённый срок, короче.
Пока ИИшка сама не сможет играть в игры и системно в них выигрывать, - без специальной среды, а просто подойдя к игровому автомату, - человек будет эффективнее.

#Джон #Кармак #Doom #RL #AGI
———
@tsingular