Команда ученых из Google Research, Google Deep Mind и Тель-Авивского университета разработала метод воссоздания и симуляции видео игр с помощью машинного обучения. В новой работе, опубликованной на arXiv, они представили свою модификацию обучающего приложения GameNGen, которое успешно воспроизводит и имитирует фрагменты игры Doom.
Воссоздание игр с помощью нейронных сетей включает в себя два основных аспекта: графику и игровой процесс. Используя модели диффузии, команда адаптировала Stable Diffusion 1.4, чтобы научить систему создавать новые изображения и видео, основанные только на данных об игре Doom.
После тренировки на видео с процессом игры, GameNGen смог генерировать реалистичные фрагменты игрового процесса со скоростью более 20 кадров в секунду. Экспериментальные данные показали, что более половины людей не смогли отличить созданные ИИ фрагменты от реального игрового действия.
