Исследовательская команда Google представила инновационный игровой нейродвижок GameNGen, который в реальном времени анализирует нажатия клавиш и генерирует игровой процесс Doom покадрово. Визуально создается впечатление, что пользователь играет в Doom, однако все окружение и события на экране создаются нейросетью, сообщает портал "Хабр".
Для реализации проекта исследователи сначала обучили агента играть в Doom, что позволило автоматизировать сбор данных для датасета основной нейросети. По словам исследователей, использование людей для этой задачи значительно затянуло бы процесс.
Собранные данные были использованы для тренировки модели Stable Diffusion 1.4, которая научилась генерировать следующий кадр игры на основе текущего и действий игрока. Разработчики также уделили внимание устойчивости создаваемых кадров, чтобы объекты сохраняли свои позиции, а персонажи не меняли внешний вид.
В результате GameNGen показал способность интерактивно имитировать классический Doom со скоростью более 20 кадров в секунду при запуске на одном тензорном процессоре (TPU) от Google.
Для оценки качества генерации была привлечена группа из 10 экспертов, которым показали 130 роликов, где симуляция воспроизводилась одновременно с игрой. Длительность роликов составляла 1,6 и 3,2 секунды. Экспертам предлагалось определить запись настоящей игры. Для роликов длительностью 1,6 секунды доля правильных ответов составила 58%, для 3,2-секундных — 60%.
