Кратко:
Вчера, 18 марта, во время выступления в рамках конференции GTC 2024 генеральный директор компании NVIDIA Дженсен Хуанг (Jensen Huang) официально представил нового NPC на базе ИИ под названием Covert Protocol, который работает на базе платформы Inworld AI и позволяет разработчикам видеоигр создавать более продвинутых неигровых персонажей. Кроме того, в рамках презентации СЕО компании отметил, что технологии Inworld AI теперь интегрированы в NVIDIA ACE for Games — платформу Avatar Cloud Engine, представленную в прошлом году на выставке Computex.
Собственно, NVIDIA ACE for Games представляет собой полноценный конвейер по созданию «цифрового человека» — для начала используется инструмент Riva, который обеспечивает автоматическое распознавание речи человека. Например, геймер может в игре взаимодействовать с NPC посредством голоса, задавая вопросы неигровому персонажу. После этого подключается технология преобразования текста в речь, которая построена на базе большой языковой модели Nemotron. Она «слушает» речь пользователя, преобразовывает его вопросы в текстовые запросы, после чего передаёт в систему для получения ответа от NPC.
Здесь разработчики могут формировать различного рода истории персонажей, их характеры и особенности (можно настраивать личность, объём знаний, цели, долговременную память и параметр отношения между персонажами), которые соответствуют вымышленному миру видеоигры. Следующим шагом идёт обратная трансформация текста-ответа в речь — игра отвечает на вопрос пользователя в текстовом формате, после чего Riva озвучивает это сообщение. Последним этапом формирования «цифрового человека» выступает технология Audio2Face — она автоматически создаёт выразительную лицевую анимацию для неигровых персонажей на основе лишь звукового источника.
В демонстрации, которую выпустила компания NVIDIA, новейшая разработка выглядит вполне убедительно — геймер получает возможность общаться с NPC, который очень сильно похож на живого собеседника. Теоретически, это позволит оживить множество жанров в игровой индустрии, которые сейчас опираются на скрипты и шаблонные ответы в диалогах. Например, в ролевых играх данный инструмент позволил бы в корне изменить диалоговую систему. Но, к сожалению, не совсем понятно как это скажется на производительности игры, ведь все эти процессы по распознаванию речи и преобразованию текста в речь требуют дополнительных вычислительных ресурсов системы.
