Физическая установка состоит из промышленного робота-манипулятора IRB 1100 с шестью степенями свободы, смонтированного на двух линейных направляющих, что обеспечивает его свободное перемещение в двумерной плоскости. Высокоскоростные камеры фиксируют положение мяча, а система захвата движения отслеживает перемещения ракетки человека-соперника. Чтобы создать «мозг» для роботизированной руки, исследователи DeepMind разработали двухступенчатую систему, которая позволяет роботу не только выполнять отдельные технические приемы в настольном теннисе, но и гибко адаптироваться к стилю игры каждого конкретного соперника в режиме реального времени. Это означает, что роботу не требуется специальная подготовка для каждого нового игрока.
Архитектура системы построена на двух уровнях: низкоуровневых контроллерах навыков и высокоуровневом стратегическом блоке. Контроллеры низкого уровня представлены нейронными сетями, которые отвечают за выполнение конкретных приемов в настольном теннисе, например, ответа на подачу. Стратегический блок — более сложная система искусственного интеллекта, которая анализирует текущее состояние игры, адаптируется к стилю игры соперника и выбирает, какой из низкоуровневых навыков необходимо активировать для обработки каждого следующего удара.
Одной из ключевых инноваций этого проекта стал метод обучения моделей ИИ.
Исследователи применили гибридный подход, комбинируя обучение с подкреплением в симулированной физической среде с обучением на реальных данных. Это позволило роботу эффективно учиться на относительно небольшом наборе данных, включающем 17 500 реальных траекторий полета мяча.
Для совершенствования навыков робота потребовалось несколько итераций. После обучения на наборе данных об играх между людьми искусственному интеллекту позволили соревноваться с реальными противниками. Каждый матч генерировал новые данные о траекториях мяча и стратегиях человека, которые команда возвращала в симуляцию для дальнейшего обучения. Этот процесс, повторявшийся семь раз, позволил роботу постоянно подстраиваться под соперников растущего уровня мастерства и разнообразным стилям игры.
К финальному раунду ИИ изучил более 14 000 розыгрышей мячей и 3000 подач. Робот собрал целую базу знаний по настольному теннису, которая помогла ему преодолеть разрыв между симуляцией и реальностью.
Помимо технических аспектов, исследование также изучало человеческий опыт игры против искусственного интеллекта. Удивительно, но даже игроки, проигравшие роботу, сообщили о положительных впечатлениях. Во всех группах участников, независимо от результатов матчей, люди сошлись во мнении, что игра с роботом была «веселой» и «захватывающей». Этот положительный отклик предполагает применение искусственного интеллекта во время тренировок и в индустрии развлечений.
Система пока не идеальна. Ей сложно справиться с быстрыми или высокими мячами, а также с сильным вращением. У нее также возникают проблемы с ударами слева. Например, в видеоролике от DeepMind видно, как искусственный интеллект не успевает за быстрым ударом соперника. Исследователи подчеркивают, что при дальнейшем развитии система сможет соревноваться с профессиональными игроками в настольный теннис. DeepMind уже имеет опыт создания моделей искусственного интеллекта, способных побеждать людей в различных играх, таких как AlphaZero и AlphaGo.
