Совместная группа робототехников из Стэнфордского университета и Исследовательского института Toyota выяснила, что добавление аудиоданных к визуальным данным при обучении роботов помогает улучшить их навыки обучения. Исследование опубликовано на сервере препринтов arXiv.
Ученые отметили, что практически все обучение роботов на базе искусственного интеллекта связано с предоставлением им большого объема визуальной информации, при этом игнорируются сопутствующие звуковые данные. Они задались вопросом, поможет ли добавление микрофонов роботам и обучение их сбору информации о том, как должен звучать процесс выполнения задачи.
Например, если робота нужно научить открывать коробку с хлопьями и наполнять ею миску, ему может быть полезно слышать звуки открытия коробки и хлопьев, сыплющихся в миску. Чтобы выяснить это, команда разработала и провела четыре эксперимента по обучению роботов.
В первом эксперименте робота учили переворачивать бублик на сковороде с помощью лопатки. Во втором — робота учили пользоваться ластиком, чтобы стереть изображение с доски. В третьем требовалось пересыпать кубики из одной чашки в другую, а в четвертом — выбрать нужный размер клейкой ленты из трех доступных образцов и закрепить ею провод на пластиковой полоске.
Во всех экспериментах использовался один и тот же робот с захватывающим устройством. Все задания выполнялись двумя способами: только с использованием видео и с использованием видео и звука. Исследовательская группа также варьировала факторы обучения и выполнения, такие как высота стола, тип ленты или вид изображения на доске.
Проанализировав результаты, ученые сравнили, насколько быстро и легко роботы обучались и выполняли задачи, а также их точность. Они обнаружили, что добавление звука значительно улучшает скорость и точность выполнения некоторых задач, но не всех.
Например, добавление звука к задаче с кубиками резко улучшило способность робота определять, есть ли в чашке кубики. Также звук помог роботу понять, прилагает ли он достаточное давление к ластику, из-за специфического звука, который при этом возникает. С другой стороны, добавление звука не сильно помогло в том, чтобы определить, успешно ли перевернут бублик или полностью ли стерто изображение с доски.
