Google обучает своих роботов с использованием искусственного интеллекта Gemini, чтобы они могли улучшить свои способности навигации и выполнения задач. Команда робототехники DeepMind объяснила: Новая исследовательская работа Как длинное контекстное окно Gemini 1.5 Pro, которое ограничивает объем информации, которую может обрабатывать модель искусственного интеллекта, может позволить пользователям более легко взаимодействовать с роботами RT-2, используя инструкции на естественном языке.
Эта технология работает путем съемки видеотура по определенной области, например, по дому или офису, где исследователи используют программное обеспечение Gemini 1.5 Pro, чтобы заставить робота «смотреть» видео, чтобы узнать об окружающей среде. Затем робот может выполнять команды на основе того, что он наблюдал, используя вербальный и/или визуальный вывод — например, направлять пользователей к розетке после того, как он показал ему телефон и спросил: «Где я могу его зарядить?» DeepMind сообщает, что ее робот с двигателем Gemini достиг 90-процентной успешности выполнения более 50 пользовательских инструкций, данных на рабочей площади более 9000 квадратных футов.
Исследователи также нашли «предварительные доказательства» того, что программное обеспечение Gemini 1.5 Pro позволяет роботам планировать, как выполнять инструкции, помимо простого руководства. Например, когда пользователь, у которого на столе много банок колы, спрашивает бота, доступен ли его любимый напиток, команда сказала, что Gemini «знает, что бот должен перейти к холодильнику, проверить, есть ли там банки с колой, и затем вернитесь к пользователю и сообщите ему: «В результате». DeepMind заявляет, что планирует продолжить исследование этих результатов.
Видеодемонстрации Google впечатляют, хотя четкие видеоролики после того, как бот подтверждает каждый запрос, скрывают, что обработка этих инструкций занимает от 10 до 30 секунд, согласно исследовательской работе. Возможно, пройдет некоторое время, прежде чем мы поделимся своими домами с более продвинутыми роботами, картографирующими окружающую среду, но, по крайней мере, эти роботы смогут найти наши потерянные ключи или кошельки.
