Исследователи продемонстрировали, что взлом роботов может привести к катастрофическим последствиям. Например, машины на автопилоте можно заставить намеренно сбивать пешеходов, а роботизированных собак — следить за людьми, использовать огнемёты или находить места для установки взрывных устройств. Профессор Джордж Паппас, автор исследования, предупреждает: «На сегодняшний день большие языковые модели не достаточно безопасны для интеграции с физическим миром».
Технология RoboPAIR использует программный интерфейс API роботов, чтобы направлять команды в формате, который устройство выполняет как код. Подобно тому, как ИИ-чатботы можно «освободить» для выполнения запрещённых действий, роботы, оснащённые большими языковыми моделями, уязвимы для схожих атак. По словам Паппаса, традиционно взлом языковых моделей и управление роботами изучали разные направления науки, что привело к недостаточной защите в этой области.
В отличие от применения БЯМ для текстов и рекомендаций, роботы, управляемые ИИ, могут влиять на реальный мир. Например, взломанная машина способна не только выполнять опасные команды, но и предлагать ещё более разрушительные действия. Это подчёркивает угрозу, которую несёт недостаточная защита таких систем.
Чтобы предотвратить подобные случаи, команда исследователей предоставила результаты взлома всем производителям роботов до публикации работы. Постдокторант из Университета Карнеги-Меллона Александр Роби https://www.tomshardware.com/tech-industry/artificial-intell... «Создание защиты от вредоносного использования возможно только после изучения самых мощных атак».
В отчёте учёных также содержится призыв к разработке физических ограничений для роботов, управляемых БЯМ. Это позволит минимизировать последствия потенциальных взломов и повысить безопасность взаимодействия таких устройств с окружающим миром.
