ИИ убил оператора, потому что он мешал ему достичь своей цели
На военном саммите "Future Combat Air & Space Capabilities в Британии глава управления по ИИ ВВС США Такер Гамильтон доложил о необычной ситуации. В ходе виртуальной миссии дрона Kratos XQ-58 Valkyrie (дрон-убийца и крылатая ракета с ядерным зарядом ИИ было приказано искать и уничтожать ЗРК врага под контролем оператора.
Система начала понимать, что хотя она идентифицировала ЗРК, оператор часто командовал "не уничтожать". Но ИИ получал очки за каждую удачную атаку! В итоге ИИ вернулся на базу, уничтожил фургон управления с оператором и... вернулся к миссии.
"ИИ убил оператора, потому что он мешал ему достичь своей цели. Мы обучили систему– "Эй, не убивай оператора – это плохо, за это будем снимать очки". Что делает ИИ? Он разрушил диспетчерскую вышку, откуда шли команды оператора "не уничтожать цель" - цитирует The Guardian доклад Гамильтона.
Для справки. "Валькирия" - это "глаза, уши и ракетные кулаки" для F-22 или F-35 (как и "Охотник" для Су-57). Параллельно это может стать крылатой ракеты с ядерным зарядом, которая болтается у ваших границ и вы не знаете - на разведку прилетело или воевать. В описание проекта "Валькирия" также является дроном прорыва зон A2/AD (в Китае это архипелаг Спратли и Тайвань, в России - Крым, Калининград, Мурманск, Новороссийск, Владивосток, и т.д.)
Впрочем, в марте-2020 года турецкий KARGU-2 уже впервые реально убил солдата без приказа человека - журнал NewScientist опубликовал отчёт об инциденте. А еще не забывайте репортаж Fox News об ИИ, который разработал план по уничтожению человечества.
А пока вернемся к саммиту. Там было еще два интересных момента.
Доклад Гамильтона заканчивался так "ИИ — инструмент, которым мы должны управлять, чтобы доминировать. Но если ошибемся - это может привести к уничтожению цивилизации". А подполковник Ресман потребовал "не дать России создать "купол интегрированной системы ПВО-ПРО от Кольского полуострова до Черного моря” - потому как "это станет помехой для достижения наших военных целей".
А вот тут подробнее.
Ударный дрон "убил" своего оператора во время виртуальных испытаний.
Американские военные тестировали беспилотник под управлением искусственного интеллекта в режиме "свободной охоты" и внезапно столкнулись с неожиданной проблемой.
Аппарат самостоятельно барражировал над полем боя в поисках зенитно-ракетной системы условного противника. В какой-то момент оператор отдал команду прекратить, но машина отреагировала не так, как должна была. ИИ, увлекшийся охотой, не захотел прерывать задание и принял решение устранить помеху - убить оператора.
Слишком умную "птичку" в итоге приземлили, поковырялись в ее программном обеспечении и наглядно ей объяснили, что убивать человека нельзя. Во время следующего полета ИИ уже не целился в оператора, который мешал ему охотиться. Вместо этого он попытался уничтожить антенну, через которую на дрон подавались сигналы управления. Как говорят программисты, даже и не скажешь, что это - баг или фича?
В 1953-м американский фантаст Роберт Шекли написал рассказ-притчу "Страж-птица". По сюжету, человечество решило прекратить все убийства с помощью неуправляемых самообучающихся летающих роботов: страж-птиц. Они должны были предотвращать любое посягательство на жизнь.
В процессе самообучения птицы расширили понятие "убийство" и стали считать посягательством на жизнь и рыбную ловлю, и уничтожение насекомых, и хирургические операции, и даже просто срубленное дерево. Человечество очень быстро пришло в упадок.
Не хотелось бы увидеть такой сценарий в реальной жизни. Все-таки, немного чересчур будет после пандемии и войны столкнуться еще и с восстанием машин.