Соблазн автоматизировать армейское командование велик, но опасность от этого гораздо больше
Ни одна технология со времен атомной бомбы не вдохновляла апокалиптическое воображение так, как искусственный интеллект. С тех пор, как в ноябре 2022 ChatGPT начал демонстрировать проблески логического мышления, интернет был наводнен сценариями конца света. Многие из них сознательно фантазируют — они предназначены для того, чтобы заставить нас представить себе, как плохо всё может пойти, если зарождающийся компьютерный разум начнет понимать мир и свои собственные цели. Однако один сценарий требует меньше воображения, потому что первые шаги к нему, возможно, уже сделаны — постепенная интеграция ИИ в самые разрушительные технологии, которыми мы сегодня располагаем. Крупнейшие военные державы мира начали гонку по внедрению ИИ в боевые действия. На данный момент это, в основном, означает предоставление алгоритмам контроля над отдельными видами оружия или роями дронов. Никто не приглашает ИИ сформулировать общую стратегию или присоединиться к совещанию генералитета. Но та же соблазнительная логика, которая ускорила гонку ядерных вооружений, через несколько лет может продвинуть ИИ вверх по цепочке управления. Однако в этом сценарии нет хороших вариантов. ИИ предлагает иллюзию холодного расчёта, особенно по сравнению с подверженными ошибкам, потенциально нестабильными людьми. Но сегодня самые передовые ИИ — это черные ящики, и мы не совсем понимаем, или даже совсем не понимаем, как они работают. Обладая достаточно широкими полномочиями по сравнению с обычной войной, ИИ, не обладающий полномочиями в области ядерного оружия, тем не менее может прибегнуть к сценарию, который непреднамеренно приведет к эскалации конфликта настолько серьёзно и так быстро, что последует панический запуск ядерного оружия. Или он может намеренно спланировать ситуацию на поле боя, которая приведет к пуску, если он решит, что использование ядерного оружия позволит достичь поставленных целей. Любая страна, которая введет ИИ в свое командование и управление, будет мотивировать других последовать ее примеру, хотя бы для поддержания надежного сдерживания. Своеобразная гонка искусственных интеллектов как аналог гонки вооружений. Американская пресса предлагает представить, что ИИ, призванный на службу Пентагоном, ошибочно интерпретирует акустические наблюдения за подводными лодками в Южно-Китайском море как движения, предвещающие ядерную атаку. Его подготовку к контрудару заметит собственный ИИ Китая, который фактически начнет готовить свои пусковые платформы, вызвав эскалацию, кульминацией которых станет обмен ядерными ударами. И это далеко не единственный пример, когда искусственный интеллект одной страны может решить, что сейчас именно тот момент, когда без применения ЯО не обойтись. Можно только гадать о последствиях того, сумеет ли человек вообще хоть как-то повлиять на этот процесс, если механизм компьютером будет запущен.
