Компания Anthropic остановила попытки разработать биооружие через нейросети

Американский разработчик искусственного интеллекта Anthropic заблокировал пять попыток использования своих моделей для создания опасных вирусов.

Об инцидентах стало известно из отчета об оценке угроз, сообщает издание Axios. С декабря по август злоумышленники пытались применить языковую модель Claude для содействия в исследованиях биологического оружия.

В двух случаях пользователи запрашивали у нейросети информацию для усиления патогенов в лабораторных условиях. Представители компании отметили сложность определения истинных намерений пользователей, так как опытные нарушители умело скрывают мотивы и обходят системы контроля доступа.

Опрос Института безопасности и технологий показал, что большинство американских экспертов ожидают роста риска разработки биооружия из-за развития нейросетей. Специалисты опасаются, что технологии снизят барьер входа для создания патогенов, способных вызывать масштабные пандемии. В Конгрессе США уже рассматривают законопроект о предоставлении правительству полномочий по экстренному отключению опасных ИИ-моделей.

Как писала газета ВЗГЛЯД, ранее ЕС усилил давление на Anthropic из-за создания хакерской нейросети. Также разработчик заявлял о невозможности контролировать ИИ после передачи Пентагону.