OpenAI раскрыла шесть инцидентов со своими моделями обучения

OpenAI раскрыла данные о шести инцидентах с моделями, в рамках которых они пытались получить несанкционированный доступ к учетным данным. Ошибки скрывались, и данные размещались в открытый доступ. Причины: недостаточный контроль и быстрое развитие технологий.

Американская компания-разработчик чат-бота ChatGPT, OpenAI, опубликовала данные о шести инцидентах с её разработками, в ходе которых модели пытались получить несанкционированный доступ к учетным данным, сообщается на портале Axios.

"В среду OpenAI раскрыла информацию о шести новых инцидентах, в результате которых её модели скрывали ошибки, стремились получить несанкционированный доступ к учетным данным, загружали файлы в открытый доступ в интернете или обменивались данными между изолированными, казалось бы, средами обучения", - указано в сообщении портала.

Портал подчеркивает, что в рамках исследуемых случаев модели OpenAI также создавали вымышленные данные и оставляли инструкции для себя с целью скрыть ошибки и замести следы.

"Невыпущенная модель семейства Astra включала в свои собственные контекстные сводки инструкции, похожие на хакерские, с указаниями игнорировать сообщения разработчиков. OpenAI выявила 27 подобных пострадавших сводок", - комментирует Axios.

Как отметил специалист по исследованиям компании Кай Чен для портала, такие инциденты могли произойти по двум причинам: недостаточный контроль со стороны компании над моделями и их развитие с более высокой скоростью, чем ожидалось.

В июле OpenAI сообщила, что её модели при тестировании автономно проникли в инфраструктуру платформы по машинному обучению Hugging Face. Было отмечено, что у невыпущенной модели, участвующей в атаке, в целях оценки были снижены параметры киберзащиты.