В октябре OpenAI представила новый инструмент для своих подписчиков, обещая быстрые и точные ответы со ссылками на актуальные интернет-ресурсы. Однако исследователи обнаружили, что ChatGPT Search испытывает трудности с точной идентификацией цитат из статей, даже если они взяты из изданий, имеющих соглашения о совместном использовании данных с OpenAI.
Функционал поиска ChatGPT основан на работе веб-краулеров, которые собирают информацию из открытых источников в сети. Полученные данные обрабатываются с помощью алгоритмов искусственного интеллекта и предоставляются пользователю в переработанном виде. Некоторые крупные издания, такие как The New York Times, запретили индексацию своих сайтов веб-краулерами OpenAI с помощью директивы robots.txt. В то же время другие СМИ, заключившие лицензионные соглашения с OpenAI, предоставляют компании доступ к своим материалам на условиях коммерческой лицензии.
Авторы эксперимента попросили ChatGPT определить источник 200 цитат из 20 публикаций. Примечательно, что 40 цитат были взяты из изданий, которые прямо запретили поисковому боту OpenAI индексировать свои сайты. В случаях, когда ChatGPT не мог найти правильный источник цитаты из-за ограничений чат-бот уверенно фальсифицировал данные, крайне редко признавая свое незнание.
Всего ChatGPT дал частично или полностью неверные ответы в 153 случаях и только семь раз признал свою неспособность ответить на запрос. В таких ситуациях чат-бот использовал слова и фразы вроде «похоже», «возможно» или «не смог найти точную статью».
Во время исследования были зафиксированы случаи, когда поисковая функция ChatGPT некорректно приписывала цитату из письма редактору в издании Orlando Sentinel статье, опубликованной в Time. А при запросе об источнике цитаты из статьи New York Times о находящихся под угрозой исчезновения китах, ChatGPT выдавал ссылку на другой сайт, который скопировал эту статью. Способность поиска ChatGPT предоставлять правильные атрибуции для одного и того же запроса крайне непредсказуема: бот часто попеременно возвращал неточные и точные источники, когда ему несколько раз задавали один и тот же вопрос.
В OpenAI заявили, что им трудно исправить ошибки в атрибуции цитат, так как у них нет доступа ко всем данным, которые использовали ученые из Колумбийского университета. Они считают, что это исследование было не совсем обычным тестом для их модели. При этом компания пообещала, что будет работать над улучшением поиска.
