Исследование, опубликованное в журнале PNAS Nexus, показало, что большие языковые модели (LLM) совершают ошибки, аналогичные человеческим, в абстрактных задачах на рассуждение. Команда ученых проверила LLM и людей на трех видах задач: вывод на естественном языке, оценка логической валидности силлогизмов и задача Уэйсона.
Оказалось, что и LLM, и люди склонны ошибочно считать неверные аргументы правильными, если их содержание выглядит логически обоснованным. В задаче Уэйсона, где участники должны определить правильность правила, проверяя набор карт с буквами и цифрами, ИИ и люди делают схожие ошибки. Например, вместо проверки информации, которая может подтвердить правило, они проверяют противоположные условия, что не дает нужной информации.
Интересно, что производительность LLM и людей улучшается, если заменить абстрактные правила на социально значимые, например, возраст людей и употребление алкоголя. Исследование показывает, что для улучшения логического мышления LLM, как и людям, требуется формальное обучение.
