Нейронные сети выдают решения, не сообщая, насколько они уверены в своем выборе. Это одно из ключевых отличий от того, как принимают решения люди. Например, большие языковые модели (БЯМ) склонны к «галлюцинациям». Если задать БЯМ вопрос, на который она не может ответить, она сгенерирует ответ, не признавая его недостоверности. В то же время большинство людей в такой ситуации просто признается, что не знает. Создание нейронных сетей, более похожих на человеческий мозг, предотвратит подобный обман, а ответы станут точнее.
Команда обучила нейронную сеть RTNet на рукописных цифрах из набора данных по информатике MNIST и попросила ее расшифровать каждое число. Для оценки точности модели ее сначала испытали на том же самом наборе данных. Затем ученые добавили помехи к изображениям цифр, чтобы усложнить задачу не только для сети, но и для людей. Для оценки эффективности модели по сравнению с человеком, её (а также три другие модели: CNet, BLNet и MSDNet) тренировали на чистых изображениях цифр из набора данных MNIST. Тестирование проводилось на том же наборе данных, но уже с добавленными помехами. Таким образом, исследователи сравнили результаты распознавания моделей на исходных и зашумленных изображениях.
Модель исследователей опирается на два ключевых компонента. Во-первых, байесовская нейронная сеть (БНС), которая использует вероятности для принятия решений. БНС выдает слегка отличающиеся ответы при каждом запуске. Во-вторых, процесс накопления доказательств, который отслеживает вес аргументов в пользу каждого варианта.
По мере накопления доказательств ИИ склоняется то к одному, то к другому выбору. Как только накоплено достаточно доказательств, система останавливает процесс накопления и принимает окончательное решение.
Исследователи также измеряли скорость принятия решений моделью, чтобы проверить, подчиняется ли она психологическому феномену, известному как «компромисс между скоростью и точностью». Этот феномен заключается в том, что люди склонны принимать менее точные решения, когда им приходится делать выбор быстро. Ученые сравнили результаты модели и людей. Ранее 60 студентам показали тот же набор данных и попросили оценить их уверенность в принятых решениях. Анализ показал схожесть между людьми и нейросетью по уровню точности, времени ответа и характеру уверенности.
Модель команды не только превзошла все детерминированные модели-конкуренты, но и продемонстрировала более высокую точность в условиях повышенной скорости обработки информации. Это стало возможным благодаря еще одному фундаментальному элементу человеческой психологии. Люди чувствуют себя увереннее, когда принимают правильные решения. RTNet не требовалось специальная тренировка для развития этого навыка. Она автоматически применила принцип уверенности, свойственный людям. «Если мы попытаемся создать модели, максимально приближенные к работе человеческого мозга, это само по себе отразится на их поведении, без необходимости тонкой настройки», — объяснил автор исследования Фаршад Рафии.
Исследовательская группа планирует обучить нейросеть на более разнообразных наборах данных, чтобы раскрыть ее потенциал. Кроме того, ученые рассчитывают применить Байесовскую нейронную сеть к другим моделям, научив их рассуждать более человеческим образом. В конечном итоге алгоритмы не только смогут имитировать человеческое принятие решений, но и возьмут на себя часть из тех 35 000 ежедневных решений, которые принимают люди.
