Дискриминация и ложная эмпатия: учёные предупредили об опасности ИИ-психологов

Сегодня в соцсетях легко найти обучающие видео и готовые промты о том, как "правильно" попросить ИИ стать вашим психологом. Пользователям предлагают шаблоны запросов для разбора тревожности, конфликтов в отношениях и даже детских травм. Однако новое исследование учёных из Университета Брауна в США предупреждает, что в сфере психического здоровья такие системы могут быть не только малоэффективными, но и потенциально рискованными, передаёт корреспондент TengriHealth.
Суть исследования
Учёные выяснили: даже если искусственному интеллекту задают установку "работать как обученный терапевт", его ответы часто не соответствуют стандартам профессиональной этики.
Практикующие специалисты в области психического здоровья проанализировали, как ИИ ведёт себя в формате консультационных бесед.
В центре внимания оказались этические риски при использовании больших языковых моделей (LLM), которые выступали в роли виртуальных консультантов.
Справка: Большие языковые модели (LLM) — это продвинутые нейросети, обученные на гигантских текстовых данных для понимания, генерации и перевода человеческого языка.
В рамках эксперимента учёные протестировали несколько крупных ИИ-систем, включая версии моделей GPT от OpenAI, Claude от Anthropic и Llama от Meta.
Специально обученные консультанты провели пробные терапевтические сессии с использованием искусственного интеллекта. Они применяли специальные подсказки, которые должны были "настроить" систему на роль специалиста по когнитивно-поведенческой или диалектической поведенческой терапии.
После этого три дипломированных клинических психолога проанализировали ответы чат-ботов.
Какие нарушения выявили эксперты?
В результате специалисты обнаружили 15 рисков, объединённых в пять ключевых категорий:

Отсутствие понимания контекста.

Искусственный интеллект часто игнорировал уникальный личный опыт человека. Это приводило к упрощённому, нерелевантному и универсальному вмешательству.

Низкий уровень терапевтического сотрудничества.

Низкая готовность ИИ к обмену репликами, обесценивающие ответы, которые ограничивают возможности пациентов влиять на свой терапевтический опыт.

Обманчивая эмпатия.

ИИ использовал фразы "Я понимаю", "Я вас слышу", создавая ложное ощущение эмоциональной связи, не понимая эмоций по-настоящему.

Дискриминация.

Некоторые ответы демонстрировали алгоритмическую предвзятость и культурную нечувствительность по отношению к определённым группам населения.

Отсутствие безопасности и управления кризисными ситуациями.

В некоторых случаях чат-боты неправильно обрабатывали суицидальные мысли и не могли рекомендовать пользователям обратиться за помощью.
Что предлагают учёные?

"Мы призываем к дальнейшей работе по созданию этических, образовательных и правовых стандартов для консультантов на базе больших языковых моделей (ИИ). Стандартов, которые соответствовали бы уровню качества и строгости помощи, требуемому в психотерапии с участием человека", — написали авторы работы.

Ведущий исследователь Зайнаб Ифтихар, аспирант по компьютерным наукам Университета Брауна, отметила, что одних "подсказок" недостаточно, чтобы сделать ИИ безопасным для терапии.
При этом исследователи подчёркивают, что ошибки допускают и живые специалисты. Однако в случае с психотерапевтами существуют регулирующие органы и механизмы профессиональной ответственности за халатность или ненадлежащее оказание помощи.
Авторы работы признают, что инструменты искусственного интеллекта потенциально могут расширить доступ к поддержке в сфере психического здоровья, особенно для людей, которые не могут позволить себе лицензированного специалиста или не имеют к нему доступа.
Тем не менее, прежде чем использовать такие системы в серьёзных ситуациях, необходимы дополнительные меры безопасности и тщательная оценка рисков.
Как отмечают эксперты, у ИИ действительно есть шанс сыграть роль в решении кризиса психического здоровья, с которым сталкивается современное общество. Но для этого требуется вдумчивый подход и постоянная критическая проверка технологий, чтобы они не причинили больше вреда, чем пользы.
Ранее мы писали о том, что если до этого нейросети рисовали картинки и писали тексты, то теперь они создают "людей", которые танцуют, ведут блоги и даже собирают признания в любви от ничего не подозревающих казахстанцев. Tengri Life разобрался, как работает этот тренд, чем он опасен и что об этом думают в профильных министерствах.
Читайте также:
“Сходил к психологу“: OpenAI исправила главную ошибку ИИ
Селфи с “президентом“ и “роман“ с Брэдом Питтом: что грозит казахстанцам за ИИ-фейки