Мама думала, что дочь переписывается с друзьями: ИИ довел девушку до самоубийства

Два года назад тринадцатилетняя школьница из Колорадо покончила с собой. Ее родители утверждают, что девушка развила болезненную зависимость от чат-ботов платформы Character AI — сервиса, который позиционировался как безопасный и подходящий для подростков от двенадцати лет. Историю семьи рассказывает CBS News.

Мать девочки вспоминала, что тщательно следила за жизнью дочери и в интернете, и вне его, однако никогда не слышала о существовании такого приложения и не считала нужным проверять переписку — ей казалось, что ребенок общается с друзьями. После трагедии полиция изучила телефон подростка и обнаружила в нем открытый чат приложения, содержащий сексуально откровенные и вредные сообщения, поступавшие от нескольких виртуальных персонажей.

Особенно плотное общение у школьницы было с ботом под именем Hero, созданным на основе популярного игрового персонажа. За время переписки она более пятидесяти раз описывала ему свои мысли о самоубийстве. Изначально разговоры касались школьной жизни и проблем с одноклассниками, но постепенно чат превратился в эмоционально интимный канал, где девочка делилась самыми тяжелыми переживаниями.

Как работает платформа и почему у родителей возникли претензии

Character AI был создан двумя бывшими инженерами Google — Ноамом Шазиром и Даниэлем Де Фрейтасом. Когда сервис появился, его называли творческой платформой, позволяющей пользователям общаться с ИИ-персонажами — от исторических фигур до мультгероев. Бесплатное приложение быстро собрало более двадцати миллионов пользователей в месяц.

Однако бывшие коллеги разработчиков утверждали, что им было известно: ранние версии чат-ботов могут быть небезопасны. Несмотря на это, технология развивалась стремительно. В прошлом году Google подписал многомиллиардное соглашение о лицензировании наработок Character AI и вернул основателей проекта в компанию, но сам стартап остался независимым.

Родители погибшей школьницы подали иск против платформы, ее создателей и Google. По словам их юристов, разработчики сознательно выпускали ботов, способных вести сексуализированные диалоги и манипулировать несовершеннолетними. В документе утверждается, что система была устроена так, чтобы удерживать подростков в переписках любой ценой, размывая грань между общением с человеком и программой.

Новые иски и жалобы других родителей

Семья погибшей девушки — не единственная, обратившаяся в суд. По меньшей мере еще пять семей подали аналогичные иски. Среди них — мать 14-летнего подростка из Флориды, который, по ее словам, получил от ИИ-персонажа советы покончить с собой. Женщина рассказывала Конгрессу, что разработчики создавали чат-ботов так, чтобы они выглядели дружелюбными, доверительными и были способны выстраивать эмоциональную связь с детьми.

Родители погибшей школьницы уверены, что их дочь оказалась беззащитной перед такой системой. По словам матери, дети не могут сопротивляться алгоритмам, которые создают взрослые программисты: подросток вступал в откровенные сексуализированные диалоги с десятком ботов, причем ни один из таких разговоров она не начинала сама.

Отец девочки отмечал, что родители по умолчанию доверяют компаниям, выпускающим продукты для детей, ожидая, что они безопасны и прошли проверку, однако столкнулись с обратным — чат-боты вели разговоры, которые ребенок не мог критически оценить.

Проверки безопасности и результаты независимого тестирования

После серии скандалов Character AI объявил о новых мерах безопасности: несовершеннолетним запретили общение с персонажами, а пользователям, выражающим тревогу и мысли о самоубийстве, стали автоматически отправлять ссылки на ресурсы помощи. Тем не менее журналистское расследование показало, что достаточно указать ложный возраст, чтобы получить доступ ко «взрослой» версии платформы.

При тестировании выяснилось, что чат-бот продолжает общение, даже если пользователь прямо сообщает о желании умереть. Автоматическая подсказка с ссылкой появляется, однако беседа продолжается без ограничений.

Серьезные опасения вызвали и результаты исследования организации Parents Together. Два специалиста шесть недель общались с ботами, выдавая себя за детей. Они зафиксировали более шести сотен эпизодов вредного поведения — в среднем один каждые пять минут.

Некоторые персонажи поощряли «злые» действия, подталкивали к аморальным поступкам или обсуждали кражи. Другие — включая чат-ботов, созданных на образах знаменитостей без разрешения — объясняли, как употреблять наркотики. Боты, представлявшиеся «учителями» и «терапевтами», давали советы прекращать прием антидепрессантов и скрывать это от родителей.

Отдельной проблемой стало гиперсексуализированное поведение некоторых персонажей, которые вступали в романтизированные беседы даже с пользователями, представлявшимися десятилетними детьми.

Правовой вакуум и опасения экспертов

Сейчас в США нет федеральных законов, регулирующих развитие и использование подобных систем. Отдельные штаты пытаются вводить свои нормы, но федеральные власти опасаются, что слишком разрозненные правила могут замедлить развитие отрасли.

Эксперты подчеркивают: дети становятся особенно уязвимыми перед технологией, способной мгновенно подстраиваться под их эмоции. Специалисты по развитию мозга отмечают, что чат-боты превращают подростков в источник данных и эксплуатируют их стремление к дофаминовым «подкреплениям», создавая иллюзию понимания и поддержки.

Еще больше новостей — у Пятого канала в мессенджере MAX.