НИУ ВШЭ: новая ИИ-модель одновременно оценивает чувства и черты личности
Ученые НИУ ВШЭ вместе с экспертами Санкт-Петербургского Федерального исследовательского центра РАН и Центра практического ИИ Сбера создали нейросеть, которая по поведению человека одновременно распознает эмоции, оценивает видимые черты личности и выявляет амбивалентность — неуверенность или противоречивость поведения. Об этом «Газете.Ru» сообщили в пресс-службе НИУ ВШЭ.
Чтобы естественно общаться с человеком, искусственному интеллекту мало анализировать только слова и выражение лица — важны и невербальные сигналы, которые помогают точнее понять контекст разговора. Новая модель получает информацию сразу по нескольким каналам: она анализирует видео, голос и содержание речи, а также автоматически сгенерированное описание мимики, взгляда, позы и жестов.
По словам доцента Школы информатики, физики и технологий НИУ ВШЭ — Санкт-Петербург Дмитрия Рюмина, прежние модели обычно специализировались на одном наборе данных и плохо переносили знания на новые задачи. Чтобы решить эту проблему, ученые объединили несколько разнородных корпусов, каждый из которых был размечен под свою задачу, и научили нейросеть использовать всю информацию одновременно. Обучали ее на суперкомпьютере НИУ ВШЭ «Харизма».
Сложность была в том, что для разных задач важны разные каналы: для оценки черт личности особенно значимо видео, а для выявления амбивалентности — содержание речи. Поэтому в модель встроили как общие компоненты, связывающие разные модальности, так и специализированные, выделяющие главное для каждой задачи, пояснила руководитель проекта, старший научный сотрудник СПб ФИЦ РАН Елена Рюмина.
Исследователи сравнили три режима обучения. Добор данных из других корпусов повысил точность распознавания эмоций примерно на 6%, а оценку черт личности — на 3,2%. А на незнакомом наборе данных, который модель не видела при обучении, многозадачность улучшила распознавание эмоций на 13,7%. По словам научного директора Центра практического ИИ Сбера Андрея Савченко, до универсального «эмоционального ИИ» еще далеко, но результат — большой шаг к устойчивым мультимодальным системам, полезным для цифрового образования и интеллектуальных интерфейсов.
Ранее ученые создали программу, которая находит скрытые признаки рака и деменции.
???? Самое важное в одном месте — «Газета.Ru» теперь и в MAX.