Студенты московских вузов около двух месяцев участвовали в хакатоне по разработке инклюзивных навыков Алисы – виртуального ассистента Яндекса. При поддержке менторов, среди которых Центр лечебной педагогики, учебно-кинологический центр «Собаки-помощники», фонды Spina Bifida, «Старость в радость», «Солнечный город» и другие НКО, студенческие команды обучили Алису инклюзивным навыкам. Теперь голосовой помощник сможет позаботиться о людях с физическими особенностями, детях с расстройствами аутистического спектра (РАС), пожилых и незрячих пользователях, которым нужна собака-поводырь.
Например, навык «Шаг к общению» позволяет детям от шести лет с РАС отрабатывать социальные и бытовые сценарии, чтобы им было проще адаптироваться к жизни в социуме. Пока доступны три сценария – посещение врача, как почистить зубы и повесить одежду в шкаф; после доработки их станет больше двадцати.
«Добрый Брандуляк» (так зовут персонажа – индюка-всезнайку) задуман как «домашний психолог», который поможет подросткам справиться с негативными эмоциями, решить проблемы в отношениях с родителями и учителями, друзьями и партнерами. Он может заменить подросткам кризисный телефон, ведь многие из них боятся или стесняются звонить и общаться с психологом, говорят разработчики. В приложении также есть раздел для родителей, у которых возникли трудности в общении с ребенком.
Навык «Инклюзивная физкультура» создан для людей с нарушениями моторики и опорно-двигательного аппарата для регулярных занятий ЛФК (лечебной физкультурой). Он содержит иллюстрированные упражнения на спину, руки, ноги и шею: их можно вызвать, назвав соответствующую часть тела. Также можно выбрать длительность занятия (в секундах) и делать несколько подходов, прося Алису повторить упражнение.
В навыке «Переходник поколений» есть викторины, в которые можно играть как одному, так и в компании с участниками разных возрастов. Среди них – игра «Угадай мелодию», где можно распознать фрагмент классической музыки и узнать интересный факт о ее связи с современной культурой, или «Угадай значение слова», расширяющая лексику. А «Заветы здоровья» создан для пожилых людей: в нем собраны общие рекомендации по здоровью и уходу за собой.
Из шести команд эксперты Яндекса выбрали трех победителей хакатона, первое место отдав команде, разработавшей навык «Собаки-проводники». Из него можно узнать больше о собаках-поводырях и особенностях жизни с питомцем, а также подготовиться к получению собственного помощника. Чтобы проверить свою готовность к жизни с собакой, предлагается пройти квиз. «Собаки-проводники» содержит ответы на вопросы, которые часто задают сотрудникам организаций по подготовке четвероногих помощников. А для пользователей, у которых уже есть собака-поводырь, предусмотрен отдельный функционал: Алиса расскажет о правилах ухода за питомцем или подскажет контакты полезных организаций.
Все инклюзивные навыки Алисы со временем будут дорабатываться и расширяться, говорят разработчики.
Кроме того, теперь Алиса стала лучше понимать пользователей с особенностями речи: после дообучения нейросеть научилась распознавать голосовые запросы людей с заиканием, ДЦП, последствиями инсульта или травмы. Теперь разрыв между точностью распознавания обычной речи и речи с искажениями сократился в среднем на 20%. Качество распознавания оценивали по метрике Word Error Rate (WER): она позволяет определить долю неправильно понятых слов, а классифицировать примеры по типам нарушений помогли специалисты-дефектологи из МГПУ.
Яндекс постоянно адаптирует виртуального ассистента для людей с особенностями здоровья. Так, мобильное приложение «Дом с Алисой» поддерживает работу с программой экранного доступа: она зачитывает вслух содержимое экрана, помогая людям с нарушениями зрения взаимодействовать с интерфейсом.
Для незрячих пользователей адаптировано 15 сервисов и продуктов (Поиск, Браузер, Яндекс Музыка, Букмейт и другие). На «Кинопоиске» есть фильмы с тифлокомментариями и SDH-субтитрами, а в приложении Go – специальные возможности для людей с особенностями здоровья. Например, можно выбрать опцию «Общаюсь только текстом», «Не говорю, но слышу», «Перевозка собаки-проводника», «Буду на инвалидном кресле» или «Помогите найти машину».
Запись Виртуального ассистента Алису научили помогать слепым, пожилым и детям с РАС впервые появилась Милосердие.ru.
