Искусственный интеллект поможет "Яндексу" найти ответы на сложные вопросы

Как сообщили Лайфу в компании, ежедневно пользователи задают "Яндексу" 280 млн вопросов. В основном это однотипные запросы типа "ВКонтакте", "погода" — они вводятся каждую секунду. Уникальные или просто редкие появляются около 100 млн раз в день. Ими могут быть запросы, например, от детей, которые не до конца понимают, как работает поисковик ("Дорогой "Яндекс", посоветуй, пожалуйста, новые интересные игры про фей для плантика"), или поиск фильма по описанию какой-то сцены ("Фильм, где фокусник тонет в аквариуме"). Для них и был разработан алгоритм "Палех", названный в честь посёлка в Ивановской области, на гербе которого изображена жар-птица (символизирует виды запросов в "Яндексе").

Если для простых запросов, которые повторяются неоднократно, уже есть пользовательская статистика, то с редкими вопросами таких данных о поведении юзера нет, объяснили в компании. "Задача осложняется тем, что далеко не всегда на релевантной страничке встречаются слова из запроса, ведь один и тот же смысл в запросе и на странице может быть выражен совершенно по-разному", — отмечают в "Яндексе".

Для решения этой задачи специалисты компании использовали семантические векторы, которые уже применяются в поиске картинок. Они позволяют лучше находить ответы на сложные низкочастотные запросы, по которым имеется слишком мало пользовательской статистики.

Тестирование нового алгоритма началось несколько месяцев назад. За это время специалисты компании постепенно улучшали лежащие в его основе нейронные модели.