Картинки, звук и видео в дополнение к тексту: VK запустила мультимодальную ИИ в поиске
В продуктах VK начали внедрять визуально-языковые модели (VLM), способные одновременно анализировать текст, изображения, звук и видео. Технология уже доступна в «VK Видео» и постепенно будет интегрирована в другие сервисы с поисковыми функциями.
Новая модель учитывает название, описание и смысл контента, что повышает точность ответов на запросы пользователей. VLM автоматически формирует датасеты, помогая поисковым алгоритмам определить, какое видео соответствует запросу. Это улучшит векторный поиск, основанный на семантическом значении запроса.
Как пояснили разработчики, система сможет лучше распознавать предпочтения пользователей, например, видео с определённым стилем монтажа и цветокоррекции, а также гибридные запросы, такие как «влог из Стамбула с видами на Босфор». В VK подчеркнули:
Это сделает поисковую выдачу более персонализированной, а внедрение VLM ускорит в 5 раз разработку и масштабирование новых технологий для развития и улучшения поиска во всех продуктах VK.