Текстовые нейросети «понимают» язык почти, как мы. Рассказываем, что еще узнали ученые.
Большие языковые модели (LLM), включая ChatGPT, за последние годы улучшили обработку и генерацию естественного языка. Однако насколько точно они имитируют нейронные процессы, остается неясным. Исследование Колумбийского университета и Института медицинских исследований Файнштейна Northwell Health показало, что, развиваясь, нейросети не только работают лучше, но и приобретают больше схожих черт с мозгом. Об этом сообщает TechXplore.
Исследователи изучили 12 моделей с открытым исходным кодом, разработанных за последние несколько лет, с практически идентичной архитектурой и близким количеством параметров. Одновременно с этим авторы регистрировали нейронную активность мозга нейрохирургических пациентов при восприятии речи, используя имплантированные в мозг электроды, установленные ранее для лечения.
Ученые предоставили текст большим языковым моделям и извлекли их эмбеддинги (вложения) — внутренние представления, которые различные слои нейросети используют для кодирования и обработки текста. Чтобы оценить сходство между ИИ-алгоритмами и мозгом, команда попыталась предсказать нейронные реакции на слова, используя эти вложения.
После сбора данных исследователи с помощью вычислительных средств анализировали степень соответствия между LLM и мозгом. В частности, изучалось, какие слои каждой ИИ-модели наиболее тесно коррелируют с областями мозга, ответственными за обработку языка. Известно, что нейронные реакции на речь поэтапно формируют языковые представления, начиная с анализа акустических и фонетических и заканчивая абстрактными компонентами речи.
