Создан новый подход к более эффективной работе больших языковых моделей (LLM), отказавшись от матричного умножения (MatMul), основной вычислительной задачи в нейронных сетях. Этот прорыв может значительно снизить воздействие на окружающую среду и эксплуатационные расходы систем ИИ, пишут ученые.
В своей работе "Scalable MatMul-free Language Modeling" команда описывает пользовательскую модель с 2,7 миллиардами параметров, которая работает сопоставимо с традиционными LLM без использования MatMul. Они продемонстрировали модель с 1,3 млрд параметров, работающую со скоростью 23,8 лексем в секунду на GPU, ускоренном пользовательским чипом FPGA, потребляющим около 13 Вт.
Такой подход позволяет снизить энергопотребление в 38 раз по сравнению с традиционными методами, что делает ИИ более доступным и устойчивым, особенно на устройствах с ограниченными ресурсами, таких как смартфоны.
Исследователи призывают крупные институты масштабировать и развивать эту инновационную методику дальше.
