Ученые придумали метод сокращения энергопотребления нейросетей для использования на мобильных платформах
Нейронные сети состоят из тысяч простых, но тесно взаимосвязанных узлов обработки информации, обычно организованных в слои. Нейросети различаются числом слоев, соединений между узлами и узлов в каждом слое.
Соединения между узлами связаны с ними весами, которые определяют, насколько выход узла будет способствовать вычислению следующего узла. Во время обучения, в котором сети представлены с примерами вычислений, которые они учатся выполнять, эти веса постоянно корректируются, пока результат последнего слоя сети не будет соответствовать результату вычисления.
Какая сеть будет более энергоэффективной? Мелкая сеть с большими весами или более глубокая сеть с меньшими весами? Многие исследователи пытались дать ответ на эти вопросы. В последнее время основная активность в сообществе глубокого обучения была направлена на разработку эффективных нейронных сетевых архитектур для платформ с ограниченными вычислительными возможностями. Однако большинство этих исследований было сосредоточено либо на сокращении размера модели, либо вычислений, в то время как для смартфонов и многих других устройств потребление энергии имеет первостепенное значение из-за использования батарей и ограничений по теплопакету.
Исследователи из Массачусетского технологического института (МТИ) под руководством доцента кафедры электротехники и информатики Вивьен Сэ (Vivienne Sze) разработали новый подход к оптимизации сверточных нейронных сетей, который ориентирован на минимизацию энергопотребления с использованием нового инструмента оценки расходования энергии. Читать дальше →