Нейронные сети состоят из так называемых перцептрнов, крайне упрощенных моделях нейронов человеческого мозга. Когда их много, они обладают большими возможностями, но также потребляют огромное количество энергии. К тому же, перцептроны – всего лишь программная абстракция: запуск сети перцептронов на графическом процессоре требует перевода этой сети на язык аппаратного оборудования, что требует времени и энергии. Если создавать сеть напрямую из аппаратных компонентов, эти затраты можно сократить. Если нейросети можно будет встраивать сразу в микрочипы смартфонов и других устройств, объем трафика между компьютерами и серверами значимо снизится.
Феликс Питерсен представил на конференции по машинному обучению NeurIPS свою стратегию. Он разработал нейросеть, состоящую из логических вентилей, основных элементов вычислительной техники. Каждый вентиль состоит, в свою очередь, из нескольких транзисторов. Такая сеть логических вентилей работает быстрее, а энергии требует в сотни и тысячи раз меньше.
Правда, такая сеть намного хуже справляется с задачами маркировки изображений, чем обычные нейросети. Тем не менее, авторы концепции считают, что такой подход откроет интересные возможности машинного обучения, https://www.technologyreview.com/2024/12/20/1109183/the-next... Technology Review.
Не все участники конференции согласны с этим выводом. Фариназ Кушанфар из Калифорнийского университета в Сан-Диего заявила, что не уверена в способности вентильных сетей выполнять практические задачи. «Это забавная идея, но я не знаю, насколько хорошо она масштабируется», - сказала она. И добавила, что такую сеть можно обучить только аппроксимационно, методом релаксации, а аппроксимации могут подвести.
Тем не менее, Питерсон настроен оптимистично и планирует продолжать исследовать возможности сетей из логических вентилей. Он намерен создать «аппаратную базовую модель»: мощную, универсальную сеть для распознавания изображений, которую можно будет интегрировать в компьютерные чипы смартфонов и компьютеров.
Для решения проблемы «галлюцинирования» исследователи из США https://www.sciencedaily.com/releases/2024/07/240715135808.h... нейросеть RTNet, которая обучается принимать решения подобно человеку. Она может анализировать информацию, взвешивать варианты и делать выбор, учитывая вероятность разных исходов.
