Создание искусственных нейронных сетей – это попытка смоделировать работу человеческого мозга. Они состоят из большого числа узлов – нейронов, которые принимают сигналы (значения) от других нейронов и передают их дальше по связям, которые характеризуются числами – определяющими силу данной связи. Цель машинного обучения – подбор этих чисел так, чтобы сеть решала нужную задачу.
Джон Хопфилд разработал структуру, которая может работать как ассоциативная память, способная хранить и восстанавливать изображения и другие типы шаблонов данных. Сейчас эта нейросетевая модель более известна как сеть Хопфилда. При анализе изображений нейроны в ней могут быть представлены как пиксели. Хопфилд описал общее состояние своей сети выражением, которое эквивалентно энергии в спиновой системе, рассматриваемой в физике. Эта энергия вычисляется с помощью формулы, которая использует все значения нейронов и все силы связей между ними.
Сеть Хопфилда программируется с помощью изображения, подаваемого на нейроны, которым присваивается значение черного (0) или белого (1). Затем связи сети корректируются с помощью формулы энергии так, чтобы сохраненное изображение получило самую низкую энергию. Сеть как бы сохраняет, запоминает это изображение. Когда в сеть подается другое изображение, существует правило для прохода по нейронам один за другим и проверки, имеет ли сеть более низкую энергию, если значение исследуемого нейрона изменится. Например, оказывается, что энергия уменьшится, если черный пиксель заменить на белый, тогда он меняет цвет. Эта процедура продолжается до тех пор, пока станет невозможно найти какие-либо дальнейшие улучшения. Фактически, мы следуем известному в физике положению, что положению равновесия соответствует минимум энергии. Таким образом, сеть стремится к одному из состояний равновесия. Когда эта точка достигнута, сеть часто воспроизводит исходное изображение или близкое к нему, на котором она была обучена. Так, например, решается задача распознавания изображений, в частности, лиц. Сеть просто находит сохраненное изображение, которое больше всего похоже на то, которое ей подали.
Джеффри Хинтон использовал сеть Хопфилда в качестве основы для новой сети, которая использует другой метод: машину Больцмана. Она может самостоятельно научиться распознавать характерные элементы в заданном типе данных. Хинтон использовал законы статистической физики, в частности, своё название метод получил в честь статистического распределения Больцмана, используемого в функции выборки примеров, на котором она обучается. Машину Больцмана можно использовать для классификации изображений, идентификации определенных элементов на изображениях или создания новых примеров, на которых она была обучена. Этот метод лёг в основу глубокого обучения, важного для больших, многослойных искусственных нейронных сетей, используемых в настоящее время. Именно ему мы обязаны тем потрясающим успехам, которых добились искусственные нейронные сети в последнее десятилетие. Хинтона иногда даже называют «крестным отцом» глубокого обучения.
Отметим ещё один важный вклад Хинтона в развитие искусственных нейронных сетей. В 1960-1970-е годы ещё не умели обучать многослойные сети, что не позволяло решать многие задачи. Тогда на некоторое время даже упал к ним интерес. Но затем в 1980-е годы был разработан так называемый алгоритм обратного распространения ошибки для обучения многослойных нейронных сетей, что привело к взрывному развитию отрасли. Одним из разработчиков этого метода был и Джеффри Хинтон.
