Несколько лет назад Виталий Ванчурин начал развивать еще один вариант объединения физических взаимодействий, альтернативный теории струн. В центре его концепции — математическая теория нейросетей, которая претендует, помимо прочего, и на снятие знаменитой «проблемы наблюдателя» квантовой механики. Как это возможно? Об этом физик рассказал в интервью Сении Долгачевой.
— За основу своей теории вы взяли теорию струн, заменив струны на нейроны. Чем вас не устраивала теория струн?
— Прежде всего тем, что проблема, которую теория струн стремилась решить, так и осталась нерешенной. Это проблема объединения квантовой механики и гравитации, или, как ее часто называют, квантовой гравитации. Несмотря на многочисленные попытки, продолжающиеся по сей день, их слияние пока не произошло. Кроме того, есть ряд феноменов как в квантовой механике, так и в гравитации, которые невозможно объяснить в рамках теории струн. В квантовой механике к таким феноменом относится проблема наблюдателя: если наблюдатель находится вне системы, которую он наблюдает, всё прекрасно; но стоит поместить наблюдателя внутрь системы, как сразу возникают парадоксы. То же самое и в гравитации. Например, в космологии, если наблюдатель находится внутри Вселенной и хочет предсказать свои наблюдения, он сталкивается с так называемой проблемой меры, которая, опять-таки, не решена теорией струн.
— Почему для названия теории была выбрана именно нейросеть?
— Потому что основа теории строилась на метаматематике искусственных нейросетей, которые изначально появились из попытки моделирования биологических нейросетей. Наверное, более точно называть это теорией нейронной физики, или нейрофизикой. В широком смысле нейронная сеть представляет собой динамическую систему с двумя типами динамики: активацией, при которой нейроны обрабатывают и передают информацию, и обучением, в ходе которого корректируются связи между нейронами с целью уменьшения функции потерь.
— В таком случае чем Вселенная-нейросеть отличается от нейросетей, которые создает человек?
— В наших работах мы рассматриваем очень разные нейросети: биологические, искусственные и фундаментальные. Биологические нейросети, например, хорошо описывают работу нашего головного мозга, и, как я уже упоминал, на их основе были построены искусственные нейросети, которые сейчас широко используются в машинном обучении. Фундаментальная нейросеть, или нейросеть Вселенной, лежит в основе физических феноменов.
Если искусственные нейросети строятся на компьютерных системах, биологические — на основе биологических структур, то нейросеть Вселенной сама по себе фундаментальна и ни на чем не строится.
— Как частицы внутри Вселенной «отсеивают» неудавшиеся алгоритмы?
— Частицы сами по себе являются подсетями нейросети Вселенной. Существуют нейросети, или частицы, которые стабильны, и те, которые нестабильны. Стабильные частицы приходят в устойчивое состояние и могут длительное время находиться в этом состоянии, несмотря на небольшие внешние пертурбации; тогда как нестабильные частицы не могут надолго сохранять одно и то же состояние — они подвержены внешним изменениям. Это не значит, что Вселенной для обучения нужны только стабильные нейросети; в первую очередь ей необходимы нейросети, которые способны дообучаться и видоизменяться.
— Даже в тех нейросетях, которые создает человек, велик шанс появления ошибок и артефактов. Если Вселенная — нейросеть, есть ли в ней что-то, что мы можем принять за аномалию и артефакт?
— Ошибки, в общем-то, являются неотъемлемой частью обучения. Если на выходе нейросеть выдает какую-то ошибку, она перестраивается, чтобы устранить ее. Наличие неточностей — это нормально. Если бы их не было совсем, ошибка или функция потерь были бы равны нулю и обучать было бы нечего.
У физиков есть теории, которые довольно хорошо описывают большие масштабы, такие как общая теория относительности, и малые масштабы, например стандартная модель. Но чтобы лучше понять, как устроена Вселенная, нам необходимо знать, где наши теории ошибаются. Поэтому не стоит недооценивать важность ошибок.
— Эти ошибки не вписываются в модель нейросети, потому что Вселенная не заканчивает обучаться или потому что в теории есть белые пятна?
— Есть несколько задач, над которыми мы продолжаем работать и которые пытаемся вписать в теорию нейронной физики. Один класс таких задач связан с космологией и указывает на необходимость изменений в общей теории относительности: темная материя, темная энергия, космологическая инфляция — все эти феномены не полностью укладываются в общую теорию относительности, и до конца неясно, как их интегрировать в теорию нейронной физики. Этим мы сейчас и занимаемся. Вычисления в контексте общей теории относительности довольно сложны из-за нелинейности, а в контексте теории нейросетей они становятся еще более сложными из-за дискретности.
Второй класс задач касается малых масштабов. Как вывести так называемую стандартную модель или уравнения, описывающие фундаментальные взаимодействия? В целом мы поняли, как формируются бозоны и фермионы и для чего они нужны. Если в стандартной модели бозоны — это частицы, которые переносят взаимодействие, то в терминах теории обучения они передают информацию о других фермионах. Это можно проследить на примерах простых задач машинного обучения, например в задаче автопилотов. На дороге много движущихся машин, которые должны обрабатывать информацию о других автомобилях и принимать решения на основе полученных данных. Эти машины — нейронные сети, аналог фермионов, а информация, которую они получают от других автомобилей, — это бозоны.
И хотя мы уже довольно хорошо понимаем такие общие вещи, нам всё еще необходимо вывести динамические уравнения для конкретных полей стандартной модели.
— Сильнее прочих вашей теории противоречит энтропия. Во Вселенной действительно есть две противоборствующие силы, одна из которых стремится к хаосу, а другая — к обучению?
— В этом и заключается основное отличие нашей теории. В физике существует хорошо известный закон термодинамики: энтропия должна расти и приводить к хаосу. Когда мы наблюдаем что-то, что не стремится к хаосу, это становится проблемой. Как объяснить в контексте традиционной физики возникновение биологических систем с низкой энтропией?
Это упрощенная картина, на самом деле два типа переменных сильно связаны друг с другом. Даже если в искусственных нейросетях вы будете измерять энтропию, то увидите, что в определенные моменты она будет расти за счет активационной динамики необучаемых переменных, а в других режимах, наоборот, будет существенно падать из-за динамики обучения.
Таким образом, если рост энтропии происходит в соответствии со вторым законом термодинамики, то падение энтропии объясняется вторым законом обучения.
— Как изменилась теория за четыре года с момента публикации первой статьи о ней?
— Довольно сильно. Чем больше вычислений проводится, тем яснее становится, в каком направлении двигаться дальше. После первой статьи The World as a Neural Network появились другие работы, которые показали, как более корректно выводить общую теорию относительности и уравнения Эйнштейна. Совместно с Михаилом Кацнельсоном мы добавили недостающий элемент в эмерджентную квантовость — необходимость учитывать изменение общего числа нейронов или большого канонического ансамбля. Если количество нейронов фиксировано, мы получаем уравнение Маделунга; если оно изменяется — уравнение Шредингера.
Также теория развилась в направлениях, о которых я изначально даже не задумывался. Например, биологию я лишь упомянул в первой статье, но не углублялся в эту тему. Позже у нас сложилась коллаборация с биологами, и вместе мы объяснили, как может возникнуть жизнь и реплицирующие системы с точки зрения теории нейросетей.
Несмотря на прогресс, в основе теории все так же лежит математика нейросетей. Но оказалось, что даже эта математика изучена не до конца, и поэтому нам приходится создавать ее с нуля. На самом деле у нас уже есть множество наработок, которые пока не опубликованы, но они дают более глубокое понимание физических и биологических феноменов, а также алгоритмов искусственного интеллекта. Весь этот исследовательский процесс мы в основном ведем в компании Artificial Neural Computing, работающей на стыке физики, биологии и машинного обучения.
— Как вы расширяли теорию, чтобы учесть все недостатки? Какие дисциплины вам в этом помогли?
— Я уже упоминал физику и машинное обучение, но эту теорию можно применить и в других областях.
Здесь, конечно, нужна помощь не только физиков и инженеров, но и химиков. Также существует множество социальных феноменов, которые нуждаются в правильном математическом описании и которые невозможно изучить без помощи социологов, экономистов и т. д. Последним шагом станет экспериментальная верификация построенных теорий, предсказания об эволюции этих социальных систем и их проверка.
Например, можно ли описать эволюцию социальных сетей в контексте теории нейронной физики? К сожалению, у нас нет доступа к матрице весов или матрице соединений между пользователями, поэтому пока мы не можем смоделировать эту систему. Есть много других направлений и проектов в области психологии и социологии. Некоторые из них мы продвигаем своими усилиями, хотя языковой барьер между разными дисциплинами огромен. Когда мы начинали коллаборацию с биологами, стало ясно, что мы говорим на разных языках. Чтобы объяснить что-то биологу, просто сесть и поговорить — недостаточно. У нас ушел год на то, чтобы перевести ту терминологию и те наработки, которые знают физики, на язык биологии. И наоборот — экспериментальные результаты, которые есть у биологов, трудно перевести на язык физиков.
Это стандартная проблема любых междисциплинарных исследований. Много времени уходит на то, чтобы установить диалог. Образование, которое получили биологи, психологи и социологи, а также используемые ими аппараты сильно отличаются от того, что делаем мы, физики.
— Вы говорили, что с помощью нейросети можно объяснить в том числе процессы в психологии, социологии, химии… Но им не хватает теории. Какие рекомендации вы бы дали тем, кто заинтересовался продвижением вашей теории внутри своей дисциплины?
— Те ученые, которые заинтересованы во внедрении математического аппарата нейронной физики для построения более строгих теорий, могут обращаться ко мне. Даже если они не готовы изучать математику, но считают, что у них есть достаточно хорошая экспериментальная база и понимание феноменов, нам будет о чем поговорить. Формальное описание математики нейросетей не очень сложное, но в каждой дисциплине появляются свои особенности и алгоритмы, которые заставляют нейросети вести себя по-разному, и эти свойства могут быть совершенно неожиданными.
Когда я начал заниматься биологией, внедряя теорию нейронной физики, я не предполагал важности феномена запрограммированной смерти. Исследовав его, я понял, что он крайне важен, его нужно моделировать и связывать с изменениями количества нейронов в эмерджентной квантовой механике. На первый взгляд это совсем разные вещи, но тем не менее такое понимание феноменов, которые отсутствуют на одном уровне и присутствуют на другом, очень важно. То же самое касается социологии и психологии.
Наверняка будут появляться, и уже появляются, новые алгоритмы обучения, которые можно пытаться смоделировать в контексте нейронной физики. Всё это безумно интересно.
— Как биологические феномены могут использоваться для создания алгоритмов машинного обучения? И наоборот, как искусственные нейронные сети могут использоваться для моделирования биологических феноменов?
— Рассмотрим, к примеру, феномены запрограммированной смерти и репликации, эффективность которых мы проверяли на уровне алгоритмов искусственных нейросетей. Как проверяли? Смотрели, как удаление того или иного нейрона влияет на функцию потерь. Нейроны, которые меньше увеличивают функцию потерь, менее эффективны, и их можно удалять из нейросети, а те, которые увеличивают функцию потерь больше, оказались более эффективными, поэтому их нужно реплицировать.
Используя алгоритм удаления менее эффективных нейронов и реплицируя более эффективные нейроны, мы показали, что система лучше обучается. Таким образом, мы не только создали новый алгоритм обучения, но и показали, как можно моделировать и изучать биологические феномены, используя искусственные нейросети.
— Фазовые переходы в эволюции — моменты, когда нейросеть перестраивается. Кроме появления жизни, какие еще фазовые переходы существуют?
— Здесь надо разделить: есть основные переходы и второстепенные переходы, которые происходят всё время. Мы их наблюдали в том числе в эволюции коронавируса: сначала были альфа-штаммы, потом бета и так далее. Основные переходы происходят гораздо реже и обычно представляют собой кардинальные изменения. Одно из таких событий мы уже назвали — возникновение жизни. К другому можно отнести появление многоклеточных организмов. Когда произойдет следующий переход, мы не знаем, но вполне возможно, что это случится не на биологическом, а на социальном уровне. Есть вероятность, что переход произойдет в сторону гибрида искусственного и биологического интеллекта.
Важно отметить, что фазовые переходы очень значимы, потому что они существенно изменяют функцию потерь, и это изменение можно наблюдать напрямую в искусственных нейросетях. Например, вы даете нейросети задачу по классификации написанных от руки цифр, и в какой-то момент система начинает отличать нули от единиц, что приводит к резкому уменьшению функции потерь.
На самом деле мы знакомы с такими фазовыми переходами еще со школы. Когда изучаем новую теорию и долго не понимаем ее, момент осознания приходит мгновенно — и мы удивляемся: «Почему я не понял этого раньше?»
— В своем недавнем исследовании квазиравновесных состояний в эволюции вы предложили систему, которая сможет предупредить пандемии. Что это за состояния и как они вписываются в концепцию фазовых переходов?
— Это как раз и есть состояния, существующие между фазовыми переходами. О том, что фазовый переход состоится, можно узнать заранее, посмотрев на спектр флуктуаций.
Увеличение энтропии не обязательно должно приводить к очень большому скачку в функции потерь, как в основных переходах, но скачок довольно существенный. Было бы интересно посмотреть на фазовый переход, который произошел, когда началась пандемия. В тот момент мы могли бы измерить функции потерь и сказать: «Да-да, это серьезно, это надолго».
— Вы описали свою теорию происхождения жизни как «тройственное соответствие между термодинамикой, теорией обучения и теорией эволюции». В чем заключается это соответствие?
— Основа теории — математика нейросетей. Из этого можно строить и тройственное отношение, и отношение между четырьмя или пятью элементами — всё зависит от того, как вы распределяете феномены и к какой дисциплине их относите. Но прежде всего у нас есть математика, которая используется для моделирования всех феноменов.
Я начал моделирование с физики, потому что я сам физик. В биологии больше необъясненных экспериментов, которые нуждаются в объяснении, но не имеют подходящей математики. Была задействована теория игр, но предсказания оказались довольно неточными. Например, нет понимания, как бы работал «биологический коллайдер»: что произойдет, если мы возьмем два типа организмов и поместим их в пробирку? Коллайдеры такого типа в биологии рассматриваются на крайне примитивном уровне.
— Нейросети можно обучить чему угодно, в том числе создавать сплошные ошибки. Может ли быть такое, что Вселенная обучится чему-то деструктивному вроде уничтожения наблюдателя?
— Всё зависит от функции потерь Вселенной. То, что может показаться нам деструктивным с точки зрения локального наблюдателя, может быть весьма полезным для Вселенной в целом. Например, в биологии есть известный механизм запрограммированной смерти клетки, но аналогичные алгоритмы присутствуют на разных уровнях.
С точки зрения клетки, ее убили без причины, ведь она могла что-то изучить, но с точки зрения организма, если клетка не очень эффективна, это правильный алгоритм. Если какая-то подсистема Вселенной не очень эффективна, то имеет смысл ее уничтожить, а ресурсы перераспределить.
На первый взгляд может показаться неправильным уничтожение, например, динозавров, ведь они прошли длительный путь эволюции. Но в результате этого ресурсы перераспределились и возникли, например, люди, которые более приспособлены к наблюдению и изучению Вселенной. Если человечество в какой-то момент вымрет, это не значит, что для Вселенной всё обернется плохо. Обернется плохо это для человечества, только и всего.
— Что вы имеете в виду под эмерджентной квантовостью? Наш разум действительно может быть связан с таким же разумом из другой Вселенной?
— Под квантовостью подразумевается, что мы можем пронаблюдать квантовые феномены не только в микроскопическом мире, но и в других, более макроскопических масштабах. Например, было бы интересно пронаблюдать эмерджентную квантовость на уровне биологических нейронов, но пока это спекулятивная тема. Роджер Пенроуз и другие пытаются найти что-то подобное, и на самом деле ничего не противоречит существованию биологической квантовости, тем более что это выгодно с точки зрения теории нейросетей.
Допустим, вы хотите просчитать, какой должен быть выходной результат при разных входящих данных. Если речь о классическом компьютере, то вы просчитываете сначала один вариант и получаете предсказание, затем второй. Если речь о квантовом, то можно считать одновременно суперпозицию входящих данных.
Мы описали эмерджентную квантовость на фундаментальном уровне, но, возможно, квантовость присутствует и на биологическом уровне. Можно ли использовать эту квантовость для установления связей с какими-то другими мыслящими организмами, с разумом из другого конца Вселенной?
Так вот, для эмерджентной квантовости каждая система в нашем физическом пространстве должна иметь возможность подключаться к скрытому пространству на микроскопическом уровне, но, возможно, она это делает и на психологическом. Ничто не противоречит тому, чтобы при необходимости мы подключились к этому пространству и использовали его ресурсы. В физике уже есть определенный тип нелокальности, который приходит от квантовой запутанности, но он не включает возможности передачи информации через скрытое пространство, а тут ничто этому не противоречит.
Эмерджентная квантовость подталкивает нас к тому, что скрытое пространство возможно, но используется ли оно на психологическом уровне — неизвестно. Могу сказать одно: очень многие люди, которые ко мне обращались, говорили, что у них есть такие особенности. Между родственниками, говорят, тоже есть некая связь — это сам по себе интересный феномен, но мне, как ученому, нужно не просто поверить, а построить эксперимент для проверки.
Другой известный психологический феномен, который, возможно, имеет отношение к скрытому пространству, — дежавю. Дело остается за экспериментом, который подтвердит или опровергнет существование скрытого пространства и нелокальных связей.
— Вы говорили, что самым важным для теории было вписать ее в рамки уже существующих исследований. Будет ли теория о Вселенной-нейросети объединяться или дополняться другими масштабными работами?
— Важно понимать: когда создается новая теория, предполагающая, что она более фундаментальна, чем все остальные, она должна включать в себя уже проверенные теории. Например, Эйнштейн создал общую теорию относительности, которая не была бы общепризнанной, если бы не получала в определенном пределе ньютоновскую теорию гравитации. То же самое касается квантовой механики, которая в определенном пределе сводится к классической механике.
Для нейронной физики важно показать, в каких пределах теория сводится как к квантовой механике, так и к общей теории относительности, а также продемонстрировать отклонения от них. Существенная разница между нейронной физикой и классической или квантовой физикой заключается в том, что нейронные сети позволяют моделировать не только физические, но и биологические, психологические, экономические и другие феномены. Эта теория достаточно универсальна.
— Что вас удивило в недавнем вручении Нобелевской премии?
— Удивило не только меня, но и всё физическое сообщество. Никто не ожидал, что премия будет вручена за исследование нейросетей. Хотя действительно были использованы некоторые физические модели, в конечном счете никакие новые физические феномены ни Хопфилдом, ни Хинтоном не были изучены. Это можно воспринимать как премию за инструмент, который помогает делать открытия в физике и других областях, но не как премию за отдельный прорыв в науке. Это довольно смелое решение Нобелевского комитета, которое я скорее разделяю.
Особенно сейчас, когда физика находится в некотором кризисе. За последние десятилетия не было никаких уникальных идей в теоретической физике, и все премии, включая эту, присуждаются за открытия, которые были сделаны более 40 лет назад. В любом случае — окажется ли вся Вселенная нейросетью, или нейронная физика будет лишь инструментом — мы движемся в правильном направлении.
