Табу на нейросети

Догмы и табу – это главные оковы, превращающие живую и развивающуюся науку в ещё одну окостеневшую религию. Но если научные догмы известны всем, то в ситуациях с табу далеко не всегда ясно, что именно – и насколько давно – тут было запрещено…
[ очередной эпизод сериала ОЧП ]

В освещавшейся чуть ранее [i1] новой книге от Джорджа Массера про то, как физики пытаются ныне «встроить сознание в свои уравнения», имеется довольно любопытный эпизод из истории науки 1980-х годов. А именно, о том, как в области систем искусственного интеллекта (ИИ) благодаря биофизику и твердотельщику Джону Хопфилду появилось изобретение прорывного характера – под названием ассоциативная нейронная сеть. Более известная ныне как сеть Хопфилда, возникла эта конструкция так [o1]:

Нейронные сети стали определяющей технологией двадцать первого века, однако за пределами данной области мало кто осознаёт ту решающую роль, которую в их изобретении, совершенствовании и понимании сыграли учёные-физики.

Что бы там ни подразумевали под словом “нейронные”, эти сети были вдохновлены физикой в той же мере, как и биологией. И именно по той причине, что в области искусственного интеллекта к физикам было принято относиться как к аутсайдерам, учёные-физики оказались невосприимчивы к хитросплетениям и интригам академической политики вокруг систем ИИ.

Идея нейронных сетей восходит к 1870-м годам [o2], а первые работающие системы были созданы в 1950-х [o3]. Но по некоторым причинам, которые до сих пор пор толком не ясны – и которые имели отношение как к межличностным конфликтам, так и к рациональным аргументам, – в 1960-70-е годы и сами исследователи искусственного интеллекта, и финансирующие их агентства, все от нейросетей отвернулись.

“[В ту пору –] Это было табу”, – сказал мне видный исследователь нейронных сетей Ян Лекун из Facebook (ныне Meta). – “[В среде нейропсихологов, инженеров и математиков] Вы просто больше не могли публиковать статьи о нейронных сетях”. Но вот Джон Хопфилд, Дэвид Тэнк и другие физики, а также и в большинстве своём биологи [в 1980-е годы] пребывали в счастливом неведении обо всей этой пёстрой истории. “Для физиков и биологов тут не было ничего запретного или постыдного. Так что Хопфилд сделал нейросети респектабельной наукой”, – говорит Лекун.

Для целей проводящихся здесь расследований самое главное слово в столь содержательной цитате – это, конечно же, «табу». Ибо методичное выявление многочисленных табу и анализ «неясных причин» их происхождения в современной науке – это ведь не только рецепт для эффективного лечения застарелых проблем.

Но ещё и расстановка новых (а точнее, восстановление старых, но по тем или иным причинам спрятанных) вех-ориентиров, возвращаясь к которым фундаментальная наука может и должна выбраться из затянувшегося кризиса.

#

Оба из упомянутых Джорджем Массером поворотных моментов в истории науки – 1870-е и 1950-е годы – были критично важны для выбора правильного направления развития. И оба раза наука свернула отчётливо «не туда». Потому что двигаться прямым путём к постижению тайн природы учёным запрещали неведомо кем установленные табу.

История «хитросплетений и интриг академической политики» в 1950-е годы на сегодняшний день известна и изучена намного лучше, чем история важных научных открытий – а также их тихих избирательных «закрытий» – в 1870-е.

Но при этом любопытные механизмы табу – на подсознательном уровне запрещающие упоминать самое главное – продолжают исправно работать и сегодня. Наглядный пример чему даёт та же процитированная выше книга Массера [o1], где в рассказе о возврате интереса науки к нейросетям в середине XX века, никак нельзя не упомянуть историческую роль кибернетики:

В 1940-х годах психологи объединились с математиками, инженерами и физиологами, чтобы превратить нейронные сети в строгую область исследований под названием “кибернетика”, предшественницу того, что мы сейчас называем искусственным интеллектом. Именно кибернетика вдохновила учёных на создание первых аппаратных нейросетей в 1950-е годы.

Данная цитата интересна тем, что ни здесь, ни где-либо дальше по тексту книги ни единым словом не упоминается «отец» кибернетики Норберт Винер. Хотя именно этот выдающийся математик не только был автором собственно термина и основателем новой научной области в целом, но и непосредственно участвовал в разработке идей об искусственных нейросетях в начале 1950-х.

Именно эти факты – то есть теснейшие связи кибернетики и нейронных сетей с именем Норберта Винера – стали, однако, и главной причиной «табу на нейросети» в 1960-70е годы. Ибо начиная с конца 1940-х и вплоть до своей кончины в 1964 авторитетнейший учёный Винер не только открыто и громко выступал против политики властей в области засекречивания науки, но и настоятельно призывал всех коллег поддержать его протест против нарастающего контроля военных и спецслужб за передовыми научными разработками. И против того, в особенности, что именно милитаристы стали главными финансирующими органами для всех подобных исследований.

Так что именно из-за Винера, по сути дела, и возникли все те «хитросплетения и интриги академической политики», результатом которых стало как прекращение финансирования кибернетики в целом, так и негласный запрет на нейросети в частности. Подробности этой истории в более широком контексте бед науки 1950-х можно найти в текстах «Тайны внутри секретов» и «Бунт учёного» [i2].

Здесь же далее полезно вникнуть в подробности зарождения собственно концепции «ассоциативная нейросеть» и в детали её первого научного открытия в 1870-е годы. А самое главное – в подробности того, отчего столь важное открытие примерно тогда же и «закрыли», как бы забыв и про него, и про вклад его автора примерно ещё на столетие…

#

Главными героями этой части истории являются философ Александр Бэйн (1818-1903) и математик Уильям Клиффорд (1845-1879). Первый – как автор открытия, второй – как главная причина научного табу на это достижение.

Для того, чтобы причины табу стали понятны, требуется как можно яснее увидеть важные взаимосвязи между ассоциативной нейросетью Бэйна и материалистическими идеями Клиффорда об устройстве разума во вселенной. Суть этих идей развёрнуто представлена ранее в тексте «Путь Клиффорда» [i3] , поэтому здесь рассказ будет сосредоточен на сути открытия Бэйна.

Для правильного же восприятия этого открытия желательно понимать и его длинную предысторию. То есть иметь представление, сколь глубоко уходят корни этой концепции в недра философии и насколько естественным стал выход науки на ассоциативные нейросети именно в 1870-е годы.

Базовый принцип «ассоциации идей» был сформулирован и известен в европейской философии ещё со времён древних греков. В частности, Аристотель считал, что акт мышления – это формирование «ассоциации» как взаимосвязи между двумя или более идеями. Благодаря ассоциациям вспоминание одной идеи влечёт за собой идею другую. Таким образом наш мозг сплетает огромную сеть ассоциаций, придавая человеческому мышлению его впечатляющее богатство.

В XVII веке, на заре современной материалистической науки, такие её основатели, как Галилей и Декарт предпочли разделить разум и материю на существенно разные части природы. Этот манёвр давал возможности изучать свойства материи, не вступая в серьёзные конфликты с церковью, очень нервно и жёстко реагировавшей на попытки изучения души и сознания.

Другие философы природы, вроде Томаса Гоббса и Джона Локка в XVII веке, а также их последователей и единомышленников эпохи Просвещения, категорически не согласились с идеями Декарта о «бестелесной субстанции» души, отчего разум якобы в принципе невозможно измерить и описать в терминах количества и движения.

Эти натурфилософы, начиная с Гоббса, пытались, можно сказать, для мира сознания придумать нечто подобное тому, что последователи Галилея, Декарта и Ньютона делали для мира физического. То есть выявить простые объединяющие принципы, опираясь на которые далее можно было бы выводить и всё остальное о природе разума.

Давняя концепция Аристотеля об «ассоциации идей» выглядела вполне подходящей в качестве основы для выстраивания новой, «механистической» теории мышления. Такой теории, иначе говоря, где наш мозг постепенно и на собственном опыте восприятия учится осваивать идеи, формируя растущую сеть их взаимосвязей-ассоциаций. А отнюдь не имеет это всё от рождения, как утверждала декартова философия.

Короче говоря, уже в первой половине XVIII века на данном направлении развития философской мысли удалось выявить две важнейших особенности сегодняшних нейронных сетей. Во-первых то, что с механической точки зрения интеллект представляет собой сильно переплетённую сеть взаимосвязанной информации. И во-вторых то, что такого рода сети обретают данную информацию в процессе получения её из опыта, а не запрограммированы ею изначально.

Эти базовые, но пока ещё сугубо гипотетические предположения новой теории об устройстве разума примерно тогда же начали постепенно обретать и материальные черты в физическом теле человека. И что особо интересно, сразу же – пусть и сугубо интуитивно – удалось ухватить не только волновую природу работы сознания, но и «голографический» принцип хранения информации (хотя собственно термин для этой физики появится в науке лишь два столетия спустя).

#

В 1749 году английский врач и философ Дэвид Хартли (1705-1757), развивая теорию разума как ассоциации идей, выдвинул предположение [o4], что нервная ткань пульсирует вибрациями. Уподобив эту физику тому, как на поверхности пруда по воде распространяется волновая рябь, или, аналогично, как звуковые волны распространяются в помещении.

Когда волны в нервной ткани встречаются друг с другом, согласно предположениям Хартли, вибрации усиливаются или сливаются, образуя такие физические ассоциации, которые становятся основой ассоциаций психологических. Развивая эту волновую идею, он предположил далее, что точно так же, как отдельные голоса сливаются в хоре многоголосия, простые идеи затем могут объединяться в идеи сложные.

Устройство человеческой памяти, соответственно, Хартли мыслил в том же духе волновой физики – как своего рода реверберации эхо, распространяющиеся по всему мозгу, а не как записи, хранящиеся в отдельных отсеках мозга (что предполагали его оппоненты).

В этом месте истории самое время подчеркнуть, что современные нейронные сети в основе систем искусственного интеллекта хранят информацию именно таким – распределённым – образом. Также следует подчеркнуть, что на основе того же, фактически, принципа хранится информация в современных голографических устройствах памяти…

Завершая же сюжет про теорию устройства разума от Дэвида Хартли, необходимо отметить, что сам он не только прекрасно понимал, но и открыто признавал, что все его идеи о волнах вибраций – это сугубо спекулятивные предположения, не имевшие в ту пору никаких подтверждений опытами.

Экспериментальная наука тем временем продолжала развиваться, и примерно к концу XVIII столетия учёные обнаружили, что нервные сигналы в организме животных и человека на самом деле являются электрическими. Отчего их изучение в равной степени потребовало навыков как в области физики, так и в области биологии.

#

В середине XIX века целый ряд важных и особо впечатляющих успехов в изучении природы живых организмов был достигнут сообществом германских учёных, называвших себя «физиками-органиками». Это научное движение, лидерами которого были Герман Гельмгольц и Эмиль Дюбуа-Реймон, поставило своей целью объяснить все феномены органической жизни в терминах твёрдой науки, опираясь на методы и инструменты, принятые в таких дисциплинах, как математика, физика и химия.

Для физиков-органиков, отвергнувших доминировавшую прежде идею о некой неуловимой «жизненной силе», якобы наделяющей жизнью все органические феномены, была вполне характерна убеждённость в том, что и устройство мозга, аналогично, должно быть понято наукой в тех же базовых терминах, что и остальной физический мир.

Впечатляющие успехи этих немецких учёных-материалистов вдохновляли не только современников-естествоиспытателей, но и философов. Среди которых был и главный герой этой истории, шотландский философ Александр Бэйн.

[ В истории науки и техники XIX века было два известных шотландца по имени Alexander Bain – один философ, другой изобретатель. По очень давней традиции фамилию философа на русский принято переводить как Бэн, а фамилию изобретателя как Бейн. Хотя на самом деле у обоих одна и та же фамилия Бэйн. ]

К 1870-м годам философ Александр Бэйн уже имел солидную репутацию автора многочисленных публикаций на темы образования, риторики и логики. В области же психологии Бэйн был знаменит как автор весьма влиятельного в своё время двухтомного труда, состоящего из книг «Чувства и интеллект» (1855) и «Эмоции и воля» (1859). Эти две книги многократно переиздавались, почти на 50 лет утвердившись в Британии и прочих англоязычных странах в качестве стандартных текстов по психологии. [o4]

Что же касается значительно менее известной, но особо важной для нашей истории книги 1872 года «Разум и тело: теории их взаимосвязи» [o2], то она стала главным из тех трудов Бэйна, где в традиционные для философов-психологов предметы обсуждения по сути впервые стали в явном виде встраиваться темы физиологии, функционирования мозга и устройства нервных клеток.

Очевидно впечатлённый внушительными успехами учёных «нового германского материализма», Бэйн цитирует в своей книге исследования Гельмгольца и Дюбуа-Реймона в области работы рефлексов и нервных импульсов. Эти достижения Бэйн интересно сочетает с теорией электромагнитной индукции Майкла Фарадея, которую, в свою очередь, встраивает в собственную модель циркуляции энергии в нейронной сети мозга (как это назвали бы сейчас).

Особо же сильное влияние на появление модели Бэйна оказали работы английского врача, физиолога и паталогоанатома Лайонела Смита Била (Lionel Smith Beale, 1828–1906). Большую популярность книгам и статьям Била придавало грамотное использование микроскопа, а главное, полученные с его помощью прекрасные иллюстрации клеточного строения тканей.

Устройство сети нервных клеток и волокон, согласно исследованиям Л.С.Била

Изучая результаты исследований Била, Александр Бэйн был поражён тем, насколько отчётливо микроскопические изображения нервной ткани демонстрировали структуру взаимосвязанной сети. На этих иллюстрациях, можно сказать, давно известные философские абстракции вдруг обрели вполне конкретную физическую форму.

Сконструировав на этой основе собственную схему-модель того, что ныне именуется ассоциативными нейросетями, Бэйн поясняет в своей книге, каким образом такие сети обеспечивают надёжно подкрепляемый наблюдениями механизм для концепции «ассоциация идей».

Схема нейронной сети Александра Бэйна

В модели Бэйна сигнал, поступающий в сеть, стимулирует каскад нервной активности. Если два сигнала поступают в сеть одновременно, то они запускают сразу два каскада. И если мозг усиливает взаимосвязи между двумя задействованными группами нервов, то этим формируется память о спаривании.

Почти столетие спустя, в середине XX века именно этот простой механизм обучения станут обозначать крылатой фразой “Neurons that fire together, wire together” (Нейроны, срабатывающие вместе, соединяются вместе). И в той мере, насколько современная наука понимает работу мозга, именно таким образом синапсы нейронов действительно закрепляют процесс обучения через химические связи.

Вот только про Бэйна и его нейросеть в послевоенной науке XX века уже совсем никто и ничего не помнил. А первая – и пока чуть ли не единственная – историко-исследовательская работа, посвящённая анализу и возвращению давно забытой книги с открытиями некогда известного учёного, появилась буквально несколько лет назад, в 2019: Кэйт Харпер, «Книга Александра Бэйна Mind and Body (1872): Недооценённый вклад в раннюю психологию» [o5].

В работе Харпер делается попытка понять причины произошедшей несправедливости. Почему, иначе говоря, при жизни Бэйна его книга «Разум и тело» была весьма популярна в Британии, Америке и Европе, имела девять переизданий и несколько переводов на другие языки (перевод на русский вышел в 1880), однако вместе с наступлением XX века про неё все и сразу быстро забыли.

Разного рода предположения, собранные и выдвинутые Кэйт Харпер на данный счёт, выглядят как-то тускло. То есть и неинтересно, и неубедительно. Но при этом есть одна совершенно другая – неназываемая – причина, объясняющая произошедшее и интересно, и убедительно.

Называется эта причина, как можно уже догадаться, научное табу. Точнее, «Табу на Клиффорда». Почему такое объяснение выглядит действительно интересным, продемонстрировать совсем несложно с опорой на достоверные факты. Ну а насколько эти доводы представляются убедительными, каждый пусть решает сам.

При этом желательно понимать и такую вещь. Чем больше людей в науке узнает о табу на Клиффорда, тем быстрее оно исчезнет. Ибо кроме вреда, пользы от этого запрета для человека нет абсолютно никакой…

#

Итак, какого рода обстоятельства объединяют научные изыскания математика Клиффорда и философа-нейропсихолога Бэйна до столь мощной степени, что табу на идеи первого учёного попутно «закрыло» и открытие второго?

Для начала, первым делом, следует напомнить, что история эта происходила в Британии, в начале 1870-х годов. Именно в этот период Уильям Клиффорд, находившийся в самом расцвете творческих сил, начал публиковать свои работы о так называемых геометрических алгебрах (иначе именуемых ныне алгебрами Клиффорда). [i4]

Важность этого математического инструментария будет постигнута в науке много-много позже. При создании квантовой механики в 1920-30-е годы молодым гениальным «отцам» этой новой физики (Вольфгангу Паули, Полю Дираку, Этторе Майоране) пришлось самостоятельно переизобретать нужные фрагменты клиффордовой математики, потому что о геометрических алгебрах наука XX века как бы «напрочь забыла».

Про другой важнейший вклад этого учёного в физико-математическую науку, повторно переоткрытый на рубеже 1920-30-х годов и известный ныне как «нетривиальная фибрация Хопфа», ранее уже рассказывалось не раз и в самых разных аспектах [i5].

Здесь же необходимо осветить некоторые дополнительные подробности ещё об одном существенном – и до сих пор табуированном – вкладе Клиффорда. Ибо и к нынешней истории о нейросетях вообще, и к нейропсихологической теории Бэйна в частности, самое непосредственное отношение имеет принципиально важная идея Уильяма Клифорда о «mind-stuff» [o6], то есть о «материи разума». Под этим термином понимается единая материальная субстанция, образующая реальность таким образом, что внутри она представляет собой разум, а внешне выглядит как наблюдаемая нами материя.

Вполне содержательно и в подобающем современном научном контексте о сути этой гипотезы Клиффорда было рассказано в материале «Главная тайна Со-Знания» [i6]. Теперь же обстоятельства появления концепции mind-stuff полезно уточнить в контексте науки 1870-х годов.

Ибо это было время, как уже отмечалось выше, когда учёные-исследователи с опорой на математику и физику стали получать реально сильные результаты не только в области биологии, но и нервно-психической деятельности живых организмов.

На волне как бесспорных успехов нового научного материализма, так и большого интереса к новой книге Бэйна «Разум и тело», в британском научном сообществе появился первый научный журнал MIND (Разум), целиком посвящённый науке психологии. Точнее говоря, главной целью этого нового издания, как объявили его создатели, было преобразование нарождающейся психологии в подлинную науку.

О том, что затея оказалась очевидно успешной, говорит уже тот факт, что журнал MIND благополучно существует по сию пору, оставаясь одним из главных периодических изданий по философии. Для нашей же истории особо примечательно, что основателем нового журнала в 1876 году был Александр Бэйн, а в 1878 году именно в этом журнале Уильям Клиффорд опубликовал свою статью [o6] о «материи разума».

Уже в следующем, 1879 году Клиффорд к великому сожалению умер в возрасте 33 лет. Отчего все его очень разные, но равно великие научные идеи остались никак не сведёнными в единую, существенно новую картину мира. Такую, следует подчеркнуть, картину физики и геометрии сверхразумной самообучающейся вселенной, где конструкция ассоциативных нейросетей Бэйна занимает если и не центральное, то одно из важнейших мест.

Вряд ли требуется уточнять, что столь необычные идеи, естественным образом выводимые из открытий учёных XIX века, для современной науки и поныне остаются чуждыми и неприемлемыми. Ибо сохраняющееся «табу на Клиффорда» очень жёстко заставляет научное сообщество всячески избегать идеи о mind-stuff и упорно искать корни сознания там, где этого нет – в клетках и тканях человеческого мозга.

Когда же табу на Клиффорда перестанет, наконец, душить и тормозить науку, сами собой начнут открываться удивительные вещи и взаимосвязи. Типа того, например, что калибровочные симметрии в квантовой физике и связности на расслоённых фибер-пространствах в топологии – это не только разные взгляды на одну и ту же конструкцию в основе мироздания, но ещё и физико-математическое описание для феномена «общих сновидений» у австралийских аборигенов…

Аккуратно и убедительно продемонстрировать это вполне возможно уже сегодня. Но как-нибудь в другой раз.

# # #

Дополнительное чтение:

[i1] Физика разума как топология пространства (или наоборот)

[i2] О засекречивании науки в 1950-е годы и гражданском неповиновении Норберта Винера: Тайны внутри секретов ; Бунт учёного

[i3] Путь Клиффорда

[i4] Программа Клиффорда как рубеж и перспектива

[i5] Фундамент Хопфа ; Нетривиальное расСЛОНение

[i6] Главная тайна Со-Знания

# #

Основные источники:

[o1] George Musser. Putting Ourselves Back in the Equation: Why Physicists Are Studying Human Consciousness and AI to Unravel the Mysteries of the Universe (2023)

[o2] Alexander Bain, «Mind and Body: The Theories of Their Relation». New York: D. Appleton, 1875, pp 109–16. Оцифрованная версия в интернет-архиве: mindbodytheories00bain

[o3] B. Farley and W. Clark, “Simulation of Self-Organizing Systems by Digital Computer,” Transactions of the IRE Professional Group on Information Theory 4, no. 4 (September 1954): 76–84 https://doi.org/10.1109/TIT.1954.1057468

[o4] David Hartley, Observations on Man, His Frame, His Duty, and His Expectations (London, Printed by S.Richardson, 1749). Оцифрованная версия в интернет-архиве: observationsonma00hart

[o5] Kate Harper. “Alexander Bain’s Mind and Body (1872): An Underappreciated Contribution to Early Neuropsychology.” Journal of the History of the Behavioral Sciences 55, no. 2 (April 2019): 139–60. https://doi.org/10.1002/jhbs.21963

[o6] William Kingdon Clifford, “On the Nature of Things-in-Themselves”, Mind (1878), Vol. 3, No. 9, pp. 57–67 https://doi.org/10.1017/CBO9781139149884.003

#