Пока готовится большой материал об устройстве сознания человека, атома и вселенной – то есть единого сознания в природе – будет к месту опубликовать небольшой текст об озадачивающих успехах Искусственного Интеллекта, созданного людьми.

Скотт Ааронсон, как выдающийся компьютерный учёный и интересно мыслящий человек, уже становился героем сюжетов родственного проекта kiwi arXiv. Ныне же, в связи с праздником Рождества и сложными чувствами учёного от работы в компании OpenAI, построившей самую мощную на планете систему ИИ, появилось необычное письмо Ааронсона, адресованное в прошлое.

Поскольку текст небольшой, имеет смысл привести здесь его перевод полностью.

Краткое письмо самому себе, 11-летнему

Дорогой Скотт,

Это написал себе ты. Из будущего через 30 лет, в канун Рождества 2022 года. Твой Рождественский Призрак будущего.

Чтобы побыстрее перейти к сути: в конечном итоге ты станешь профессором, который работает над квантовыми вычислениями. Квантовые вычисления – это…

Скажем так, ты ведь читал в популярных книжках о физике всякие странные вещи про то, как частица проходит все возможные пути сразу, чтобы попасть из точки А в точку Б, но только ты никогда на самом деле не видишь, как она это делает, потому что как только ты за ней следишь, то она проходит лишь одним путём?

Так вот, оказывается, что в этом есть нечто гигантски важное, даже несмотря на то, что популярные книжки полностью искажают тут объяснение. Это связано с комплексными числами. Квантовый компьютер – это такой новый тип компьютера, который люди пытаются построить, опираясь на подлинные основы этой истории.

Как бы там ни было, штука потрясающая, но ты в любом случае узнаешь про это уже через несколько лет. Я же пишу не о том.

Я пишу из такого будущего, которое… с чего бы начать?

Я мог бы описать это так, что оно прозвучит удручающе депрессивно и даже просто скучно. Или я мог бы также рассказать такое, чему ты вообще не поверишь. Крошечные устройства в карманах у каждого человека с возможностями мгновенной видеосвязи с кем угодно и где угодно, или с возможностями доступа к любой информации в мире – это стало настолько привычным, что воспринимается как нечто само собой разумеющееся.

Если бы, скажем, некий супервирус из Китая стал бы опустошать весь мир, а людям пришлось бы прятаться в своих домах в течение года, такого рода всеобщая подключённость оказалась бы особенно кстати, не правда ли?

Или вот так. Что, если бы Дональд Трамп – ну, ты знаешь, тот парень, который выложил своё имя гигантскими золотыми буквами в Атлантик-Сити – стал президентом США? А затем попытался совершить фашистский переворот и отменить Конституцию, причём был на волосок от успеха?

Ладно-ладно, с этим последним я тебя поддразнивал… конечно же! Но вот как насчёт следующего?

Есть компания, создающая искусственный интеллект, который заполняет гигантские комнаты, потребляет электричество на целый город, а недавно обрёл поразительную способность общаться как люди. Он может писать эссе или стихи на любую тему. Он может успешно сдавать экзамены на уровне колледжа. Он ежедневно обретает такие новые возможности, о которых инженеры, занимающиеся этим искусственным интеллектом, пока даже не могут говорить публично.

Но инженеры эти, однако, ходят в кафетерий компании и обсуждают там значение того, что они создают. Чему этот ИИ научится на следующей неделе? Какие рабочие места это может сделать устаревшими? Следует ли им притормозить или вообще остановиться, чтобы не разбудить дракона? Но разве это не будет означать, что кто-то другой, возможно, кто-то менее щепетильный, разбудит дракона первым? Есть ли у них этическое обязательство рассказать миру об этом больше? Или же есть обязательство рассказывать об этом поменьше?

Я – будущий ты – провёл год, работая на эту компанию. Моя работа – твоя работа – заключается в разработке математической теории того, как помешать этому ИИ и его преемникам посеять хаос. Слова “сеять хаос” могут означать здесь что угодно – от бешеной пропаганды и академического мошенничества до раздачи советов по биотерроризму и, да-да, уничтожению этого мира.

Ты ведь знаешь, как ты, 11-летний Скотт, решил написать программу на QBasic для общения компьютера с пользователем, следуя трём законам роботехники Азимова? И ты же знаешь, как быстро ты там застрял? И представь себе, тридцать лет спустя всё это прошло полный круг. Ты вернулся к той же самой проблеме. И ты всё ещё на ней застрял.

Ох, ну ладно. Может, это я просто снова тебя разыгрываю… как в случае с Трампом. Быть может, в этой истории тебе и самому удастся отделить правду от многократно пережёванных научно-фантастических штампов. Ведь в реальности было бы побольше воображения, чем в этом, не так ли?

Но всё же предположим, что нет. Тогда чего бы хотелось тут тебе, чтобы я сделал в такого рода ситуации? Не беспокойся, я не намерен следовать совету 11-летнего ребёнка, не обдумав сначала всё как следует сам и не привлекая то, что я уже знаю, но чего не знаешь ты.

Ты, однако, можешь взглянуть на эту ситуацию свежим взглядом, без тех 30 прошедших лет, которые сделали данную проблему слишком близко знакомой. Помоги же мне. Брось мне сюда чёртову кость (ещё лет через пять ты поймёшь, откуда эта цитата).

Спасибо!!

Скотт

Постскриптум. Когда появится нечто под названием “биткойн”, вложи в него свои сбережения, придержи в течение десятилетия, а затем продай.

Пост-постскриптум. О насмешках, девушках и свиданиях… Я мог бы рассказать тебе такие вещи, которые помогли бы тебе разобраться и в этом на целое десятилетие раньше. Но если бы я это сделал, ты почти наверняка женишься на какой-нибудь ещё подруге и заведёшь другую семью. А я, видишь ли, в некотором смысле очень привязан к той семье, которая есть у меня сейчас.

И да, я знаю, сам факт того, что я отправляю это письмо, предположительно, вызовет эффект бабочки и всё равно всё изменит, и так далее, и тому подобное. Но тем не менее, я чувствую, что для своих нынешних детей я просто обязан максимально увеличить вероятность их рождения. Так что извини, приятель!

# # #

Дополнительное чтение:

100-летний юбилей Айзека Азимова, яд националистической пропаганды и «Национальные особенности поисковых систем.»

Куда идем? Об отчетливой тенденции властей перекладывать на ИИ все следящие и запретительные функции.

Искусственный интеллект и страх перемен. Отчего «наши неофобные, консервативные ИИ-повелители желают, чтобы всё оставалось как прежде».

И был ему сон… Про сновидение Скотта Ааронсона о нашем мире как компьютерной симуляции.

Основные источники:

Short letter to my 11-year-old self. Shtetl-Optimized (The Blog of Scott Aaronson, December 24th, 2022

#