Оригинал статьи находится на сайте "Wired": "Why the future doesn't need us."
Самые мощные технологии 21-го века - робототехника, генная инженерия и нанотехнология2 - могут подвергнуть человеческий род опасности.
Нравственные измерения новых технологий беспокоили меня с того
момента, как я стал заниматься их созданием, но только осенью 1998-го
года я с тревогой понял, насколько велики опасности, с которыми мы
столкнёмся в 21-м веке. Я могу датировать начало моей тревоги днём,
когда я встретил Рэя Курцвейла (Ray Kurzweil), прославившегося
изобретением первой читающей машины для слепых и многих других
удивительных вещей.
Я и Рэй оба были докладчиками на конференции Telecosm Джорджа Гилдера3, и мы встретились случайно в гостиничном баре после наших заседаний. Я сидел за столиком с Джоном Сирлом4, философом из Беркли, работавшим над изучением сознания. Во время нашей беседы подошёл Рэй, и завязался разговор, предмет которого преследует меня по сей день.
Начало их разговора я пропустил мимо ушей, а потом стал вникать. Рэй говорил о том, что темпы развития технологий ускоряются и что мы скоро сольёмся с роботами, станем роботами или что-то наподобие, а Джон возражал, говорил, что этого не может случиться, потому что роботы не могут обладать сознанием.
Раньше я всегда полагал, что чувствующие роботы относятся к сфере научной фантастики. Но теперь от уважаемого мной человека я услышал веские аргументы в пользу того, что такие роботы являются делом близкого будущего. Я был ошеломлён, особенно если учесть подтверждённую способность Рэя воображать и создавать будущее. Я уже знал, что новые технологии, вроде генной инженерии или нанотехнологии, дают нам власть переделать мир, но реалистичный и близкий сценарий создания разумных роботов поразил меня.
Такими открытиями легко пресытиться. Мы чуть ли не каждый день слышим в новостях про тот или иной технический или научный успех. Но то, что сказал Рэй, было совершенно неординарным предсказанием. Прямо в гостиничном баре он дал мне частичную распечатку своей книги "Век духовных машин"5, которая готовилась к выходу в свет. Эта книга намечает в общих чертах утопию, которую он предвидит - утопию, в которой люди, "смертные", достигают почти бессмертия путём слияния с робототехникой. От чтения данной книги моё чувство тревоги только усилилось; я был уверен, что он преуменьшал опасности, преуменьшал вероятность плохого исхода при следовании по этому пути.
Больше всего меня обеспокоил отрывок, подробно описывающий антиутопический сценарий:
Сперва давайте примем без доказательства, что компьютерщики преуспеют в совершенствовании разумных машин, которые всё смогут делать лучше, чем люди. В этом случае, по-видимому, вся работа будет делаться многочисленными высокоорганизованными системами машин, и не нужны будут никакие людские усилия. Может произойти одно из двух. Либо машинам может быть разрешено делать всё, что они сочтут нужным, без человеческого за ними присмотра, либо человеческий контроль над машинами может быть сохранён.
Если машинам дана полная свобода в осуществлении их собственных решений, то невозможно сказать, к чему это приведёт, потому что невозможно угадать, как такие машины могут себя вести. Мы лишь укажем, что гибель рода человеческого была бы во власти машин. Будет ли человечество когда-нибудь столь безрассудно, что передаст всю власть машинам, или же никогда не будет, - спорный вопрос. Но мы намекаем не на то, что человечество добровольно передаст власть машинам, и не на то, что машины умышленно захватят власть, а на то, что человечество легко может позволить себе скатиться до положения такой зависимости от машин, что не будет уже никакого практического выбора, кроме как полного принятия всех машинных решений. В то время как общество и проблемы, с которыми оно сталкивается, будут становиться всё более и более сложными и всё более и более интеллектуальными будут становиться машины, люди будут позволять машинам принимать за них больше решений, просто потому, что решения, выработанные машинами, будут приводить к лучшим результатам, чем решения, принятые людьми. В конце концов может быть достигнута ступень, когда решения, необходимые для поддержания системы в рабочем состоянии, будут такими сложными, что люди будут неспособны к разумной выработке этих решений. На этой ступени фактически распоряжаться будут машины. Люди просто не смогут выключить машины, потому что они будут столь зависимы от них, что их выключение равнялось бы самоубийству.
С другой стороны, возможно, что человеческий контроль над машинами может быть сохранён. В этом случае средний человек может управлять некоторыми своими личными машинами, такими, как автомобиль или персональный компьютер, но контроль над крупными системами машин будет в руках крохотной элиты - совсем как сейчас, но с двумя отличиями. Благодаря усовершенствованной технике элита будет иметь больший контроль над массами, а поскольку человеческий труд будет больше не нужен, массы будут излишними, бесполезным бременем для системы. Если элита безжалостна, она может просто принять решение истребить людскую массу. Если же она гуманна, то она может использовать пропаганду или иные психологические или биологические способы для сокращения уровня рождаемости, до тех пор, пока людская масса не вымрет, освободив мир для элиты. Или, если элита состоит из мягкосердечных либералов, она может решить сыграть роль доброго пастыря для остального человечества. Они будут присматривать, чтобы физические потребности каждого были удовлетворены, чтобы все дети воспитывались в психологически здоровых условиях, чтобы каждый человек не бездельничал, а имел полезное занятие по душе и чтобы всякий, кто мог стать недовольным, подвергался "лечению" для того, чтобы исцелить его "трудный случай". Конечно, жизнь будет настолько бесцельной, что людей придётся биологически или психологически перестроить: либо устранить их потребность в процессе власти7, либо заставить их превратить своё побуждение к власти в некоторое безобидное хобби. Эти спроектированные люди могут быть счастливы в таком обществе, но они совершенно определённо не будут свободны. Они будут приведены к статусу домашних животных8.
В книге, пока вы не перевернёте страницу, вы не обнаружите, что автором этого отрывка является Теодор Качински - Унабомбер9. Я не защитник Качински. В течение 17-летней кампании террора его бомбы убили троих людей и многих поранили. Одна из его бомб тяжело поранила моего друга Дэвида Гелернтера, одного из самых выдающихся компьютерщиков и провидцев нашего времени. Подобно многим моим коллегам, я чувствовал, что следующей мишенью Унабомбера запросто мог быть я.
Качински действовал кровожадно и, по моему мнению, невменяемо. Он несомненно является луддитом, но простое указание этого факта не отклоняет его аргументацию; как ни тяжело мне было это осознавать, но в рассуждениях, изложенных в этом единственном отрывке, я видел некоторую логику. Я чувствовал необходимость противостоять ей.
Антиутопическое предвидение Качински описывает последствия, не охваченные умыслом, пресловутую проблему проектирования технологии и её использования, а также проблему, которая имеет очевидное отношение к закону Мэрфи10 - "Всё, что может сломаться, сломается". (Фактически это Закон Жулика10, который утверждает, что Жулик был прав.) Чрезмерное применение антибиотиков привело к тому, что до сих пор является, наверное, наибольшей из такого рода проблем: появление бактерий, устойчивых к антибиотикам и гораздо более опасных. Нечто подобное произошло, когда попытки ликвидации малярийных комаров с использованием ДДТ вызвали у них устойчивость к этому препарату; более того, малярийные паразиты приобрели гены мультимедикаментозной устойчивости11.
Причина многих таких неожиданностей вроде бы ясна: задействованные системы сложны, они включают в себя взаимодействие и обратные связи между множеством частей. Всякие изменения в таких системах будут каскадно ниспадать путями, которые трудно предсказать; это особенно верно там, где задействована человеческая деятельность.
Я начал показывать цитату Качински из книги "Век духовных машин" своим друзьям; обычно я вручал им курцвейловскую книгу, давал прочитать цитату, а потом наблюдал их реакцию, когда они обнаруживали, кто её написал. Приблизительно в то же время я нашёл книгу Ганса Моравека "Робот: от просто машины до сверхразума"12. Моравек является одним из лидеров исследований в робототехнике и основателем крупнейшей в мире робототехнической исследовательской программы при университете Карнеги Меллона. "Робот" дал мне больше материала для проб на моих друзьях - материала, удивительно подкрепляющего аргументацию Качински. Например:
Короткий отрезок пути (начало 2000-х годов)
Биологические виды почти никогда не переживали столкновений с превосходящими конкурентами. Десять миллионов лет назад Южная и Северная Америки были разделены затопленным Панамским перешейком. Южная Америка, подобно Австралии в наши дни, была населена сумчатыми млекопитающими, включая сумчатых эквивалентов крыс, оленей и тигров. Когда же перешеек, соединяющий Северную и Южную Америки, поднялся, северным плацентарным видам со слегка более эффективными метаболизмами, а также репродуктивной и нервной системами, понадобилось всего лишь несколько тысяч лет для того, чтобы вытеснить и ликвидировать почти всех южных сумчатых.
В совершенно свободном рыночном пространстве превосходящие человека роботы, без сомнения, воздействовали бы на людей так же, как североамериканские плацентарные воздействовали на южноамериканских сумчатых (и как люди повоздействовали на бесчисленное множество видов). Промышленности роботов сильно конкурировали бы между собой за материю, энергию и пространство, устанавливая, между прочим, цены на них выше тех, которые достижимы для человека. Будучи не в состоянии позволить себе предметы первой необходимости и необходимые условия жизни, биологические люди оказались бы выдавленными за пределы бытия.
Вероятно, какая-то светлая перспектива всё же есть, потому что мы живём не в абсолютно свободном рыночном пространстве. Правительство принуждает к нерыночному поведению, главным образом, через собирание налогов. Если правительственные принуждения применять рассудительно, то они смогут поддерживать человеческое население в роскоши на плодах работы роботов, возможно, в течение длительного промежутка времени.
Учебник по антиутопии, да и только. Моравек идёт дальше, обсуждая, как наша основная работа в 21-м веке будет "обеспечивать непрерывное сотрудничество для защиты от промышленностей роботов" через принятие законов, которые приказывают роботам быть "любезными"13, а также он описывает, насколько серьёзно опасным может быть человек, "однажды превращённый в неограниченного сверхразумного робота". Мнение Моравека состоит в том, что со временем роботы нас сменят - что люди несомненно стоят лицом к вымиранию.
Я решил, что пришло время поговорить с моим другом Дэнни Хиллисом14. Дэнни обрёл известность как соучредитель компании "Думающие Машины", которая строит очень мощный параллельный суперкомпьютер. Несмотря на моё теперешнее звание главного учёного в "Sun Microsystems", я больше компьютерный архитектор, чем учёный, а знания Дэнни в области информационных и естественных наук я уважаю больше, чем знания какого-либо другого известного мне человека. Дэнни считается также дальновидным футурологом - четыре года назад он основал фонд "Долгосрочное Настоящее"15, который строит часы, рассчитанные на 10000 лет работы, чтобы попытаться привлечь внимание к ничтожно короткому сроку существования нашего общества (см. "Испытание Времени"16).
Итак, я полетел в Лос-Анджелес с конкретной целью: отобедать с Дэнни и его женой Пэйти. Я, как обычно, показывал им идеи и отрывки, которые так меня взволновали. Ответ Дэнни - направленный специально на сценарий Курцвейла о слиянии людей с роботами - пришёл быстро и совершенно меня поразил. Он сказал просто, что изменения придут постепенно и что мы к ним привыкнем.
Но мне кажется, что я не совсем удивился. Я уже видел в книге Курцвейла цитату Дэнни, где он говорит: "Я люблю своё тело так же, как и любой другой, но если с кремниевым телом я смогу прожить 200 лет, то я его приму". Он спокойно говорил об этом процессе и сопровождающем его риске, а я так не мог.
Во время разговоров и размышлений о Курцвейле, Качински и о Моравеке, я вдруг вспомнил роман, который я читал почти 20 лет назад - "Белая чума" Фрэнка Херберта. В этом романе молекулярный биолог, семью которого зверски убили, помешался. Чтобы отомстить, он конструирует и распространяет новую и очень заразную моровую язву, которая убивает массово, но избирательно. (Нам повезло, что Качински был математиком, а не молекулярным биологом.) Мне вспомнился также Борг из "Звёздного пути", рой полуживых-полумеханических созданий с выраженными разрушительными наклонностями. Бедствия, подобные Боргу, являются главным элементом научной фантастики, так почему же я недостаточно беспокоился о таких робототехнических антиутопиях раньше? Почему другие люди недостаточно беспокоились об этих кошмарных сценариях?
Часть ответа состоит в том, что мы склонны к безоговорочному одобрению всего нового. Мы привыкли жить с почти шаблонными научными открытиями, но однажды нам всё же придётся столкнуться с тем фактом, что самые неотразимые технологии 21-го века - робототехника, генная инженерия и нанотехнология - ставят угрозу, отличную от той, которую ставили прежние технологии. А именно, роботы, спроектированные организмы и нанороботы разделяют опасный усиливающий фактор: они могут размножаться. Бомба взрывается лишь однажды, а один робот или наноробот может стать множеством роботов и быстро выйти из-под контроля.
Последние 25 лет я много работал над организацией компьютерных сетей, где отправление и получение сообщений создавало благоприятную возможность для бесконтрольного размножения. Но если размножение в компьютере или в компьютерной сети может быть лишь досадой, на худой конец, оно выводит из строя машину или дезорганизует сеть и/или сетевые службы, то неконтролируемое размножение в этих новых технологиях порождает гораздо больший риск: риск вещественного повреждения в физическом мире.
Каждая из этих технологий предлагает также несказанные перспективы: мечта о почти бессмертии, которую видит Курцвейл в своих робототехнических грёзах, движет нас вперёд; генная инженерия вскоре сможет обеспечить лечение, а то и полное исцеление многих болезней, а нанотехнология с наномедициной смогут поправить ещё больше несчастий. Сообща они могли бы значительно продлить среднюю продолжительность нашей жизни и улучшить качество наших жизней. Однако ряд продвижений в этих технологиях мало-помалу ведёт к накоплению огромной силы и вместе с тем огромной опасности.
Чем отличился век 20-й? Разработкой оружий массового уничтожения (ОМУ): ядерного, биологического и химического (ЯБХ). Но создание ядерного оружия требовало, хотя бы на время, доступа как к редкому - действительно недоступному - сырью, так и к хорошо защищённой информации; программы биологического и химического оружия также требовали крупномасштабной деятельности.
Эти технологии 21-го века - генетика, нанотехнология и робототехника (ГНР) - настолько могущественны, что они могут породить совершенно новые виды катастроф и злоупотреблений. Наиболее опасным является то, что впервые за всю историю эти катастрофы и злоупотребления станут по плечу частным лицам и небольшим группам. Для этого не потребуется ни крупное оборудование, ни редкое сырьё; достаточно будет одних лишь знаний.
Таким образом, появляется возможность не просто оружий массового уничтожения, а возможность знаний массового уничтожения (ЗМУ); сила здесь - в способности к саморазмножению.
Думаю, можно без преувеличения сказать, что мы живём накануне дальнейшего совершенствования чрезвычайного зла - зла, чьи возможности простираются далеко за пределы мощи государств-наций с их оружием массового уничтожения, наделяя поразительной и жуткой властью индивидуальных экстремистов.
Хотя я и занимался компьютерами, я не видел вокруг никаких намёков на то, что мне придётся столкнуться с проблемами такого рода.
Моя жизнь движима глубокой потребностью задавать вопросы и находить ответы. Когда мне было 3 года, я уже умел читать, так что мой папа брал меня в начальную школу, где я сидел на коленях у директора и читал ему рассказы. В школу я пошёл рано, потом перескочил через класс и погрузился в книги - у меня была невероятная тяга к знаниям. Я задавал много вопросов, часто доводя взрослых до раздражения.
Когда я был подростком, я очень интересовался наукой и техникой. Я хотел быть радистом-радиолюбителем, но не имел денег на покупку оборудования. Любительское радиовещание было Интернетом того времени: очень притягательно и полностью уединённо. Однако дело было не столько в отсутствии денег, сколько в том, что моя мама была решительно против моего желания стать радиолюбителем: я и без того уже был достаточно необщительным.
Близких друзей у меня, может быть, было немного, но зато я был обуреваем идеями. В средней школе я открыл великих писателей-фантастов. Особенно мне запомнились "Будет скафандр - будут и путешествия" Хайнлайна17 и "Я, робот" Азимова18 с тремя его законами робототехники. Я был зачарован описаниями космических путешествий и хотел иметь телескоп, чтобы смотреть на звёзды; так как у меня не было денег чтобы купить или изготовить его, я вместо этого просматривал библиотечные книги по телескопостроению и читал про их изготовление. Я высоко парил в своём воображении.
Однажды в четверг вечером мои родители ушли играть в шары (в боулинг), и мы, дети, остались дома одни. В эту ночь я прочитал самобытное произведение Жене Родденбери19 "Звёздный путь", и план произвёл на меня большое впечатление. Я принял идею того, что в будущем человечество будет жить в западном стиле, в космосе, что будут крупные герои и приключения. Родденбери представлял грядущие столетия со строгими моральными ценностями, воплощёнными в кодексах, подобных Главной Директиве: не вмешиваться в эволюцию технологически менее развитых цивилизаций. Для меня это было невероятно привлекательно: нравственные люди, а отнюдь не роботы, господствовали в будущем, и родденбериевские мечты стали частью моих собственных.
В средней школе я выделялся по математике, а когда я поступил в Университет штата Мичиган в качестве студента технической специальности, я взял углублённый курс высшей математики. Решение математических задач было возбуждающим вызовом, но когда я открыл для себя компьютер, я нашёл нечто гораздо более интересное: машину, в которую можно заложить программу, нацеленную на решение задачи, после чего машина быстро её решит. Компьютеры имеют ясное понятие о правильности и неправильности, об истине и лжи. Машина могла сказать мне о том, были мои представления правильны или нет. Это было очень соблазнительно.
Я был счастлив получить работу по программированию ранних суперкомпьютеров и открыл поразительную силу больших машин с помощью чисел моделировать сложные конструкции. Когда в середине 70-х я поступил в аспирантуру университета Калифорнии в Беркли, я стал засиживаться допоздна, порой всю ночь напролёт, изобретая новые миры внутри машин. Решение задач. Написание строгого кода.
Ирвинг Стоун в биографическом романе про Микеланджело "Страдание и экстаз"20 ярко описывает, как Микеланджело высвобождал изваяния из камня, "разбивая мраморные чары", высекая образы своего ума21. В мои наиболее восторженные моменты так же вот возникали компьютерные программы. Однажды вообразив программу в своём уме, я уже чувствовал, что она находится внутри машины и ждёт, когда её высвободят. Бодрствование всю ночь казалось небольшой ценой за то, чтобы освободить её - придать идеям реальную форму.
Через несколько лет я начал выпускать в Беркли некоторые из созданных мною программ: учебную паскалевскую систему, служебные программы для "Unix" и текстовый редактор, именуемый "vi" (который, к моему удивлению, широко применяется до сих пор, спустя более чем 20 лет). Этими программами могли пользоваться люди, имевшие небольшие мини-ЭВМ, подобные "PDP-11" или "VAX". Эти рискованные предприятия вылились в конечном счёте в берклийскую версию операционной системы "Unix" (BSD Unix), которая стала личным "бедствием успеха" - её хотело так много людей, что я так и не закончил свою докторскую диссертацию по философии. Вместо этого я получил задание для работы на агентство перспективных исследований министерства обороны США (DARPA). Работа состояла в приспособлении BSD Unix под Интернет и в её исправлении с целью повысить надёжность и заточить под выполнение больших программ научно-исследовательского характера. Всё это было очень забавно и весьма стояще. И, говоря откровенно, я не видел никаких роботов ни здесь, ни где-либо поблизости.
Тем не менее, в начале 80-х я стал тонуть. Выпуск в продажу "Unix" шёл очень успешно, и этот мой маленький проект вскоре стал иметь и деньги, и некоторый штат служащих, но проблемой в Беркли всегда была нехватка помещений, а не отсутствие денег - не было комнаты для предоставления её проекту, который в ней нуждался, так что когда объявились другие учредители "Sun Microsystems", я ухватился за шанс к ним присоединиться. В "Sun" многие часы проходили за работой на ранних моделях рабочих станций и персональных компьютеров, и я насладился участием в создании передовых микропроцессорных и интернет-технологий, таких, как "Java" и "Jini".
После всего сказанного, я полагаю, ясно, что я не луддит. Я всегда имел весьма твёрдую веру в ценность научных поисков истины и в способность могучей техники принести материальный прогресс. За последнюю пару столетий промышленная революция неизмеримо улучшила жизнь каждого из нас, и я всегда желал посвятить себя решению стОящих задач.
Я не разочаровался. Моя работа имела большее влияние, чем я когда-либо надеялся, а широта её использования превзошла все мои ожидания. Я потратил последние 20 лет, всё пробуя разгадать, как сделать компьютеры столь надёжными, как мне того хочется (они пока и близко не подошли к этому), и как сделать их простыми в использовании (задача, которая решена в ещё меньшей степени). Несмотря на некоторый прогресс, остающиеся проблемы выглядят даже более обескураживающими.
Хотя я сознавал моральную дилемму, окружающую последствия технологий в областях вроде оружейных исследований, я не ожидал, что лицом к лицу столкнусь с такими проблемами в моей собственной области, или, по крайней мере, я не думал, что это случится так скоро.
Наверное, всегда трудно видеть крупные коллизии, пока находишься в вихре событий. Неспособность понять последствия наших изобретений в момент упоения открытиями и новаторством является общим недостатком учёных и технологов. Нами долго правила всё покрывающая страсть знать, которая, собственно, и составляет природу научного поиска, и мы не делали остановок для того, чтобы осмотреться и увидеть, что продвижение к более новым и более могущественным технологиям может выйти из-под контроля.
Я давно обнаружил, что крупные продвижения в информационных технологиях происходят не от работы компьютерщиков, компьютерных архитекторов или электронщиков, а от работы учёных-физиков. В начале 80-х годов физики Стефан Вольфрам22 и Бросль Хэсслэчер (Brosl Hasslacher) ввели меня в теорию хаоса и в нелинейные системы. В 90-х я узнавал о сложных системах из разговоров с Дэнни Хиллисом, с биологом Стюартом Коффманом (Stuart Kauffman), с физиком, лауреатом Нобелевской премии, Марри Гелл-Манном (Murray Gell-Mann) и другими. Совсем недавно Хэсслэчер с электронщиком и физиком Марком Ридом (Mark Reed) рассказали мне о потрясающих возможностях молекулярной электроники.
В моей собственной работе, как соразработчик трёх микропроцессорных архитектур - "SPARC", "picoJava" и "MAJC" - и как разработчик нескольких их реализаций, я имел возможность основательно и из первых рук познакомиться с законом Мура23. В течение десятилетий закон Мура корректно предсказывал экспоненциальный рост совершенствования полупроводниковой техники. До прошлого года мне казалось, что темп продвижений, предсказываемый законом Мура, может продолжаться только до приблизительно 2010-го года, когда будут достигнуты некоторые физические пределы. Для дальнейшего роста необходима принципиально новая технология, а я не был уверен в том, что такая технология поспеет в срок.
Но вследствие недавнего быстрого и коренного прогресса в молекулярной электронике, где отдельные атомы и молекулы заменяют литографически начерченные транзисторы, а также в родственных наноразмерных технологиях, мы ещё в течение 30-и лет сможем поддерживать темпы прогресса, предписываемые законом Мура, а то и превысить их. Вполне возможно, что к 2030-му году мы сможем в большом количестве строить машины, в миллион раз более мощные, чем сегодняшние персональные компьютеры - машины, достаточные для осуществления грёз Курцвейла и Моравека.
Когда эта огромная вычислительная мощность будет объединена с ключевыми достижениями естественных наук и с новыми, глубокими пониманиями генетики, огромная преобразующая сила будет спущена с привязи. Эти сочетания позволят вмешиваться в процессы воспроизводства и эволюции (которые в естественных условиях ограничены) и совершенно перестроить мир - к лучшему или к худшему.
При разработке программ и микропроцессоров у меня никогда не было чувства, что я конструирую разумную машину. Программные и аппаратные средства настолько слабы, а потенциальные возможности машины "думать" с такой степенью ясности отсутствуют, что даже в виде возможности это всегда казалось делом очень далёкого будущего.
Но теперь, с перспективой появления вычислительной мощности человеческого уровня приблизительно через 30 лет, новая мысль напрашивается сама собой: что я, быть может, работаю над созданием инструментов, которые облегчат построение технологии, которая может заместить человеческий род. Как я себя в связи с этим чувствую? Очень неуютно. В течение всей своей профессиональной деятельности я прилагал усилия к построению надёжных программных систем, и мне кажется более чем вероятным, что это будущее не будет таким успешным, как представляется некоторым. Мой личный опыт подсказывает мне, что мы склонны переоценивать наши конструкторские способности.
Учитывая потрясающую силу этих новых технологий, не следует ли нам спросить самих себя, как мы будем с этими технологиями сосуществовать? И если наше вымирание является вероятным, или даже возможным, исходом нашего технологического роста, то не следует ли нам действовать с великой осторожностью?
Первая мечта робототехники состоит в том, что разумные машины смогут делать нашу работу за нас, позволяя нам жить досугом, возвращая нас в Эдем. Всё же в своей истории таких идей, "Дарвин среди машин", Джордж Дайсон предостерегает: "В игре жизни и эволюции за столом сидят три игрока: люди, природа и машины. Я твёрдо на стороне природы. Но природа, по-моему, на стороне машин." Моравек, как мы видели, с этим соглашается, полагая, что мы вполне можем не пережить столкновения с превосходящей нас породой роботов.
Сколько осталось до создания таких разумных роботов? Судя по всему, ожидаемый рост вычислительной мощности сделает это возможным к 2030-му году. А как только разумный робот будет сделан, до породы роботов - до разумных роботов, способных изготавливать развёрнутые копии самих себя, - останется только небольшой шаг.
Вторая мечта робототехники состоит в том, что мы постепенно будем замещать самих себя нашей робототехнической технологией, достигая почти бессмертия путём загрузки наших сознаний в машину подобно компьютерным программам; это тот самый процесс, про который Дэнни Хиллис думает, что мы к нему постепенно привыкнем, и который изящно и подробно описывает Рэй Курцвейл в "Веке духовных машин". (Мы начинаем видеть намёки на это во вживлении компьютерных устройств внутрь человеческого тела, как это было проиллюстрировано на обложке журнала "Wired" 8.02.)
Но если мы будем загружаться в нашу технику подобно программам, то где гарантия того, что после этого мы будем самими собой или даже людьми? Мне кажется гораздо более вероятным, что робототехническое существование ни в каком подразумеваемом смысле не будет подобно человеческому существованию, что роботы ни в каком отношении не будут нашими детьми и что на этой тропе наша человеческая природа может быть полностью утрачена.
Генная инженерия обещает произвести коренной переворот в сельском хозяйстве за счёт повышения урожайности с одновременным сокращением использования пестицидов; обещает создать десятки тысяч новых видов бактерий, растений, вирусов и животных; заменить или дополнить воспроизводство клонированием; создать лекарства от многих болезней, продлить нашу жизнь и улучшить её качество; и многое, многое другое. Мы теперь со всей определённостью знаем, что эти глубокие изменения в биологических науках уже близки и что они бросят вызов всем нашим представлениям о том, что такое жизнь.
Такие технологии, как клонирование человека, вызвали, в частности, осознание глубоких этических и моральных проблем, с которыми мы столкнёмся. Если, к примеру, мы должны были бы перепроектировать самих себя в несколько отдельных и неравноценных видов с помощью генной инженерии, то мы угрожали бы понятию равенства, которое является настоящим краеугольным камнем нашей демократии.
Учитывая невероятную мощь генной инженерии, нет ничего удивительного в том, что в её применении имеются значительные проблемы безопасности. Недавно мой друг Эймори Ловинс вместе с Хантер Ловинс24 написали передовую статью, которая даёт экологический обзор некоторых из этих опасностей. Помимо прочего, они обеспокоены тем, что "новая ботаника придерживается совершенствования растений с точки зрения их экономической, а не эволюционной, состоятельности" (см. "Повесть двух ботаник"25). В течение своей длительной профессиональной деятельности Эймори сосредотачивался на энергетической и ресурсной эффективности путём целостного системного взгляда на системы, созданные человеком; такой целостный системный подход часто находит простые и остроумные решения трудных на вид проблем; этот подход он с успехом и применяет в своей статье.
После прочтения статьи Ловинсов я увидел газетную статью Грегга Истербрука26 в "Нью-Йорк Таймс" (за 19.11.1999) про генетически модифицированные культуры, под заголовком: "Пища для будущего: когда-нибудь рис будет иметь встроенный витамин "A". Если не победят луддиты."
Являются ли Эймори и Хантер Ловинс луддитами? Конечно нет. Я думаю, что все мы согласились бы с тем, что облагороженный рис со встроенным витамином "A" является, вероятно, вещью хорошей, если он усовершенствован с должной тщательностью и с учётом вероятных опасностей в перемещении генов через границы видов.
Осознание опасностей, присущих генной инженерии, начинает расти, что нашло своё отражение в передовой статье Ловинсов. Общественность эти опасности сознаёт, беспокоится о генетически модифицированных продуктах питания и, кажется, отвергает мнение о том, что следует разрешить не ставить специальную пометку на таких продуктах.
Но генно-инженерная технология продвинулась уже очень далеко. Как отмечают Ловинсы, министерство сельского хозяйства США уже одобрило приблизительно 50 генетически модифицированных культур к неограниченной продаже; свыше половины соевых бобов мира и треть мировой кукурузы содержат теперь в себе встроенные гены, взятые от других форм жизни.
Хотя здесь много значительных проблем, моё главное беспокойство по поводу генной инженерии узко ограничено: что она даёт возможность - в военных ли целях, случайно ли или же в качестве умышленного террористического акта - создать Белую чуму.
Многие чудеса нанотехнологии впервые были представлены физиком, лауреатом Нобелевской премии, Ричардом Фейнманом27 в речи, с которой он выступил в 1959-м году. Впоследствии эта речь была опубликована под заголовком "На дне много места". Книгой, которая в середине 80-х годов произвела на меня большое впечатление, была книга Эрика Дрекслера "Машины созидания"28. В ней он красиво описал, как манипуляция материей на атомном уровне может создать утопический мир изобилия, где чуть ли не всё может быть создано дёшево и почти все мыслимые болезни или физические проблемы могут быть решены с помощью нанотехнологии и искусственного интеллекта.
Последующая книга, "Освобождение будущего: нанотехнологическая революция"29, соавтором которой является Дрекслер, представляет некоторые из тех изменений, которые могут случиться в мире, где мы будем иметь молекулярных "сборщиков"30. Сборщики сделают возможным невероятно дешёвую солнечную энергию; лекарства от рака и от обыкновенной простуды, действующие посредством искусственного наращивания иммунной системы человека; полную очистку окружающей среды; невероятно дешёвые карманные суперкомпьютеры - по сути, любое изделие могло бы быть изготовлено сборщиками по цене не дороже древесины - космические полёты, более доступные по цене, чем трансокеанические путешествия сегодня и восстановление вымерших видов.
Помнится, после прочтения "Машин созидания" я испытывал добрые чувства к нанотехнологии. Как технологу, эта книга дала мне ощущение спокойствия, потому что она показывает, что неслыханный прогресс возможен, а похоже, что и неизбежен. Если нанотехнология является нашим будущим, то зачем решать так много задач в настоящем? Я ведь достигну дрекслеровского утопического будущего в должное время, а здесь и сейчас я могу полнее наслаждаться жизнью. Учитывая его вИдение, не было смысла недосыпать по ночам.
Дрекслеровское вИдение приводило также к множеству хороших шуток. Я порой начинал описывать чудеса нанотехнологии людям, которые о ней не слышали. После их раздразнивания всеми теми вещами, которые описывает Дрекслер, я, бывало, давал моё собственное домашнее задание: "Используйте нанотехнологию для создания вампира, в качестве дополнительного задания создайте противоядие".
Вместе с этими чудесами пришли ясные угрозы, которые я остро сознавал. Как я сказал на нанотехнологической конференции в 1989 году, "мы не можем просто делать нашу науку и не беспокоиться об этих этических проблемах"31. Однако мои последующие беседы с физиками убедили меня, что нанотехнология может даже не заработать, или, по крайней мере, она не заработает слишком уж скоро. Вскоре после этого я переехал в Колорадо, к рабочей группе, которую я основал, и центр моей работы переместился на программное обеспечение для Интернета, а именно, на идеи, которые превратились впоследствии в "Java" и "Jini".
Потом, прошлым летом, Бросль Хэсслэчер сказал мне, что наноразмерная молекулярная электроника является теперь реальностью. Это была новая новость, по крайней мере, для меня и, я думаю, для многих других людей - и она коренным образом изменила мой взгляд на нанотехнологию. Я снова взял в руки книгу Дрекслера "Машины созидания". Заново перечитав её после более чем 10-и лет, я ужаснулся, поняв, как мало я запомнил из её очень длинного раздела, называющегося "Опасности и надежды", включающего обсуждение того, как нанотехнологии могут стать "машинами разрушения". В самом деле, прочитав этот предупреждающий материал сегодня, я был поражён, до чего наивными выглядели некоторые из предложенных Дрекслером мер предосторожности, и насколько лучше я оцениваю эти опасности сейчас, чем даже он их себе представлял в то время. (Предвосхитив и описав многие технические и политические проблемы с нанотехнологией, Дрекслер в конце 80-х годов основал "Институт Предвидения"32, "чтобы помочь обществу подготовиться к ожидаемым передовым технологиям" - главным образом, к нанотехнологии.)
Вполне вероятно, что крупные достижения в разработке сборщиков произойдут в ближайшие 20 лет. Молекулярная электроника - новый подраздел нанотехнологии, где отдельные молекулы выполняют функции схемотехнических узлов - должна быстро созреть и стать чрезвычайно прибыльной в течение этого десятилетия, вызвав большой приток инвестиций во все нанотехнологии.
К сожалению, нанотехнологию, так же, как и ядерную технологию, гораздо легче применять для разрушения, чем для созидания. Нанотехнология имеет ясное военное и террористическое употребление, и совсем не нужно быть самоубийцей для того, чтобы в массовом количестве выпустить на волю разрушающие нанотехнологические устройства: такие устройства могут быть сделаны так, что они будут разрушать избирательно, затрагивая, например, только определённые географические зоны или только генетически определённые группы людей.
Непосредственным следствием Фаустовской сделки для получения огромной силы нанотехнологии является то, что мы подвергнемся серьёзному риску полного разрушения биосферы.
Вот как объяснял это Дрекслер:
"Растения" с "листьями", которые нисколько не эффективнее сегодняшних солнечных батарей, могут в процессе конкуренции вытеснить настоящие растения, битком набивая биосферу несъедобной листвой. Стойкие всеядные "бактерии" могут вытеснить в процессе конкуренции настоящие бактерии, они могут распространяться подобно развевающейся пыльце, размножаться быстро и превратить биосферу в прах за считанные дни. Опасные репликаторы могут оказаться слишком стойкими, мелкими и быстро распространяющимися для того, чтобы их можно было остановить, по крайней мере, если мы никак к этому не подготовились. Даже контроль над вирусами и плодовыми вредителями доставляет нам много хлопот.
Среди знатоков нанотехнологии эта угроза стала известна как "проблема серой слизи". Массы неуправляемых репликаторов не обязательно должны быть серыми или липкими, просто термин "серая слизь" подчёркивает, что репликаторы способны уничтожить жизнь так, что пейзаж, который получился бы в результате, был бы куда более скучным, чем поле, заросшее единственным видом ползучего сорняка. В эволюционном смысле репликаторы могут превосходить, но это не обязательно делает их полезными.
Угроза серой слизи делает совершенно ясным одно: мы не можем позволять себе определённого рода случайностей с размножающимися сборщиками.
Серая слизь была бы, конечно, унылым окончанием наших человеческих приключений на Земле, окончанием, гораздо более худшим, чем просто огонь или лёд. И это может произойти из-за простой лабораторной случайности33. Хоп!
Прежде всего именно из-за силы разрушительного саморазмножения в генетике, нанотехнологии и робототехнике (ГНР) нам следует призадуматься. Самовоспроизведение является привычным делом в генной инженерии, которая использует клеточные механизмы для тиражирования своих конструкций, но главная опасность, лежащая в основе серой слизи, заключается в нанотехнологии. В наших научно-фантастических книгах и кино широко укоренились истории о неистовствующих роботах, вроде Борга, которые воспроизводятся или видоизменяются, чтобы отделаться от нравственной скованности, наложенной на них их создателями. Возможно даже, что процесс самовоспроизведения более фундаментален, чем мы думали и, следовательно, его труднее - или даже невозможно - контролировать. Недавняя статья Стюарта Коффмана в журнале "Nature", озаглавленная "Самовоспроизведение: даже пептиды делают ЭТО"34, обсуждает открытие того, что 32-аминокислотный пептид может "автокатализировать свой собственный синтез". Мы не знаем, насколько широко распространена эта способность, но Коффман замечает, что это может подсказать "путь к самовоспроизводящимся молекулярным системам на базе, гораздо более широкой, чем спаривание оснований по Уотсону и Крику35".
На самом деле у нас уже давно были ясные предостережения об опасностях, присущих широкому распространению знаний о ГНР-технологиях - о способности одних лишь знаний создать возможность массового уничтожения. Но эти предостережения не были широко оглашены, публичных дискуссий было явно мало. В оповещении об опасностях нет никакой выгоды.
Ядерная, биологическая и химическая (ЯБХ) технологии, применяемые в оружиях массового уничтожения 20-го века, были и есть в значительной степени технологии военные, развиваемые в правительственных лабораториях. ГНР-технологии 21-го века в этом плане резко отличаются: они имеют ясные коммерческие применения и развиваются почти исключительно корпоративным предпринимательством. В этот век торжествующего торгашеского духа технология - с наукой в качестве своей служанки - поставляет ряд почти волшебных изобретений, которые по своей прибыльности превосходят всё виденное раньше. Мы настойчиво гонимся за перспективами этих новых технологий в рамках неоспариваемой сейчас системы мирового капитализма с его многочисленными денежными стимулами и давлением конкуренции.
Это первый момент в истории нашей планеты, когда какой-либо биологический вид, по своему произволению, стал опасностью для самого себя, а заодно и для обширного множества других видов.
Это может быть обычной последовательностью, случающейся во многих мирах: недавно образовавшаяся планета безмятежно вращается вокруг своей звезды, жизнь медленно формируется, эволюционирует калейдоскопическая вереница живых существ, появляется разум, который, по крайней мере, до какого-то момента, даёт огромный потенциал выживания, а затем изобретается техника. Они выясняют, что есть такие вещи, как законы природы, что эти законы можно открыть с помощью эксперимента и что знание этих законов можно направить как на спасение, так и на отнятие жизней, причём в беспрецедентном масштабе. Они обнаруживают, что наука даёт необъятную силу. В очень короткий промежуток времени они изобретают нечто, способное переделать мир. Одни планетные цивилизации осознают последствия, полагают пределы тому, что можно и что нельзя делать, и благополучно минуют время опасностей. Другие, не столь удачные или не такие благоразумные, погибают.
Это написал в 1994-м году Карл Саган в своей книге "Бледно-голубое пятнышко"36, где он изложил своё видение человеческого будущего в космосе. Только теперь я понимаю, как глубока была его проницательность, и как жаль, что я не услышу больше его голос. Несмотря на всё своё красноречие, статья Сагана не лишена простого здравого смысла - свойства, которого, вместе со скромностью, многим из ведущих сторонников этих технологий 21-го века, похоже, недостаёт.
Из своего детства я помню, что моя бабушка была строго против чрезмерного употребления антибиотиков. Она ещё до Первой мировой войны работала медицинской сестрой и на основании здравого смысла считала, что принятие антибиотиков, если только они не были абсолютно необходимы, было вредно для вас.
Это не значит, что она была врагом прогресса. Она видела много достижений на протяжении почти 70-летней медицинской карьеры; мой дедушка, диабетик, извлёк большую пользу из усовершенствованных методов лечения, которые стали доступны во время его жизни. Но она, как и многие уравновешенные люди, вероятно, думала бы, что сконструировать сейчас робототехнический "замещающий вид" было бы очень самонадеянным для нас. Ведь даже заставляя работать относительно простые вещи, мы прилагаем, очевидно, так много усилий. И так же много усилий мы прилагаем к управлению - или даже пониманию - самих себя.
Я ясно понимаю теперь, что она сознавала сущность порядка жизни и понимала необходимость жить с этим порядком и уважать его. С этим уважением приходит скромность, которая нужна нам сейчас как никогда. Взгляд с точки зрения здравого смысла, основанный на этом уважении, часто бывает правильным, предшествуя научной очевидности. Явная слабость и неэффективность построенных нами искусственных систем должна заставить всех нас призадуматься; слабость систем, над которыми работал я, смиряет меня.
Нам следовало бы извлечь урок из создания первой атомной бомбы и последовавшей гонки вооружений. Мы не извлекли его тогда должным образом, а параллели с нашей текущей ситуацией тревожат.
Работа по созданию первой атомной бомбы возглавлялась выдающимся физиком Робертом Оппенгеймером37. Оппенгеймер, естественно, не интересовался политикой, но он мучительно осознал серьёзную угрозу западной цивилизации от Третьего Рейха. Эта угроза была, без сомнения, серьёзной, из-за возможности того, что Гитлер мог заполучить ядерное оружие. Побуждаемый этим беспокойством, он привёз свой крепкий ум, страсть к физике и гениальное мастерство руководителя в Лос-Аламос и возглавил потрясающую коллекцию великих умов, чтобы быстро изобрести бомбу.
Поражает то, как эта работа продолжалась столь свободно даже после устранения первоначального стимула. На встрече физиков, состоявшейся вскоре после дня победы в Европе, некоторые полагали, что работу, возможно, следует прекратить, но Оппенгеймер доказывал, что надо продолжать. Сформулированный им довод выглядел немного странно: продолжать надо не из-за возможности крупных потерь от вторжения в Японию, а потому, что Организация Объединённых Наций, которая вскоре должна была сформироваться, должна быть осведомлена об атомном оружии. Более вероятной причиной, почему проект продолжался, была накопленная движущая сила - первое атомное испытание, "Тринити", было уже на носу.
Мы знаем, что при подготовке первого атомного испытания физики действовали, не взирая на большое количество возможных опасностей. Вначале они беспокоились, основываясь на расчёте Эдварда Теллера38, что атомный взрыв может воспламенить атмосферу. Исправленный расчёт уменьшил опасность разрушения мира к трём шансам на миллион. (Теллер говорит, что позже он был способен полностью отбросить перспективу воспламенения атмосферы.) Оппенгеймер, тем не менее, был достаточно обеспокоен результатом "Тринити", так, что он принимал меры для возможной эвакуации юго-западной части штата Нью-Мексико. И, конечно, была очевидная угроза начала гонки ядерных вооружений.
Не прошло и месяца после первого успешного испытания, как две атомные бомбы уничтожили Хиросиму и Нагасаки. Некоторые учёные предлагали не сбрасывать бомбу на японские города, а просто продемонстрировать её - говоря, что это значительно улучшило бы возможности военного контроля после войны - но это ничего не дало. Поскольку трагедия Пёрл-Харбора39 была всё ещё свежа в умах американцев, президенту Трумену было бы очень затруднительно ограничиться демонстрацией этого оружия, а не применить его, что он и сделал - желание быстро окончить войну и сохранить жизни, которые были бы потеряны при любом вторжении в Японию, было очень сильно. Всё же основная истина была, вероятно, очень простой: как позже сказал физик Фриман Дайсон40, "причиной, по которой бомба была сброшена, было просто то, что ни у кого не нашлось мужества или предусмотрительности сказать "нет"".
Важно себе представить, как были потрясены физики последствиями бомбёжки Хиросимы 6-го августа 1945-го года. Они описывают ряд волн эмоций: сначала чувство удовлетворения, что бомба сработала, потом ужас при мысли об убитых людях и затем убедительное чувство, что ни в коем случае не следует сбрасывать ещё одну бомбу. Но, конечно, ещё одна бомба сброшена была, на Нагасаки, всего лишь через три дня после бомбёжки Хиросимы.
В ноябре 1945-го года, через три месяца после атомных бомбардировок, Оппенгеймер решительно встал за научную позицию, сказав: "Невозможно быть учёным, если вы не уверены в том, что знания и сила, которую они дают, представляют внутреннюю ценность для человечества, а также в том, что вы используете их для помощи в распространении знаний и что вы хотите нести ответственность за последствия".
Оппенгеймер, вместе с другими, упорно продолжал работать над докладом Ачесона-Лилиенталя, который, как говорит Ричард Родес в своей недавней книге "Видение технологии"41, "нашёл путь предотвратить тайную гонку ядерных вооружений без обращения за помощью к вооруженному мировому правительству"; их предложение было формой отказа государств-наций от права работ в области ядерного оружия в пользу международного органа.
Это предложение привело к плану Баруха, который был представлен на рассмотрение ООН в июне 1946-го года, но так и не был принят (возможно, потому, что, как намекает Родес, Бернард Барух "настойчиво потребовал обременить этот план обусловленными санкциями", тем самым неизбежно обрекая его, даже несмотря на то, что "в любом случае он был бы почти наверняка отвергнут сталинской Россией"). Другие попытки осуществления ощутимых шагов к тому, чтобы поставить ядерную силу под контроль различных стран с целью предотвратить гонку вооружений, проваливались либо из-за политики Соединённых Штатов и внутреннего недоверия, либо из-за недоверия Советов. Удобный случай избежать гонки вооружений был упущен, и очень быстро.
Двумя годами позже, в 1948-м, Оппенгеймер, кажется, достиг ещё одной ступени в своих размышлениях, заявив: "В некотором роде грубого смысла, который ни вульгарность, ни юмор, ни преувеличение не могут полностью затмить, физики познали грех, и это навсегда".
В 1949-м году Советы взорвали атомную бомбу. В 1955-м как США, так и Советский Союз испытали водородные бомбы, пригодные для доставки самолётом. Так началась гонка ядерных вооружений.
Около 20-и лет назад, в документальном фильме "День после Троицы", Фриман Дайсон подытожил научные положения, которые привели нас к ядерной пропасти:
"Я сам это почувствовал. Блеск ядерного оружия. Он неотразим, если вы подходите к этому оружию как учёный. Почувствовать, что оно в ваших руках, освободить энергию, питающую звёзды, позволить ей исполнять ваши приказания. Совершить эти чудеса, поднять миллион тонн булыжника в небо. Это даёт людям иллюзию беспредельной силы и до некоторой степени является причиной всех наших тревог. Это то, что можно назвать технической надменностью. Она овладевает людьми тогда, когда они видят, ЧТО они могут делать силой своего разума."42
Теперь, как и тогда, мы являемся создателями новых технологий и судеб воображаемого будущего. В данное время нас побуждают крупные денежные вознаграждения и мировая конкуренция. Мы не взираем на явные опасности, едва ли оцениваем, на что это может быть похоже - попробовать пожить в мире, являющемся практическим результатом того, что мы сейчас создаём и воображаем.
В 1947-м году "Бюллетень учёных-атомщиков" начал помещать на своей обложке "Часы конца света"43. В течение более чем 50-и лет они показывали оценку относительной ядерной угрозы, к которой мы стоим лицом, отражая изменения международной обстановки. Стрелки на этих часах двигались 15 раз и сегодня, показывая без девяти минут полночь, отражают сохраняющуюся и реальную угрозу от ядерного оружия. Недавнее добавление в список ядерных держав Индии и Пакистана увеличило опасность провала задачи нераспространения ядерного оружия, и эта опасность в 1998-м году была отражена движением стрелок ближе к полуночи.
С насколько большей опасностью мы стоим лицом к лицу в наше время, не просто от ядерного оружия, а от всех этих технологий? Насколько высок риск вымирания?
Философ Джон Лесли изучил этот вопрос и пришёл к выводу, что риск человеческого вымирания составляет, как минимум, 30 процентов44, в то время как Рэй Курцвейл верит, что у нас есть "больше, чем даже шанс, это преодолеть", с предостережением, что его "всегда обвиняют в том, что он оптимист". Эти оценки не только не ободряют, но они и не включают возможности многих ужасных исходов, которые лежат не доезжая до вымирания.
Некоторые серьёзные люди, столкнувшиеся с такими оценками, уже предлагают, чтобы мы как можно быстрее отправлялись за пределы Земли. Мы, дескать, будем заселять Галактику, применяя космические зонды фон-Неймана, которые перепрыгивают от одной звёздной системы к другой и размножаются при этом. Этот шаг станет необходим через 5 миллиардов лет (или раньше, если наша солнечная система погибнет от предстоящего столкновения нашей галактики с галактикой Андромеды в течение ближайших 3-х миллиардов лет), но если мы поймаем Курцвейла и Моравека на слове, то такой шаг может стать необходимым к середине этого столетия.
Что отсюда в нравственном плане следует? Если мы обязаны быстро переселиться за пределы Земли для сохранения нашего вида, то кто возьмёт на себя ответственность за судьбу тех (большинства из нас, в конце концов), которые останутся позади? Но даже если мы рассеемся к звёздам, то не является ли вероятным, что мы можем взять наши проблемы с собой или же обнаружить позднее, что они за нами последовали? Удел человеческого рода на Земле и наш удел в Галактике представляются неразрывно связанными.
Другая идея состоит в том, чтобы соорудить ряд щитов для обороны от каждой из этих опасных технологий. Стратегическая оборонная инициатива (СОИ), предложенная администрацией Рейгана, была попыткой сконструировать такой щит против угрозы ядерного нападения Советского Союза. Но как замечает Артур Кларк47, который был заинтересованным лицом в обсуждениях этого проекта, "Хотя это и возможно, при больших издержках, построить местную систему обороны, пропускающую "только" небольшой процент баллистических ракет, пышно разрекламированная идея национального зонтика являлась чушью. Великий физик-экспериментатор этого столетия Луис Алварез заметил мне, что сторонники таких проектов являются "очень весёлыми малыми без капли здравого смысла"."
Кларк продолжает: "Заглядывая в мой часто затуманенный магический кристалл, я предполагаю, что абсолютная защита в самом деле может стать возможной в течение столетия или около того. Но вовлечённая технология создала бы, в качестве побочного продукта, оружия настолько страшные, что никто не стал бы беспокоиться о чём-либо таком примитивном, как баллистические ракеты."48
Эрик Дрекслер в "Машинах созидания" предлагает нам соорудить активный нанотехнологический щит - своего рода иммунную систему для биосферы - чтобы обороняться от опасных репликаторов всех родов, которые могут ускользнуть из лабораторий или быть злоумышленно созданы иным способом. Но щит, который он предлагает, сам был бы чрезвычайно опасным - ничто не могло бы предотвратить его от развития аутоиммунных реакций и от поражения самой биосферы49.
Подобные трудности относятся также к построению защиты от робототехники и генной инженерии. Эти технологии слишком могущественны для того, чтобы от них можно было бы защититься в интересующий срок; даже если бы это и было возможным - сделать оборонительные щиты - то побочные эффекты их разработки были бы, как минимум, такими же опасными, как и сами технологии, от которых мы пробуем защититься.
Таким образом, все эти возможности либо нежелательны, либо недостижимы, либо и то и другое. Единственной практической альтернативой, которую я вижу, является отказ: надо ограничить развитие слишком опасных технологий путём ограничения нашего стремления к определённым родам знаний.
Да, я знаю, знания хороши, как хороши и поиски новых истин. Мы ищем знаний с древних времён. Аристотель начал свою "Метафизику" с простого утверждения: "Все люди от рождения хотят знать". Мы в качестве основополагающей ценности нашего общества долгое время соглашались с ценностью открытого доступа к информации, и мы признаём проблемы, которые возникают при попытках ограничить доступ к знаниям и ограничить их развитие. В современную эпоху мы пришли к уважению научного знания.
Но невзирая на сильные исторические прецеденты, если свободный доступ к знанию и неограниченное развитие знания подвергает всех нас с этого времени ясной опасности вымирания, то здравый смысл требует, чтобы мы пересмотрели даже эти основные, долго удерживаемые убеждения.
Именно Ницше50 в конце 19-го века предупреждал нас, что не только Бог мёртв, но и что "вера в науку, которая, в конце концов, бесспорно существует, не может быть обязана своим происхождением исчислению общественной пользы; она должна происходить назло тому обстоятельству, что бесполезность и опасность принципов "воля к истине", "истина любой ценой" подтверждается то и дело". Это и есть та дальнейшая опасность, с которой мы сейчас сталкиваемся в полной мере - последствия нашего искания истины. Истина, которую ищет наука, несомненно может считаться опасной подменой Бога, если она, вероятно, должна привести к нашему вымиранию.
Если бы мы могли, как биологический вид, договориться о том, чего мы хотим, куда мы держим курс и почему, то мы сделали бы наше будущее гораздо менее опасным - мы могли бы тогда понять, от чего мы можем и должны отказаться. В противном случае легко можно себе представить гонку вооружений, развивающуюся над ГНР-технологиями, как это было с ЯБХ-технологиями в 20-м веке. Возможно, что в этом и состоит наибольший риск, потому что если однажды такая гонка начнётся, то остановить её будет очень трудно. В настоящее время - в отличие от времени Манхэттенского проекта - мы не воюем, смело встречая непримиримого врага, который угрожает нашей цивилизации; нами вместо этого движут наши привычки, наши желания, наше экономическое устройство и наша соревнующаяся потребность знать.
Я верю в то, что все мы желаем, чтобы наш курс определялся бы нашими совместными ценностями, нравственностью и этикой. Если бы мы извлекли больше совместной мудрости из нескольких последних тысячелетий, то диалог к этой цели был бы более практическим, а неслыханная сила, которую мы собираемся высвободить, тревожила бы в несравненно меньшей степени.
Можно было бы подумать, что к такому диалогу нас может подталкивать инстинкт самосохранения. Действительно, отдельные лица к этому стремятся, но поведение человечества в целом оставляет желать лучшего. Имея дело с ядерной угрозой, мы часто говорили самим себе и друг другу нечестно, тем самым сильно увеличивая риск. Может быть, это было вызвано политическими соображениями, может быть, мы просто решили не задумываться, а может, столкнувшись с такой мрачной угрозой, мы, будучи вне себя от страха, стали действовать нелогично; но в любом случае такой образ действия не сулит ничего хорошего.
Новые генетические, нанотехнологические и робототехнические ящики Пандоры51 почти уже открыты, но об этом, кажется, мало кто знает. Идеи нельзя положить обратно в ящик; в отличие от урана или плутония, их не нужно добывать и подвергать очистке, и их можно свободно копировать. Раз уж они выпущены, значит, они выпущены. Черчилль в своём знаменитом сомнительном комплименте заметил, что американский народ и его руководители "неизменно делают правильную вещь после того, как они перепробуют все другие альтернативы". Но сейчас нам нужно действовать более осторожно, потому что второй попытки может не быть.
Как сказал Торо, "мы не ездим по железной дороге, она ездит по нам"52, и это есть то, с чем мы обязаны в наше время бороться. Вопрос на самом деле заключается в том, кто должен быть главным: мы или наши технологии? Переживём ли мы их?
Мы движемся в этот новый век безо всякого плана, без управления, без тормозов. Спустились ли мы уже по этой тропе слишком далеко для того, чтобы можно было изменить курс? Я не верю в это, но мы так и не пробуем, а последняя возможность взять ситуацию под контроль - отказобезопасная точка - быстро приближается. Мы имеем наших первых любимцев-роботов и доступные для приобретения генно-инженерные методики, а наша наноразмерная техника быстро развивается. Несмотря на то, что развитие этих технологий происходит через множество шагов, последний шаг в испытании технологии не обязательно является крупным и трудным - как это случилось в Манхэттенском проекте и при испытании "Тринити". Прорыв к необузданному размножению в робототехнике, генной инженерии или в нанотехнологии может произойти внезапно, возобновив удивление, которое мы чувствовали, когда узнали о клонировании млекопитающих.
И всё же я верю, что мы и впрямь имеем прочную и твёрдую основу для надежды. Наши попытки иметь дело с оружиями массового уничтожения в истекшем столетии предоставляют нам на рассмотрение блестящий пример отказа: односторонний, без предварительных условий, отказ Соединённых Штатов от разработки биологического оружия. Этот отказ произошёл из осознания того, что хотя создание этого страшного оружия и потребовало бы огромных усилий, но после этого его можно было бы легко скопировать и оно могло попасть в руки плутовских наций или террористических групп.
Очевидный вывод - что мы создали бы для себя дополнительные угрозы от погони за этими вооружениями и что мы были бы в большей безопасности, если бы мы за ними не гнались. Мы воплотили наш отказ от биологического и химического оружия в Международной конвенции по биологическому оружию 1972-го года и в Международной конвенции по запрещению химического оружия 1993-го года53.
Что же до сохраняющейся значительной угрозы от ядерного оружия, с которой мы живём вот уже на протяжении более чем 50-и лет, то недавнее отклонение Сенатом США "Договора о всеобъемлющем запрещении ядерных испытаний" показывает, что с политической точки зрения отказ от ядерного оружия не будет лёгким. Тем не менее, с окончанием Холодной войны мы имеем замечательную возможность предотвратить многополюсную гонку вооружений. Основываясь на биологической и химической конвенциях, успешное упразднение ядерного оружия помогло бы нам установить обычай отказа от опасных технологий. (Действительно, избавившись от всех, за исключением 100-а ядерных вооружений, распространённых по всему свету - что приблизительно составляет совокупную разрушительную силу Второй мировой войны и является значительно более лёгкой задачей - мы могли бы исключить эту угрозу вымирания54.)
Проверка выполнения отказа будет трудной, но не неразрешимой задачей. Нам повезло: мы уже проделали множество соответствующей работы в связи с Международной конвенцией по биологическому оружию и другими договорами. Нашей главной задачей будет применить это к технологиям, которые по своей природе гораздо более коммерческие, чем военные. Существенной нуждой тут является прозрачность, так как трудность контроля прямо пропорциональна трудности отличения запрещённой деятельности от законной.
Я искренне верю, что ситуация в 1945-м году была проще, чем та, с которой мы сталкиваемся теперь: ядерные технологии можно было приемлемо разделить на коммерческое и военное применение, а дозиметрическому контролю помогала природа атомных испытаний и лёгкость измерения радиоактивности. Исследования по военным применениям могли выполняться в государственных лабораториях, таких, как Лос-Аламос, с сохранением результатов в тайне как можно дольше.
ГНР-технологии не имеют ясного подразделения на коммерческое и военное применение; учитывая их рыночные возможности, трудно предположить, что ими будут заниматься только в государственных лабораториях. При их широком коммерческом распространении принудительный отказ потребует режима контроля, подобного режиму контроля для биологического оружия, но на беспрецедентном масштабе. Это неизбежно поднимет напряжённость между нашей личной приватностью и желанием частной информации с одной стороны и потребностью в контроле для того, чтобы защитить нас всех - с другой. Несомненно, мы встретим мощное сопротивление этой потере приватности и свободы действия.
Проверку отказа от определённых ГНР-технологий придётся проводить как в кибернетическом пространстве, так и на уровне физической аппаратуры. Решающая трудность здесь будет в том, чтобы сделать необходимую прозрачность в мире частной информации приемлемой, предположительно, через предоставление новых форм защиты интеллектуальной собственности.
Выполнение контроля потребует также, чтобы учёные и инженеры приняли строгий кодекс нравственного поведения, похожий на клятву Гиппократа, и чтобы они имели мужество выступать, когда нужно, во весь голос, даже если это им дорого станет. Это стало бы ответом на призыв - через 50 лет после Хиросимы - Нобелевского лауреата Ганса Бете55, одного из старейших живущих участников Манхэттенского проекта, чтобы все учёные "прекратили и воздерживались от работ, создающих, развивающих, совершенствующих и производящих ядерное оружие и другие оружия потенциального массового уничтожения"56. В 21-м веке это потребует бдительности и персональной ответственности от тех, кто будет работать как над ЯБХ-технологиями, так и над ГНР-технологиями, для того, чтобы избежать реализации оружий массового уничтожения и знаний массового уничтожения.
Торо сказал также, что мы будем "богатыми соразмерно количеству тех вещей, которые мы можем позволить себе не трогать"57. Все мы стремимся к счастью, однако представляется дельным вопрос о том, нужно ли нам подвергаться такому большому риску полного уничтожения для того, чтобы получить ещё больше знаний и ещё больше вещей; здравый смысл говорит, что нашим материальным нуждам есть предел - и что определённые знания являются слишком опасными и от них лучше отказаться.
Не следует нам также гнаться за почти бессмертием без учёта цены, без учёта соразмерного роста риска вымирания. Бессмертие, может быть даже и подлинное, не является, конечно, единственно возможной утопической мечтой.
Недавно мне посчастливилось встретиться с выдающимся писателем и учёным Жаком Аттали, чья книга "Lignes d'horizons" ("Золотой век", в английском переводе)58 помогла вдохновить подход "Java" и "Jini" к грядущему веку распределённых вычислений, как об этом писал журнал "Wired". В своей новой книге "Общины"59 Аттали описывает, как наши мечты об утопии изменялись со временем:
"На заре становления обществ люди считали свой путь на Земле не более чем лабиринтом страдания, в конце которого стояла дверь, ведущая, через их смерть, в общество богов и в Вечность. Сначала некоторые евреи, потом некоторые греки, а потом и некоторые другие люди отважились освободить себя от богословских запросов и стали мечтать о совершенном Городе, где будет процветать Свобода. Были и такие, которые подметили развитие рыночного общества и поняли, что свобода одних повлечёт за собой отчуждение других, и они стремились к Равенству."
Жак помог мне понять, как эти три различные утопические цели напряжённо существуют сегодня в нашем обществе. Он идёт дальше и описывает четвёртую утопию, "Братство", чьим основанием является альтруизм. Только Братство связывает личное счастье с счастьем других, давая залог самоподдержки.
Это прояснило для меня мой вопрос касательно мечты Курцвейла. Технологическое приближение к Вечности - почти бессмертие посредством робототехники - не может быть самой желанной утопией, а её преследование влечёт за собой ясные опасности. Наверное, нам нужно пересмотреть наш выбор утопий заново.
Где мы можем искать новые нравственные основания для установления нашего курса? Я счёл очень полезными мысли, изложенные в книге Далай-Ламы "Этика для нового тысячелетия"60. Как может быть хорошо всем известно, но мало кто на это обращает внимание, самое главное для нас - это проводить наши жизни в любви и сочувствии к другим, а нашим обществам следует разработать более серьёзное представление о всеобщей ответственности и о нашей взаимосвязанности, - доказывает Далай-Лама. Он предлагает стандарт положительного нравственного поведения для индивидуумов и обществ, который кажется созвучным с утопией Аттали "Братство".
Далай-Лама утверждает далее, что нам нужно понять причину человеческого счастья и признать веские основания того, что ни материальный прогресс, ни стремление к силе знаний не являются разгадкой - что существуют пределы, до которых наука и научные поиски могут действовать самостоятельно.
Наше западное понимание счастья происходит, похоже, от греков, которые определили его как "тренировка жизненных сил по линиям превосходства в жизни, давая им простор"61.
Несомненно, нам нужно найти достойные задачи и достаточную цель в наших жизнях, если мы должны быть счастливы, что бы ни случилось. Но я полагаю, что мы должны найти альтернативный выход нашим созидательным силам, за пределами культуры вечного экономического роста; этот рост на протяжении нескольких сотен лет был в значительной степени благом, но он не принёс нам чистого, беспримесного счастья, и нам теперь нужно выбирать между неограниченным и неориентированным ростом через науку и технику с одной стороны и ясными сопутствующими опасностями с другой.
Вот уже прошло больше года со времени моей первой встречи с Рэем Курцвейлом и Джоном Сирлом. Я вижу вокруг себя основание для надежды в голосах предостережения и отказа и в тех обнаруженных мною людях, которые так же обеспокоены нашим теперешним положением, как и я. Я чувствую также повышенную личную ответственность - не за ту работу, которую я уже сделал, а за ту, которую я могу ещё сделать при слиянии наук.
Однако многие другие люди, знающие об этих опасностях, всё ещё почему-то молчат. Когда же от них требуешь действий, они щеголяют находчивым ответом: "В этом нет ничего нового", - как будто понимание того, что может случиться, нашло достаточный отклик. Они уверяют меня: "В университетах полно специалистов в области биоэтики, которые изучают этот материал день-деньской". Они говорят: "Обо всём этом уже написали, и притом знатоки". Они жалуются: "Ваши тревоги и ваши дискуссии уже устарели".
Я не знаю, куда эти люди прячут свой страх. Как создатель сложных систем, я вступаю на это поприще в качестве человека знающего. Но должно ли это ослаблять мои беспокойства? Я отдаю себе полный отчёт в том, как много об этом столь авторитетно написано, сказано и прочитано лекций. Но значит ли это, что это дошло до народа? Значит ли это, что мы можем не принимать в расчёт стоящие перед нами опасности?
Понимание не является логическим обоснованием для бездействия. Можем ли мы сомневаться в том, что знания стали оружием, которое мы держим в руках против самих себя?
Опыт учёных-атомщиков ясно показывает надобность взятия на себя персональной ответственности, показывает опасность, что обстоятельства будут развиваться слишком быстро и что процесс может стать неконтролируемым. Мы можем, как сделали они, создать непреодолимые проблемы за почти нулевой промежуток времени. Мы должны изображать больше мысли на своём челе, если мы не хотим, чтобы последствия наших изобретений нас подобным же образом поразили и застигли врасплох.
Моя продолжающаяся профессиональная деятельность направлена на повышение надёжности программ. Программное обеспечение - это инструмент, а как разработчик инструментов, я обязан биться над применениями сделанных мной инструментов. Я всегда верил в то, что повышение надёжности программ, учитывая многочисленность их применений, сделает наш мир более безопасным и более хорошим местом; если бы я должен был убедиться в обратном, то я был бы морально обязан прекратить эту работу. Теперь я могу себе представить, что такой день может наступить.
Я не сержусь на всё это, но становлюсь немного меланхоличным. С этого времени прогресс будет для меня чем-то горьковато-сладким.
Вы помните прекрасную предпоследнюю сцену в "Манхэттене", где Вуди Аллен62 лежит на своей кушетке и говорит в магнитофон? Он записывает краткую историю о людях, которые создают для себя нервные и ненужные проблемы, потому что это отвлекает их от более неразрешимых и ужасающих мировых проблем.
Он приходит к вопросу: "Почему жизнь представляет ценность?" - и обдумывает, что делает её стоящей для него: Граучо Маркс, Вилли Мейс, вторая часть симфонии "Юпитер", запись "Блюза Картофельной Головы" Луи Армстронга, шведские кинофильмы, "Сентиментальное воспитание Флоберта", Марлон Брандо, Фрэнк Синатра, яблоки и груши Сезанна, крабы у Сэма Воу и, в заключение, лик Трейси, его возлюбленной63.
У каждого из нас есть предметы, которыми мы дорожим. Проявляя к ним интерес, мы определяем местонахождение сущности нашей человеческой природы. В конечном счёте, именно из-за нашей великой способности заботиться я остаюсь оптимистом и верю, что мы будем противостоять рискованным проблемам, которые сейчас перед нами стоят.
Моя непосредственная надежда - участвовать в гораздо более широком обсуждении поднятых здесь проблем, с людьми из различных слоёв общества, в атмосфере, не предрасположенной к тому, чтобы страшиться или благоволить технике ради неё самой.
В качестве начала, я дважды поднял многие из этих проблем на мероприятиях, организованных Институтом Аспена, и внёс индивидуальное предложение, чтобы Американская академия наук и искусств приняла их в качестве расширения своей работы на Пагуошских конференциях. (Они проводятся с 1957-го года для обсуждения контроля вооружений, главным образом, ядерного оружия, и для формулировки осуществимой политики.)
К несчастью, Пагуошские встречи начались только спустя многое время после того, как ядерный джин был выпущен из бутылки - они запоздали приблизительно на 15 лет. Мы тоже берём запоздалый старт на серьёзную проработку проблем вокруг технологий 21-го века - предотвращение массового уничтожения, вызываемого знаниями - и дальнейшая проволОчка кажется неприемлемой.
В общем, я до сих пор ищу. Есть много ещё неясных вопросов. Преуспеем или потерпим неудачу? Выживем или падём жертвой этих технологий? Опять я поздно встал - уже почти 6 часов утра. Я пробую представить себе несколько лучшие решения, пробую "разбить чары и освободить их из камня".
