Читайте также:
|
Прежде всего давайте допустим, что специалисты по вычислительной технике преуспели в разработке разумных машин, способных делать все лучше человека. Предполагается, что при таких условиях вся работа будет выполняться многочисленными высокоорганизованными системами машин, и при этом в каких-либо усилиях со стороны человека не будет необходимости. Здесь становятся возможными два варианта. Машины могут получить разрешение принимать свои решения без вмешательства человека, =>
либо человеческий контроль над машинами может быть сохранен. Если машинам позволят принимать решения самостоятельно, мы не можем делать никаких предположений относительно результатов этих решений, поскольку предугадать действия таких машин невозможно. Подчеркнем лишь то, что судьба человечества в этом случае окажется во власти машин. Можно было бы утверждать, что человечество никогда не будет настолько глупым, чтобы передать машинам всю полноту власти. Однако мы не рассчитыва""" ем ни на то, что люди добровольно отдадут власть машинам, ни на то, что машины умышленно захватят власть. Мы как раз предполагаем, что человечество может с легкостью дойти до такой зависимости от машин, что у него не останется другого реального выбора, кроме как соглашаться со всеми решениями машин. По мере того как общество и проблемы, с которыми оно сталкивается, будут усложняться, а машины становиться все умнее и умнее, люди будут позволять машинам принимать за них все больше решений просто потому, что решения, принятые машинами, будут давать лучшие результаты, чем решения, принятые самими людьми. В конечном итоге может настать такой момент, когда решения, необходимые для поддержания системы в рабочем состоянии, достигнут такой сложности, что люди окажутся не способны принимать их. На этом этапе машины приобретут эффективный контроль. Люди просто не смогут выключить их, потому что их зависимость от машин будет настолько сильна, что отключение машин будет равнозначно самоубийству. С другой стороны, возможно, что люди сохранят контроль над машинами. В этом случае среднестатистический человек может контролировать определенные машины, находящиеся в его личном пользовании, например свою машину или свой компьютер, в то же время контроль над крупными системами машин будет находиться в руках крайне немногочисленной элиты - прямо как сейчас, но только с двумя отличиями. Благодаря улучшенной технологии элита приобретет больший контроль над массами, а поскольку человеческий труд перестанет быть необходимостью, массы станут ненужным, бесполезным бременем для системы. Если элита будет отличаться беспощадностью, она может просто решить ликвидировать большую часть человечества. Если элите будет свойствен гуманизм, она может воспользоваться пропагандой или другими психологическими либо биологическими приемами для сокращения уровня рождаемости до такого уровня, при котором большая часть человечества вымрет сама, оставив мир элите. Есть другой вариант. Если элита будет состоять из мягкосердечных либералов, они могут начать играть роль доброго пастыря по отношению к остальному человечеству. Они будут следить за тем, чтобы удовлетворялись физические потребности всех и каждого, чтобы все дети росли в психологически безопасных условиях, чтобы у каждого человека было полезное хобби и он не слонялся без дела, и чтобы каждый, если вдруг почувствует себя неудовлетворенным, получал соответствующее «лечение», помогающее ему выздороветь и избавиться от этой «проблемы». Разумеется, человеческая жизнь станет настолько бесцельной, что людей придется настраивать биологически или психологически, либо ликвидировать их потребность в обретении власти. Либо заставить их сублимировать стремление к власти в какое-нибудь безвредное увлечение. Возможно, эти управляемые человеческие существа и будут счастливы в таком обществе, однако почти точно можно сказать, что они не будут свободны. Людеи сведут до уровня домашних животных.
183 Курцвейль цитирует отрывок из «Манифеста Унабомбера» Каминского, который был одновременно опубликован, причем под давлением, в New York Times и Washington Post, чтобы попытаться положить конец террору.
Я согласен с Дэвидом Джелернтером, так высказавшимся об этом решении: «Газеты столкнулись с трудным требованием. Сказать „да" значило пойти на поводу у терроризма, несмотря на то, что они знали — он в любом случае лжет. С другой стороны, ответ „да" мог остановить убийцу. Кроме того, существовала возможность, что кто-нибудь, прочитав газету, поймет, кто мог зто написать. Именно так и случилось. Брат подозреваемого прочел публикацию, и это стало звонком. Я бы посоветовал им не публиковать. Хорошо, что они меня не спросили. Так мне кажется» (Gelemter, p. 120). В книге этот отрывок дается так, что, лишь прочтя его целиком, вы узнаете, что его автор - Теодор Качинский (Унабомбер). |
Я не защищаю Качинского. За семнадцатилетнюю террористическую кампанию его бомбы лишили жизни троих и причинили ранения многим другим людям. Во время взрыва одной из его бомб был серьезно ранен мой друг Дэвид Джелернтер, один из самых выдающихся и проницательных специалистов по вычислительной технике нашего времени. Как и многие мои коллеги, я чувствовал, что легко могу стать следующей мишенью Унабомбера. Действия Качинского отличались крайней жестокостью и, на < мой взгляд, являлись преступным безумием. Он явный луддит, однако просто констатировать этот факт не значит опровергнуть его аргументы. Мне было трудно это признать, но я увидел нечто убедительное в рассуждениях, изложенных в вышеприведенном отрывке. И я почувствовал себя обязанным опровергнуть их.
В мрачных предвидениях Качинского описываются непреднамеренные последствия, широко известная проблема в разработке и использовании технологий, та самая, которая имеет очевидное отношение к закону Мерфи - «если что-то может пойти не так, то это обязательно случится». {На самом деле это закон Фи-нейгла, что само по себе уже доказывает, что Финейгл был прав.) Наше злоупотребление антибиотиками привело к тому, что может оказаться самой большой проблемой на данный момент, появлению устойчивых к антибиотикам и куда более опасных бактерий. То же самое случилось, когда были предприняты попытки уничтожить малярийных москитов при помощи ДДТ, что вынудило их развить устойчивость к этому препарату. Более того - малярийные паразиты приобрели гены, посредством которых наследуется устоичивость ко многим химическим веществам.
Причина многих подобных сюрпризов, по-видимому, ясна: дело в том, что речь идет о сложных системах, между частями которых существует взаимодействие и обратная связь. Любые изменения в подобной системе вызовут целый поток труднопредсказуемых последствий; это утверждение особенно справедливо для деятельности человека.
84 Garrett, p. 47-52,414,419,452.
Я начал с того, что показал друзьям цитату Качинского из книги «Эпоха одухотворенных машин». Я дал им книгу Курцвейля, открыв ее на нужном месте, а потом отметил их реакцию, когда они узнали, кому принадлежит авторство этого отрывка. Примерно в это же время я открыл для себя книгу Ганса Моравека «Робот: От простой машины к трансцедентному разуму». Моравек является одним из ведущих исследователей в области робототехники, а также основателем самой крупной в мире исследовательской программы в рамках робототехники. Эта программа запущена в университете Карнеги-Меллон. Книга Моравека дала мне еще больше материала для апробирования его на моих друзьях. Он удивительным образом подтверждал доводы Качинского. К примеру:
Вскоре (начало XXI века)
Биологические виды почти никогда не выживают после встречи с превосходящим их соперником. Десять миллионов лет назад Южная и Северная Америки были разделены затонувшим Панамским перешейком. Подобно сегодняшней Австралии, Южная Америка была тогда населена сумчатыми млекопитающими, включая сумчатых животных, похожих на современных крыс, оленей и тигров. Когда перешеек, соединявший Северную Америку с Южной, поднялся, северным плацентарным видам, обладавшим чуть более эффективным метаболизмом, а также репродуктивной и нервной системами, потребовалось всего лишь несколько тысяч лет для того, чтобы вытеснить и уничтожить почти всех южных сумчатых.
На абсолютно свободном рынке более совершенные роботы, без сомнения, будут воздействовать на людей так, как североамериканские плацентарные виды на южноамериканских сумчатых (и точно так же, как люди, уничтожившие бесчисленное множество биологических видов). Завязанные на робототехнику отрасли будут яростно конкурировать между собой за сырье, энергию и пространство, в результате чего цена на них выйдет за пределы возможностей человека. Поскольку биологические люди не смгут позволить себе предметы первой необходимости, они будут лишены права на существование. Не исключено, что здесь есть какой-то выход, поскольку мы живем в условиях не абсолютно свободного рынка. Правительство сдерживает нерыночное поведение, особенно посредством сбора налогов. Если применять эти методы сдерживания благоразумно, то это поможет поддерживать жизнь людей на высоком уровне благодаря плодам труда роботов, причем, возможно, в течение долгого времени. Всего-то мрачные фантазии автора, а у читателя уже дрожат коленки. Далее Моравек пишет, что нашей главной заботой в XXI веке станет «обеспечение непрерывного сотрудничества с отраслями робототехнической промышленности» путем принятия законов, предписывающих им «хорошее поведение»185. Моравек не упускает случая описать, насколько опасным может оказаться человек, «однажды трансформированный в ничем не ограниченного сверхразумного робота». По мнению Моравека, в конечном итоге роботы сменят людей, и человечеству придется столкнуться с вымиранием.
Я решил, что пришла пора переговорить с моим другом Дэн-ни Хиллисом. Дэнни прославился как соучредитель Thinking Machine Corporation, в которой был создан очень мощный параллельный суперкомпьютер. Несмотря на то что моя сегодняшняя должность звучит как руководитель исследовательских работ в компании Sun Microsystems, я в большей степени практик, чем ученый. Так что я уважаю познания Дэнни в области информатики и физики больше, чем любого другого знакомого мне человека. К тому же Дэнни - весьма уважаемый футуролог, делающий долгосрочные прогнозы. Четыре года назад он основал Long Now Foundation. Фонд занимается созданием часов, способных функ-
В книге «Я, робот» (1950) Айзек Азимов описал ставшее самым известным представление об этических нормах поведения для роботов, которое нашло выражение в Трех законах для роботов: 1. Робот не может действием или бездействием повредить человеку. 2. Робот должен исполнять приказы, отданные людьми, за исключением тех приказов, которые противоречат Первому закону. 3. Робот должен защищать самого себя, пока зта защита не входит в противоречие с Первым или Вторым законом. ционировать 10 000 лет, с целью привлечь внимание к ничтожно малой продолжительности существования нашего общества186.
Так что я полетел в Лос-Анджелес. У меня была конкретная цель - отобедать с Дэнни и его женой Пэти. Я изложил им все свои соображения, заостряя внимание на идеях и эпизодах, так меня волновавших. Свой ответ, особенно по отношению к версии Курц-вейля относительно слияния людей с роботами, Дэнни сформулировал быстро. Этот ответ порядком удивил меня. Дэнни сказал, что изменения будут происходить настолько постепенно, что мы свыкнемся с ними.
Ответ этот не так уж сильно потряс меня. Я уже видел цитату Дэнни, приведенную в книге Курцвейля. «Я точно так же люблю свое тело, как любой другой, но если я смогу жить двести лет с телом из кремния, то я пойду на это», - сказал Дэнни. Похоже, он вполне соглашался с этим процессом и связанным с ним риском, тогда как я - нет.
Беседуя и размышляя о Курцвейле, Качинском и Моравеке, я неожиданно вспомнил роман, который прочел почти двадцать лет назад. Это был роман Фрэнка Герберта «Белая чума». Герой этого произведения, молекулярный биолог, сходит с ума, потому что его семья гибнет в результате бессмысленного убийства. Охваченный жаждой мести, он выводит и распространяет новых и очень заразных возбудителей чумы, убивающих в больших масштабах, но избирательно. (Нам повезло, что Качинский оказался математиком, а не молекулярным биологом.) Мне также вспомнился Борг из «Звездного пути», улей, населенный частично биологическими, частично роботизированными созданиями с сильным деструктивным началом. Описание ужасов вроде Борга - это главный элемент научной фантастики. Почему же меня не заботили подобные дисто-пические перспективы роботизации раньше? Почему эти кошмарные сценарии не привлекли внимания остальных людей?
В какой-то степени ответ на этот вопрос, конечно, лежит в нашем отношении ко всему новому нашем пристрастии к мгновенной близости и полному согласию. Несмотря на то что мы привыкли жить в условиях, когда крупные научные открытия стали почти обыденными, нам необходимо свыкнуться с тем фактом, что самые привлекательные технологии XXI века - робототехника, генная инженерия и нанотехнологии - представляют качественно иную угрозу, чем ранее освоенные человеком технологии. Конкретно говоря, роботы, искусственно запрограммированные организмы и наноботы отличаются опасным свойством: они могут самовоспроизводиться.
Hillis, p. 78.
Бомба взрывается лишь однажды, а вот один бот может расплодиться и быстро выйти из-под контроля. В основном моя работа на протяжении последних двадцати пяти лет была связана с организацией сетей вычислительных машин, в которых отправление и получение сообщений создает возможность для неуправляемого дублирования. Но хотя дублирование в компьютере или в компьютерной сети и может доставить какие-то неприятности, в худшем случае оно выводит машину из строя либо разрушает сеть или сетевую службу. Неконтролируемое же самовоспроизводство, характерное для передовых технологий, угрожает куда большим риском - риском нанесения существенного вреда в физическом мире.
Кроме того, каждая из этих технологий предлагает баснословные перспективы: скорое бессмертие, которое предвидит Курцвейль в своих робототехнических мечтах, манит нас; генная инженерия может вскоре обеспечить лечение, если не полное уничтожение, большинства болезней; а нанотехнология и наномедицина могут справляться с еще большим количеством заболеваний. Вместе они могли бы значительно продлить среднюю продолжительность нашей жизни и улучшить ее качество. В то же время результаты мелких, лично ощутимых продвижений, совершаемых благодаря каждой из этих технологий, ведут к накоплению большой власти и, соответственно, возникновению большой опасности.
Чем отличался XX век? Разумеется, технологии, лежавшие в основе оружия массового поражения - ядерного, биологического и химического (NBC-технологии), были мощными, а оружие представляло собой чудовищную угрозу. Однако создание ядерного оружия требовало, по крайней мере какое-то время, доступа к двум редким в действительности не всегда имевшимся в распоряжении - источникам: сырью и тщательно защищаемой информации. Программы по созданию биологического и химического оружия также требовали масштабной деятельности.
Технологии XXI века - генетика, нанотехнология и робототехника (GNR-технологии) - настолько мощны, что могут вызвать новые разновидности катастроф и злоупотреблений. В первую очередь опасность представляет доступность этих технологий отдельным лицам или небольшим группам. Им не потребуется много оборудования или редкое сырье. Одно лишь знание сделает возможным использование этих технологий.
Таким образом, мы получаем возможность создавать не просто оружие массового уничтожения, а формулировать знание, позволяющее производить массовое уничтожение. Его разрушительная сила будет значительно усилена способностью самовоспроизводства.
Думаю, не будет преувеличением сказать, что мы находимся на пике дальнейшего усовершенствования предельного зла -зла, возможности которого выходят далеко за пределы оружия массового уничтожения, находящегося в распоряжении государств-наций, и могут привести к непредсказуемому и ужасному могуществу отдельных экстремистов.
Моя работа с компьютерами никогда не наводила меня на мысль о том, что мне придется столкнуться с подобными проблемами.
С самого начала моей жизнью руководила потребность задавать вопросы и находить на них ответы. В возрасте трех лет я уже умел читать, поэтому отец отвел меня в начальную школу. Меня усадили на колени к директору, и я прочел ему какой-то текст. В школу я пошел рано, потом стал «перепрыгивать» через классы и с головой уходил в книги: мною двигало невероятное желание познавать. Я задавал много вопросов и нередко сбивал взрослых с толку.
Подростком меня очень интересовала наука и технология. Я хотел стать радиолюбителем, но у меня не было денег для покупки необходимого оборудования. Для той поры радиолюбительство было подобно Интернету: на него быстро «подсаживались», и в то же время это было одинокое занятие. Помимо финансовых трудностей, моему намерению помешала твердая позиция моей матери. Она решила, что я ни за что не буду радиолюбителем. Я и без того был достаточно замкнут. Может, у меня и не было много близких друзей, зато меня переполняли идеи. К началу средней школы я открыл для себя великих авторов научно-фантастических произведений. Особенно мне запомнились такие произведения, как «Будет скафандр - будут и путешествия» Хайнлайна и «Я, робот» Азимова, где были сформулированы три закона робототехники. Я был очарован описаниями космических путешествий, и мне хотелось иметь телескоп для того, чтобы смотреть на звезды. Посколькуу меня не было денег на покупку телескопа или его сборку, вместо этого я стал искать в библиотеке книги по конструированию телескопов и штудировать их. Я парил в своем воображении.
По четвергам вечером родители уходили играть в боулинг, и мы, дети, оставались дома одни. В один из таких вечеров я посмотрел оригинальную версию «Звездного пути» Джина Родден-берри. Эта программа произвела на меня неизгладимое впечатление. Я согласился с ее идеей о том, что у человечества есть будущее в космосе, на манер вестернов великими героями и приключениями. Представление Родденберри о будущих столетиях было наполнено твердыми моральными ценностями, выраженными в таких закодированных посланиях, как «главная директива» - не вмешиваться в судьбу цивилизаций с менее развитой технологией. Это намерение казалось мне необычайно привлекательным, потому что получалось, что будущее будут определять люди с определенными духовными ориентирами, а вовсе не роботы. Так что мечта Родденберри стала и моей.
Учась в средней школе, я преуспел в математике, а поступив в Мичиганский университет на инженерный факультет, я записался на продвинутый курс высшей математики. Решение математических задачек было захватывающим испытанием для меня. Однако когда я открыл для себя компьютеры, то нашел нечто более интересное - машину, в которую можно было заложить прграмму. И уже программа пыталась решить задачу, после чего машина быстро проверяла решение. У компьютера было четкое понимание правильного и неправильного, истинного и ложного. Были ли мои идеи верными? Машина могла бы ответить на этот вопрос. Это было очень соблазнительно.
Мне повезло, и я получил работу, связанную с программированием первых суперкомпьютеров, и открыл поразительную способность больших машин к числовому моделированию сложных систем. Когда в середине 1970-х я поступил в аспирантуру Калифорнийского университета в Беркли, я начал поздно ложиться спать и часто просиживал всю ночь, изобретая новые миры внутри машин. Решая задачи. Сочиняя программы, которые так и напрашивались на то, чтобы их написали.
В биографическом романе о Микеланджело «Муки и радости», принадлежащем перу Ирвинга Стоуна, автор очень ярко описал, как Микеланджело высекал свои статуи из камня, «разбивая чары мрамора», следуя за образами, которые были у него в уме187. В мои самые экстатические моменты программа возникала на компьютере так же, как статуя под рукой Микеланджело. Однажды мне показалось, будто я ощущаю, что программа уже в машине и ждет, чтобы ее выпустили на волю. Бессонные ночи казались малой ценой, которую надо было заплатить для освобождения программы -для того, чтобы придать идеям конкретную форму.
Как-то Микеланджело написал сонет, который начинается со следующих слов:
И высочайший гений не прибавит
Единой мысли к тем, что мрамор сам
Таит в избытке, лишь это нам
Рука, послушная рассудку, явит.
(Перевод А. М. Эфроса)
Стоун так описывает протекание творческого процесса у Микеланджело: «Он работал не на основе набросков или глиняных моделей; они все отставлялись в сторону. Он высекал скульптуру по образу, который был у него в голове. Его глаза и руки знали, где должна пройти каждая линия, каждый изгиб и возникнуть масса и на какой глубине в сердце камня нужно высекать барельеф» {Stone, p. 144). После нескольких лет обучения в Беркли я стал отсылать некоторые написанные мною программы - учебную систему для Паскаль, утилиты для UNIX и текстовый редактор под названием «vi» (который, к моему вящему удивлению, все еще используется, хотя с момента его создания прошло больше двадцати лет) - другим людям, у которых были похожие на мой небольшие миникомпьютеры PDP-11 и VAX. Эти достижения в области программного обеспечения в конечном итоге привели к созданию в Беркли своей версии операционной системы UNIX, ставшей личным «успешным бедствием»: так много людей жаждало ее, что я рисковал никогда не закончить свою докторскую. Вместо этого я получил работу в DARPA188*, отладив берклийскую версию системы UNIX для работы с Интернетом и сделав так, чтобы она заслуживала доверия и хорошо поддерживала большие исследовательские приложения. Все это доставило мне немало удовольствия и было по достоинству вознаграждено. И, честно говоря, роботы не встречались мне ни там, ни где бы то ни было поблизости.
И все-таки к началу 1980-х годов я находился в кризисе. Релизы UNIX были очень успешными, и вскоре мой небольшой проект получил деньги и кое-какой персонал. Однако в Беркли всегда было больше проблем с офисным пространством, чем с финансированием. У них не нашлось вспомогательного помещения, необходимого для реализации проекта. Так что, когда на горизонте появились другие учредители будущей Sun Microsystems, я не упустил этот шанс. Благодаря долгим часам работы в Sun рождались первые рабочие станции и персональные компьютеры. Я наслаждался тем, что принимал участи в разработке технологий, позволяющих создавать усовершенствованные микропроцессоры, и таких Интернет-технологий, как Java и Jini.
Надеюсь, что благодаря всему вышесказанному понятно, что я не луддит. Скорее, наоборот. Я всегда верил в ценность научно-исследовательского поиска, стремящегося к истине, и в способность великих инженерных разработок способствовать материальному прогрессу. Промышленный переворот неизмеримо улучшил повседневную жизнь людей за последнюю пару столетий, и я всегда ожидал, что моя собственная карьера будет связана с выработкой результативных решений реальных проблем.
188 Управлении перспективных исследовательских программ Министерства обороны США.
И я не был разочарован. Моя работа оказалась даже более плодотворной, чем я когда-либо мог надеяться, и ее результаты использовались гораздо шире, чем я мог объективно ожидать. Последние двадцать лет я потратил на поиск способа, при помощи которого можно сделать компьютеры настолько надежными, насколько мне это необходимо (пока они еще не совсем соответствуют этому представлению). Кроме того, я пытался сделать их простыми в использовании (здесь я добился еще меньшего успеха). Несмотря на некоторый прогресс, проблемы, остающиеся на повестке дня, кажутся еще более устрашающими.
Но хотя я и осознавал моральные дилеммы, связанные с последствиями использования технологии в таких областях, как разработка вооружения, я не ожидал, что столкнусь с теми же затруднениями в области своих исследований. Или, по крайней мере, столкнусь так скоро.
Пожалуй, всегда трудно разглядеть отдаленные последствия, когда ты находишься в самом вихре перемен. Неспособность осознать последствия наших изобретений, пока мы пребываем в восторге от своих открытий и новаторских разработок, похоже, является обычной ошибкой ученых и технологов; нас так долго подталкивало всеохватное желание познать природу, что у нас не оставалось времени заметить, как технологический прогресс начал жить своей собственной жизнью.
Мне потребовалось немало времени на осознание того, что крупные прорывы в области информационных технологий происходят не благодаря работе специалистов по вычислительной технике, разработчиков архитектуры вычислительных машин или электротехников, а благодаря труду физиков. Физики Стивен Уол-фрам и Бросл Хасслакер познакомили меня в начале 1980-х с теорией хаоса и нелинейными системами. В 1990-х из разговоров с Дэнни Хиллисом, биологом Стюартом Кауффманом, лауреатом Нобелевской премии физиком Мюрреем Гелл-Манном и другими я узнал о сложных системах. Совсем недавно Хасслакер вместе с электротехником и физиком-экспериментатором Марком Ридом просветили меня насчет невероятных возможностей молекулярной электроники. В ходе моей собственной работы в качестве соразработчика архитектуры трех микропроцессоров - SPARC, picoJava и MAJC разработчика нескольких реализаций на их основе мне представилась возможность основательно и непосредственно познакомиться с законом Мура. Целыми десятилетиями закон Мура верно предсказывал экспоненциальное ускорение, с которым совершенствовалась полупроводниковая технология. Вплоть до последнего года я считал, что скорость прогрессивных достижений, предсказанная законом Мура, будет держаться примерно лишь до 2010 года, когда мы начнем наталкиваться на физические ограничения. Для меня было вовсе не очевидно, что для поддержания беспрепятственного развития прогресса появится новая технология и произойдет это вовремя.
Однако благодаря быстрому и радикальному прогрессу в молекулярной электронике, достигнутому в последнее время -когда напыленные при помощи литографии транзисторы были заменены отдельными атомами и молекулами, связанными с молекулярной электроникой нанотехнологиями мы должны суметь покрыть или превысить предсказанный законом Мура уровень прогресса за следующие тридцать лет. Весьма вероятно, что к 2030 году мы сможем в большом количестве создавать машины, мощность которых будет превышать мощность сегодняшних компьютеров в миллион раз. Этого будет достаточно, чтобы воплотить грезы Курцвейля и Моравека в жизнь.
Если эти огромные вычислительные возможности совместить с достижениями в разработке методов манипуляции в физических науках, а также с новыми глубокими открытиями в области генетики, чудовищный импульс, направленный на тотальную трансформацию, будет неудержим. Это сочетание открывает возможность полной переделки мира в хорошую или плохую сторону: человек скоро приложит руку к процессам воспроизводства и эволюции, которые раньше ограничивались пределами естественного мира. Когда я разрабатывал программное обеспечение и микропроцессоры, у меня никогда не было чувства, будто я создаю разумную машину. Софт и хардвер настолько хрупки, а возможности машины, позволяющие ей «думать», с такой очевидностью отсутствуют, что возможность появления разумной машины всегда казалась мне делом очень далекого будущего.
Но теперь с учетом перспективы достижения колоссальных вычислительных мощностей лет за тридцать сама собой напрашивается новая идея: возможно, я работаю над созданием инструментов, которые позволят разработать технологию, способную заменить наш вид. И как я себя чувствую при этой мысли? Мне очень неуютно. При том, что всю свою карьеру я боролся за создание надежных систем программного обеспечения, мне кажется, что вероятнее всего будущее будет не настолько радужным, как кое-кто может себе представлять. Мой личный опыт подсказывает мне, что мы склонны переоценивать свои способности контролировать новые технологии.
Заполучив в свое распоряжение невероятные возможности новых технологий, не должны ли мы задаться вопросом о том, как нам лучше всего сосуществовать с ними? И если наше исчезновение с лица земли является вероятным или даже возможным итогом развития наших технологий, разве нам не следует двигаться вперед с большей осторожностью?
Мечта о роботах в первую очередь подразумевает, что разумные машины смогут делать за нас всю работу, освободив все наше время для досуга и вернув нас в Эдем. В то же время, излагая историю подобных идей в работе «Дарвин среди машин», Джордж Дайсон предупреждает: «В игре жизни и эволюции принимают участие три игрока: люди, природа и машины. Я твердо стою на позиции природы. Однако я подозреваю, что природа занимает сторону машин». Как мы видели выше, с этим согласен и Моравек, полагающий, что мы можем и не пережить встречу с видом роботов, превосходящих нас.
Как скоро можно было бы создать разумного робота? Судя по всему, надвигающиеся прорывы в области вычислительных технологий позволяют сделать это к 2030 году. А от разумного робота остается всего лишь маленький шаг до создания самостоятельного вида роботов, то есть разумных роботов, способных воспроизводить самих себя.
Вторая мечта робототехники предполагает, что мы постепенно заменим самих себя своей роботизированной технологией, достигнув почти бессмертия при помощи загрузки своего сознания в машину; именно к этому процессу, по мнению Дэнни Хиллиса, мы с течением времени привыкнем, и именно этот процесс со вкусом описывает Рей Курцвейль в книге «Эпоха одухотворенных машин».
Но если мы загрузимся в нашу технологию, сколько остается шансов того, что мы останемся после этого сами собой или даже людьми? Куда вероятнее, как мне кажется, что роботизированное существование не будет похоже на человеческое бытие в любом нашем понимании, что роботы ни в каком отношении не будут нашими детьми, что на этом пути мы можем утратить нашу человеческую природу.
Генная инженерия обещает настоящую революцию в сельском хозяйстве: увеличить урожаи и сократить использование пестицидов; вывести десятки тысяч новых видов бактерий, растений, вирусов и животных; заменить воспроизводство или дополнить его клонированием; придумать способы лечения многих заболеваний; увеличить продолжительность жизни и ее качество и многое, многое другое. Сейчас мы знаем наверняка, что эти кардинальные перемены в биологических науках неизбежны, и они бросят вызов всем нашим представлениям о жизни.
Такие технологии, как клонирование людей, особенно заставляют нас задуматься о серьезных морально-этических проблемах, с которыми мы сталкиваемся. Например, если бы мы создали на основе самих себя несколько отдельных и неравных видов, воспользовавшись возможностями генной инженерии, тем самым мы поставили бы под угрозу само понимание равенства, которое является краеугольным камнем нашей демократии.
Мы начинаем усматривать намеки на это в имплантации компьютерных устройств в человеческое тело, как показано на обложке журнала Wired за февраль 2002 года. Если принять во внимание невероятные возможности генной инженерии, тогда можно не удивляться тому, что ее применение ставит перед нами важные вопросы безопасности. Недавно мой друг Эмори Ловинс совместно с Хантером Ловинсом написал редакционную статью. В этой статье отдельные из опасных последствий использования генной инженерии рассматриваются с точки зрения экологии. Авторов статьи в том числе тревожит, что «новая ботаника оценивает развитие растений по их экономическому, а не эволюционному успеху»190. На протяжении долгого времени Эмори занимался изучением эффективности использования энергии и ресурсов, используя системный подход к созданным человеком системам. Этот подход часто помогает находить простые и разумные решения проблем, которые кажутся трудными, и он с пользой применяется и в этой области.
Ознакомившись со статьей Ловинса, я увидел в New York Times статью Грегга Истербрука о генетически улучшенных продуктах под заголовком «Пища будущего: когда-нибудь в рисе будет содержаться витамин А. Если луддиты не победят».
Принадлежат ли Эмори и Хантер Ловинс к луддитам? Конечно нет. Я считаю, что мы все согласились бы с тем, что золотой рис, содержащий витамин А, - это, пожалуй, хорошая штука, если этот рис выводить с надлежащей осторожностью и с учетом возможных опасных последствий, связанных с переносом генов за пределы конкретных видов.
Понимание опасностей, неотъемлемо присущих генной инженерии, начинает возрастать, как сказано в статье Ловинсов. Общественность осознает их и тревожится по поводу генетически улучшенных продуктов. Судя по всему, люди отвергают идею о том, что можно выпускать подобные продукты без соответствующей маркировки.
Однако генная инженерия успела уйти далеко вперед. Как отмечают Ловинсы, Министерство сельского хозяйства США уже одобрило неограниченное производство около пятидесяти генетически улучшенных сортов зерновых. В наше время более половины мирового урожая соевых бобов и треть кукурузы содержат гены, внедренные из других форм жизни.
Lovins, p. 247.
Хотя здесь существует еще много важных проблем, мой собственный интерес к генной инженерии более узок: генная инженерия волнует меня потому, что она дает возможность - это может быть военная разработка, случайность или намеренный террористический акт - создать «белую чуму». Многие чудеса нанотехнологии впервые описал в своем выступлении 1959 года нобелевский лауреат, физик Ричард Фейнман. Впоследствии текст его выступления был опубликован под заголовком «На дне есть много места». В середине 1980-х на меня оказала огромное впечатление книга Эрика Дрекслера «Машины созидания», в которой он прекрасно описал, как манипулирование материей на атомном уровне может создать утопическое будущее всеобщего изобилия. В таком обществе все производится задешево, и почти со всеми болезнями, которые только можно вообразить, или физическими проблемами справляются при помощи нанотехнологии и искусственных интеллектов.
В следующей книге под названием «Раздвигая пределы будущего: Нанотехнологическая революция» (здесь Дрекслер выступил в качестве соавтора) описываются отдельные изменения, которые могут произойти в мире, где мы будем располагать молекулярными ассемблерами191*. Ассемблеры позволили бы нам получать невероятно дешевую солнечную энергию, лечить рак и простуду, стимулируя иммунную систему человека, существенным образом помочь очистить окружающую среду от загрязнения, производить потрясающе недорогие карманные суперкомпьютеры -на самом деле ассемблеры производили бы любой продукт по цене не больше, чем цена изделий из дерева. Космические полеты стали бы доступнее сегодняшних трансокеанских путешествий. Можно было бы возродить исчезнувшие биологические виды.
Я помню, что после прочтения «Машин созидания» я хорошо относился к нанотехнологи. Как технологу она давала мне ощущение спокойствия. Другими словами, нанотехнология показывала нам, что немыслимый прогресс возможен и, наверное, неизбежен. Раз нанотехнология была нашим будущим, я не чувствовал особого давления со стороны многочисленных проблем, требующих решения в настоящем. Я бы добрался до утопичного будущего Дрекслера в свое время. Возможно, я наслаждался жизнью больше, живя здесь и сейчас. С учетом таких представлений о будущем было бессмысленно не спать ночами.
191 В данном случае ассемблер — это сборщик.
Кроме того, взгляд Дрекслера на будущее позволил мне изрядно повеселиться. Время от времени я принимался разрисовывать чудеса нанотехнологии другим, кто еще не слышал о них. Подразнив их всеми диковинными вещами, описанными Дрекс-лером, я давал слушателям свое собственное домашнее задание: «Используйте нанотехнологию для создания вампира; в качестве дополнительного задания изобретите противоядие против него».
Все эти чудесные достижения несли с собой и явные опасности. Я остро осознавал их. Как сказал я на конференции по нанотехнологии в 1989 году: «Мы не можем просто заниматься своей наукой и не беспокоиться об этических проблемах»192. Однако мои последующие беседы с физиками убедили меня в том, что нанотехнология может не заработать - или, по крайней мере, в рабочее состояние она придет нескоро. Вскоре после конференции я поехал в Колорадо, в «норку скунса»193*, которую сам же основал. Мое внимание переключилось с программного обеспечения на Интернет. Особенно меня занимали идеи, впоследствии воплотившиеся в таких продуктах, как Java и Jini.
А потом, прошлым летом, Бросл Хасслакер сообщил мне, что молекулярная электроника наноуровня перешла в практическую плоскость. Это была настоящая новость, по крайней мере личjj? но для меня и, как мне думается, для многих людей. Она радикально изменило мое мнение о нанотехнологии и заставила обратиться к «Машинам созидания».
Первая конференция по нанотехнологии в институте Форсайта в октябре 1989 года. Доклад назывался «Будущее вычислений». Опубликован в книге: Crandall В. С, Lewis J. (eds.) Nanotechnology: Research and Perspectives. MIT Press, 1992. P. 269. См. также: www.foresight.org/Conferences/MNT01/Nano1.html.
ш* Маленький, часто изолированный исследовательский отдел какого-либо предприятия, функционирующий полусамостоятельно, практически без контроля начальства.
Перечитывая книгу Дрекслера спустя более десяти лет, я был потрясен, поняв, насколько мало я запомнил из длинной главы под названием «Опасности и надежды», где обсуждалась возможность того, что нанотехнологии могут стать «машинами разрушения». И действительно - когда я перечитываю эти предостерегающие строки сегодня, я испытываю потрясение, осознавая, насколько наивными кажутся некоторые ^ меры предосторожности, предложенные Дрекслером, и насколько серьезнее, на мой взгляд, эта опасность сегодня, чем даже по оценкам Дрекслера. (Предвидев и описав многие технические и политические проблемы, касающиеся нанотехнологии, в конце 1980-х Дрекслер начал работать в Институте Форсайта, чтобы «помочь подготовить общество к спрогнозированным передовым технологиям» - самое главное, к нанотехнологии.)
Похоже, весьма вероятно, что несущий с собой многие возможности прорыв к ассемблерам произойдет в течение следующих двадцати лет. Следует ожидать быстрое развитие молекулярной электроники - нового раздела нанотехнологии, где отдельные молекулы являются элементами схемы. За это десятилетие молекулярная электроника станет чрезвычайно прибыльной отраслью, что вызовет увеличение инвестиций во всю сферу нанотехнологии.
К сожалению, как и в случае с ядерной технологией, куда легче изобретать деструктивные способы применения нанотехнологии, чем конструктивные. Очевидно, что нанотехнологию можно использовать в военных и террористических целях; чтобы запустить нанотехнологическое устройство массового уничтожения, не надо идти на самоубийство. Можно сделать так, чтобы подобные устройства работали избирательно, поражая, к примеру, лишь определенную географическую территорию либо группу людей с определенным набором генов.
Непосредственный результат фаустовской сделки по обретению могущества через нанотехнологию состоит в возникновении серьезнейшей опасности - риска того, что мы можем уничтожить биосферу, от которой зависит жизнь на планете. Как объяснял Дрекслер:
«Растения» с «листьями», чья эффективность не превышает сегодняшние солнечные элементы, могли бы вытеснить настоящие растения, заполонив биосферу немыслимой листвой. Буйные всеядные «бактерии» могли бы вытеснить настоящих бактерий: они могли бы распространяться как разносимая ветром пыльца, стремительно размножаться и превратить биосферу в пыль за считанные дни. Опасные репликаторы тоже могли бы с легкостью оказаться непокорными, небольшими и быстро распространяющимися, и их будет невозможно остановить - по крайней мере, если мы не подготовимся должным образом. У нас и без того немало проблем со сдерживанием вирусов и плодовых мушек.
Среди знатоков нанотехнологии эта угроза приобрела название «проблема серой слизи». Хотя массы неконтролируемых репликаторов не обязательно могут оказаться серыми или липкими, термин «серая слизь» подчеркивает, что репликаторы, способные уничтожить жизнь, могут оказаться менее приятными, чем обыкновенные сорняки. Они могут стоять выше по эволюционной лестнице, но это не обязательно делает их ценными.
Угроза «серой слизи» четко говорит об одном: мы не можем допустить, чтобы с воспроизводящимися ассемблерами происходили катастрофы.
«Серая слизь» была бы, без сомнения, угнетающим завершением нашей человеческой истории на Земле. Это было бы гораздо хуже простого огня или льда или чего-нибудь такого, что может произойти в результате обычной аварии в лаборатории194. Мдаа!..
194 В своем романе «Колыбель для кошки» (1963) Курт Воннегут описал катастрофу, в ходе которой замерзает Мировой океан и которая происходит в результате распространения похожей на «серую слизь» разновидности льда под названием «лед-9», твердеющей при более высокой, чем обычно, температуре.
Именно сила деструктивного воспроизводства, кроющаяся в генетике, нанотехнологии и робототехнике, заставляет нас делать перерыв. Самовоспроизводство - это образ действия генной инженерии, которая использует клеточную структуру для воспроизводства облика клетки. Именно самовоспроизводство представляет собой главную опасность, лежащую в основе угрозы «серой слизи» в нанотехнологии. Истории об обезумевших роботах наподобие Борга, размножающихся либо мутирующих для того, чтобы выйти из-под ограничений, заложенных в них их создателями, заняли прочное место в наших научно-фантастических книгах и фильмах. Может даже статься так, что самовоспроизводство - более фундаментальный процесс, чем мы думаем. Следовательно, его труднее - или даже невозможно - контролировать. В недавней статье Стюарта Кауффмана «Самовоспроизводство: Даже пептиды делают это», опубликованной в журнале Nature, обсуждается следующее открытие: оказывается, состоящий из 32 аминокислот пептид способен «автокатализировать свой собственный синтез». Мы не знаем, насколько распространена такая способность, однако Кауффман отмечает, что это может намекать на «путь к самовоспроизводящимся молекулярным системам на основе гораздо более широкой, чем парные основания нуклеиновых кислот по принципу комплементарности Уотсо-на-Крика»195.
На самом деле мы уже давно располагаем не вызывающими сомнений предупреждениями об опасностях, которые таятся в широком распространении знания о GNR-технологиях. Нам также известно о возможности такого знания в одиночку спровоцировать массовое уничтожение. Однако эти предупреждения не были широко опубликованы, так что публичное обсуждение этой проблемы явно не соответствовало действительному положению дел. Публиковать предупреждения о грозящих опасностях - дело невыгодное.
NBC-технологии, использовавшиеся в оружии массового уничтожения в XX веке, были и остаются, в основном, военными и разрабатываемыми в правительственных лабораториях. GNR-тех-нологии XXI века резко отличаются от своих предшественниц: их явно можно использовать в коммерческих целях, и за редким исключением они разрабатываются в различных частных корпорациях. В наш век триумфальной коммерциализации технология - вместе со своей служанкой наукой - обеспечивает нас чередою почти волшебных изобретений, обладающих феноменальной эффективностью. Мы активно добиваемся осуществления обещаний, заявленных этими новаторскими технологиями, в рамках теперь уже не вызывающей возражений системы глобального капитализма, его разнообразных экономических стимулов и давления конкуренции.
195 Kauffman, р. 496.
Впервые в истории нашей планеты настал такой момент, когда в результате собственных сознательных действий наш вид начинает представлять опасность для самого себя - равно как и для огромного количества других видов.
Знакомая последовательность событий может разворачиваться во многих мирах: новая планета безмятежно вращается вокруг своей звезды; на ней начинает медленно формироваться жизнь; раскручивается калейдоскопическая процессия, состоящая из многообразных живых существ; возникает интеллект, который, по крайней мере, до самого последнего времени обладал огромной ценностью для выживания; а потом на планете изобретают технологию. Их осеняет, что есть такая вещь, как законы Природы, что эти законы можно открыть при помощи эксперимента и что знание этих законов может как спасать, так и отнимать жизни, причем в беспрецедентных масштабах. Они осознают, что наука дает огромные возможности. В мгновение ока они создают приспособления, способные изменить мир. Некоторые существующие на планете цивилизации видят, что это движение напролом, накладывают ограничения на то, что можно делать и что категорически нельзя, и благополучно переживают это опасное время. Другие, не настолько удачливые или не настолько осторожные, погибают. Это написал Карл Саган в книге «Бледная голубая точка» £
(1994). В книге представлен его взгляд на будущее человечества.
Я лишь сейчас начинаю понимать, насколько глубоки оказались его прозрения и насколько меня мучает то, что я больше никогда не услышу этот голос. При всем его красноречии голос Сагана всего лишь голос обычного здравого смысла - этого качества, как и умеренности, похоже, недостает ведущим апологетам технологий XXI века. Я помню, когда был маленьким, моя бабушка была настроена резко против злоупотребления антибиотиками. Еще до Первой мировой войны бабушка начала работать медсестрой, и здравый смысл подсказывал ей, что прием антибиотиков, пока он не стал абсолютной необходимостью, может повредить.
Не то что бы она была врагом прогресса. За свою почти семидесятилетнюю карьеру медсестры она повидала немало достижений прогресса; мой страдавший диабетом дед много выиграл от усовершенствованных методов лечения этой болезни, которое стало возможным уже на его веку. Но бабушка, как многие рассудительные люди, наверное, подумала бы, что сейчас мы поступаем очень самоуверенно, разрабатывая роботизированные «виды-заменители», когда очевидно, что мы не вполне справляемся и с относительно более простыми вещами. И не меньше усилий у нас уходит на то, чтобы справляться с самими собой, - или даже на понимание самих себя.
Теперь я знаю, что она чувствовала суть жизненного порядка и ощущала необходимость жить с уважением к этому порядку. С этим уважением приходит и необходимая умеренность, которой нам с нашей наглостью начала XXI века, не хватает - нам на беду. Основанный на этом уважении здравомыслящий взгляд на вещи нередко оказывается верным и обгоняет научные доказательства. Очевидная хрупкость и различная неэффективность созданных человеком систем должны заставить нас сделать паузу; хрупкость систем, над которыми я работаю, несомненно сдерживает меня.
Нам следовало бы выучить урок, полученный в результате создания первой атомной бомбы и последовавшей за этим гонки вооружений. Мы не очень-то хорошо усвоили его, и его сходство с нашей теперешней ситуацией вызывает беспокойство.
Разработкой первой атомной бомбой руководил выдающийся физик Дж. Роберт Оппенгеймер. Естественно, Оппенгей-мера не интересовала политика, однако он начал болезненно осознавать, по его мнению, серьезную угрозу западной цивилизации со стороны Третьего рейха, угрозу действительно нешуточную из-за возможности попадания ядерного оружия в руки Гитлера. Побуждаемый этим опасением, Оппенгеймер приехал в Лос-Аламос, отдав в распоряжение союзников весь свой мощный интеллект, страсть к физике и харизматические качества руководителя. Он возглавил осуществленную в кратчайший срок программу исследований, в которой приняли участие величайшие умы современности, и добился быстрого создания бомбы.
Поражает то, насколько естественно продолжились эти исследования после того, как первоначальный их стимул исчез. Вскоре после победы в Европе у Оппенгеймера состоялась встреча с несколькими физиками, полагавшими, что, возможно, эти исследования следует прекратить, но Оппенгеймер доказал необходимость их продолжения. Его доводы могут показаться несколько странными: разработки по созданию ядерной бомбы нужно продолжать не из-за опасности крупных военных потерь при высадке в Японии, а потому, что Организации Объединенных Наций, которая в то время создавалась, следует учитывать возможности атомного оружия. Более вероятный аргумент в пользу продолжения проекта представлял накопленный к тому моменту движущий импульс исследований: первое атомное испытание, «Тринити», вот-вот должно было состояться.
Известно, что первое атомное испытание физики продолжали готовить, несмотря на существование множества потенциальных опасностей. Изначально их беспокоило то, что результатом атомного взрыва могло стать воспламенение атмосферы. Это показывали расчеты Эдварда Теллера. Новые, исправленные, вычисления свели риск уничтожения мира к вероятности три из миллиона. (По словам Теллера, позже он смог вообще отбросить вероятность поджога атмосферы.) Оппенгеймер очень волновался за результаты «Тринити» и поэтому договорился насчет возможной эвакуации населения юго-западной части штата Нью-Мексико. И, разумеется, существовала несомненная опасность развязывания гонки ядерных вооружений. Не прошло и месяца после первого успешно завершившегося испытания, как две атомные бомбы камня на камне не оставили от Хиросимы и Нагасаки. Некоторые ученые предполагали, что бомба предназначалась просто для демонстрации силы, а не для бомбардировки японских городов, указывая на то, что этот шаг мог бы существенно повысить шансы установления контроля над вооружениями после войны. Однако это ни к чему не привело. Трагедия Пёрл-Харбора была все еще свежа в памяти американцев, и поэтому президенту Трумэну было бы чрезвычайно трудно приказать провести всего лишь демонстрацию нового оружия, а не использовать его так, как это было сделано: желание быстро покончить с войной и спасти жизни людей, которые могли бы погибнуть при любом варианте войны с Японией, оказалось сильнее. Однако не исключено, что на самом деле все было гораздо проще. Как впоследствии признался физик Фримен Дайсон: «Причина того, что она [бомба] была сброшена, заключалась на самом деле в том, что ни у кого недостало ни мужества, ни дальновидности для того, чтобы сказать „нет"».
Важно понять, насколько были шокированы физики последствиями бомбардировки Хиросимы 6 августа 1945 года. По их собственным словам, они переживали самые разные эмоции: сначала они ощутили удовлетворение от того, что бомба сработала; потом их охватил ужас при мысли о том, что все люди на месте взрыва погибли; затем у них появилась уверенность в том, что ни в коем случае нельзя сбрасывать вторую бомбу. Но вторая бомба все же была сброшена - на Нагасаки, всего лишь спустя три дня после бомбардировки Хиросимы.
В ноябре 1945 года, когда прошло три месяца после ядерной бомбардировки двух японских городов, Оппенгеймер по-прежнему занимал твердую научную позицию, утверждая следующее: «Невозможно быть ученым, если вы не будете считать, что знание о Вселенной и могущество, которое это знание дает, - это нечто, обладающее существенной ценностью для человечества, и что вы будете всячески распространять это знание и готовы нести ответственность за последствия».
Вместе с другими учеными Оппенгеймер продолжил работать над докладом Ачесона-Лилиенталя, в котором, как пишет в своей последней книге «Видение технологии» Ричард Роде, «был найден способ предотвратить секретную гонку ядерных вооружений без обращения за помощью к вооруженному всемирному правительству». Доклад предлагал отказаться от разработок ядерного оружия в отдельных государствах в пользу международного агентства.
Из этого предложения родился план Баруха, который в июне 1946 года был поддержан ООН. Однако этот план так никогда и не был принят (возможно, потому, что, как предполагает Роде, Бернард Барух «настаивал на обременении плана договорными санкциями» и тем самым обрек его на неизбежную гибель, хотя «почти наверняка он и без того был бы отвергнут сталинистской Россией»). Другие попытки совершить ощутимые шаги к интернационализации ядерного потенциала с целью предотвращения гонки вооружений наталкивались либо на американских политиков и внутреннее недоверие, либо на недоверие со стороны Советов. Возможность избежать гонки вооружений была утрачена, причем довольно быстро.
Два года спустя, в 1948 году, судя по всему, Оппенгеймер стал думать по-другому: «В каком-то грубом смысле, который не могут полностью уничтожить ни вульгарность, ни юмор, ни преувеличение, физики познали грех; и от этого знания они уже не смогут избавиться».
В 1949 году Советы взорвали свою атомную бомбу. К1955 году и Соединенные Штаты, и Советский Союз провели испытания водородной бомбы, которую можно было доставить к месту взрыва самолетом. Так началась гонка ядерных вооружений.
Почти двадцать лет назад в документальном фильме «День после „Тринити"» Фримен Дайсон суммировал научные позиции, которые подвели нас к ядерной пропасти: «Я сам это почувствовал. Яркий блеск ядерного оружия. Перед этим блеском невозможно устоять, когда подходишь к ядерному оружию как ученый. Ощущать, что оно вот здесь, в твоих руках, освобождать его энергию, питающую звезды, позволить ей выполнить твой приказ. Совершить эти чудеса, поднять миллион тонн горной породы в небо. Это нечто такое, что вызывает у людей иллюзию безграничной власти, и в каком-то отношении это чувство ответственно за все наши неприятности: именно то, что можно назвать техническим высокомерием, овладевает людьми, когда они видят, что они способны сделать при помощи своего разума»196. Как и тогда, сейчас мы являемся создателями новых технологий и вершителями судеб воображаемого будущего. На этот раз нами движут огромные финансовые интересы и глобальная конкуренция, и мы идем вперед, несмотря на явный риск и на то, что мы вряд ли понимаем, что это значит - жить в мире, представляющем собой практический результат того, что мы сейчас создаем и изобретаем.
В 1947 году на обложке The Bulletin of the Atomic Scientists начали печатать «Часы конца света». На циферблате этих часов была выведена оценка относительной ядерной опасности, с которой мы столкнулись, больше чем на пятьдесят лет вперед с учетом изменений международной обстановки. Стрелки часов передвигали пятнадцать раз. Сегодня они показывают без девяти минут полночь, отражая не исчезнувшую и реальную опасность, проистекающую от ядерного оружия. Недавнее пополнение перечня стран, обладающих ядерным оружием, за счет Индии и Пакистана повысило угрозу провала концепции нераспространения ядерного оружия. Эту опасность и отражают стрелки, в 1998 году приблизившиеся к полуночи.
Насколько велика грозящая нам опасность со стороны не только ядерного оружия, но и со стороны новых технологий в наше время? Насколько велик риск вымирания человечества?
Изучением этого вопроса занимался философ Джон Лесли. Он пришел к выводу, что риск исчезновения человечества составляет по крайней мере 30%197, тогда как Рей Курцвейль полагает, что у нас есть «больше, чем даже шанс, справиться с этим», да еще и с той оговоркой, что «его всегда обвиняли в оптимизме». Эти оценки нельзя никак назвать ободряющими. Ко всему прочему, они не учитывают возможность множества иных ужасных последствий помимо окончательного вымирания.
™Else.
Столкнувшись с подобными оценками, кое-кто из серьезных людей уже говорит о том, что нам нужно просто как можно быстрее осваивать внеземные просторы. Мы бы колонизировали галактику, используя автоматические зонды фон Неймана, которые перелетали бы из одной звездной системы в другую, самовоспроизводясь во время перелетов. Этот шаг станет почти необходимостью через пять миллиардов лет (или раньше, если наша солнечная система испытает катастрофические потрясения в результате неминуемого столкновения нашей галактики с галактикой Андромеды через три миллиарда лет). Но если мы поверим на слово Курцвейлю и Моравеку, то подобное мероприятие станет необходимостью в середине этого столетия.
Каковы его моральные последствия? Если мы будем должны быстро покинуть Землю, чтобы спастись как вид, кто будет нести ответственность за судьбу оставшихся на планете (как-никак, это будет большая часть человечества)? И даже если мы рассеемся по звездам, не может ли случиться так, что мы увезем свои проблемы с собой, чтобы впоследствии обнаружить, что они никуда не делись? Судьба нашего вида на Земле и наша галактическая судьба кажутся неразрывно связанными друг с другом.
197 Эта оценка содержится в книге Лесли «Конец мира: Наука и этика человеческого вымирания».
Лесли отмечает, что возможность исчезновения человечества значительно возрастает, если мы согласимся с аргументом Брэн-дона Картера в пользу Судного дня. Вкратце он звучит так: «Мы должны с неохотой признать, что мы появились исключительно рано, к примеру, на 0,001 % раньше всех цивилизаций, которые когда-нибудь будут существовать. Это могло бы заставить нас задуматься о том, что человечество не просуществует еще много столетий, если будет в одиночку осваивать галактику. Аргумент Картера в пользу Судного дня не говорит о новых опасностях, если взять его как таковой. Это просто довод для пересмотра оценок, которые мы выводим, рассматривая различные возможные опасности». Другая идея заключается в том, чтобы воздвигнуть систему барьеров, защищающих нас от каждой из опасных технологий. Стратегическая оборонная инициатива, предложенная администрацией Рейгана, была попыткой разработки такого рода заслона от угрозы ядерной атаки со стороны Советского Союза. Однако, как заметил Артур Кларк, привлеченный к обсуждению этого проекта: «Хотя сооружение местных оборонительных систем, которые пропустили бы „всего лишь" несколько процентов баллистических ракет, может, и станет возможным при капиталовложениях, широко разрекламированная идея о создании „национального зонтика" была чушью. Луис Альварес, пожалуй, величайший ученый нашего столетия в области экспериментальной физики, сказал мне, что защитники этих концепций были „очень способными парнями, абсолютно лишенными здравого смысла"».
«Всматриваясь в свой часто замутненный магический кристалл, - продолжал Кларк, думаю, что тотальная оборона может стать реальной возможностью через столетие или около того. Однако разрабатываемая технология будет производить в качестве побочных продуктов оружие настолько опасное, что никого уже не будет заботить такая мелочь, как баллистические ракеты»198.
В «Машинах созидания» Эрик Дрекслер предложил создать активный нанотехнологический щит - нечто вроде иммунной системы для биосферы - для защиты от опасных всевозможных репликаторов, которые могут выбраться из лабораторий или созданы с каким-нибудь злым умыслом. Однако предложенный им щит будет представлять опасность сам по себе: ничто не сможет помешать ему вызвать сбой внутри иммунной системы и атаковать биосферу самостоятельно199.
19а Clarke, p. 526.
199 И, как предлагает Дэвид Форрес в докладе «Регулируемое развитие нанотехнологии», с которым можно ознакомиться на сайте www.foresight.org/NanoRev/Forrestl989.html: «Если бы мы использовали строгую ответственность в качестве альтернативы для регулирования, ни один исследователь не смог бы взять на себя издержки риска (разрушения биосферы), так что теоретически деятельность по разработке нанотехнологии не следует продолжать вообще».
Анализ Форреста оставляет в качестве альтернативы лишь правительственное регулирование — мысль не слишком приятная. Те же самые проблемы касаются и создания защитных средств от робототехники и генной инженерии. Данные технологии слишком мощны, чтобы от них можно было отгородиться в оставшееся для этого время; даже если бы существовала возможность ввести оборонительные средства в действие, их побочные эффекты стали бы представлять, по меньшей мере, такую же опасность, как те технологии, от которых мы пытаемся защититься.
Таким образом, все эти варианты являются или нежелательными, или невозможными, либо и тем, и другим вместе. Единственная реальная альтернатива, которую я вижу, - это ограничить разработки слишком опасных технологий путем ограничения нашего стремления к определенным видам знания.
Да, я знаю, что знание - это хорошо, и поиск новых истин -тоже. Мы ищем нового знания с древних времен. Аристотель начинает свою «Метафизику» с простого утверждения: «Все люди по своей натуре жаждут знания». На протяжении долгого времени мы соглашались с достоинствами открытого доступа к информации, потому что открытый доступ является основополагающей ценностью в нашем обществе. Мы признавали проблемы, связанные с попытками ограничения этого доступа и ограничения накопления новых знаний. В последнее время мы дошли до настоящего обожествления научного знания.
Однако если беспрепятственный доступ к информации и, следовательно, неограниченное познание ставит всех нас под угрозу исчезновения, элементарный здравый смысл требует, чтобы мы пересмотрели даже эти основные и существующие долгое время принципы, несмотря на отрицательные исторические прецеденты.
Именно Ницше предупреждал нас в конце XIX века не только о том, что Бог умер, но и о том, что «вера в науку, предстающая нынче неоспоримой, не могла произойти из такой калькуляции выгод - скорее вопреки ей, поскольку вере этой постоянно сопутствовали бесполезность и опасность „воли к истине", „истине любой ценой"»200*. Именно с этой неисчезающей опасностью мы и столкнулись сейчас лоб в лоб последствиями наших поисков истины. Истину, поисками которой занята наука, можно, без сомнения, рассматривать как весьма опасную замену Бога, если существует вероятность того, что она приведет нас к вымиранию.
Ницше Ф. Веселая наука, аф. 344.
Если бы мы как вид могли договориться о том, чего мы хотим, куда идем и почему, мы сделали бы свое будущее гораздо менее опасным: тогда мы, возможно, поняли бы, от чего мы можем и должны отказаться. В противном случае мы можем с легкостью втянуться в гонку вооружений на основе GNR-технологий, как это произошло с NBC-технологиями в двадцатом столетии. Может быть, в этом заключена основная опасность, потому что если подобная гонка начнется, остановить ее будет очень сложно. На этот раз отличие от ситуации во время проекта «Манхэттен» -мы не находимся в состоянии войны с непримиримым врагом, угрожающим нашей цивилизации. Вместо этого нас подгоняют наши привычки, наши желания, наша экономическая система, наше любопытство и соревновательный азарт.
На мой взгляд, все мы хотим, чтобы направление нашего развития определялось нашими общими ценностями, этикой и моралью. Если бы мы накопили больше коллективной мудрости за последние несколько тысяч лет, тогда наш сегодняшний диалог протекал бы в более практической плоскости, а невероятные силы, которые мы вот-вот выпустим, как джинна из бутылки, не причиняли бы столько беспокойства.
Можно было бы допустить, что к подобному диалогу нас приведет инстинкт самосохранения. У отдельных индивидуумов этот инстинкт срабатывает, однако как биологический вид мы ведем себя, похоже, во вред самим себе. Имея дело с ядерной угрозой, мы часто вели нечестный диалог с самими собой и друг с другом и таким образом значительно повышали риск. То ли это было обусловлено политикой, то ли мы просто не думали о будущем, то ли, сталкиваясь с подобными серьезными угрозами, мы от страха действуем нерационально, не знаю. Только это не сулит нам ничего хорошего.
Дата добавления: 2015-09-10; просмотров: 12 | Поможем написать вашу работу | Нарушение авторских прав |