Фрайдэй
Шрифт:
— Конечно, Марджори. Искусственный интеллект — это область, близкая к моей профессии.
— Да. Тогда ты знаешь, что специалисты по ИИ несколько раз объявляли, что они готовы создать компьютер, обладающий сознанием. Но у них ничего не получалось.
— Да. Это печально.
— Нет — это неизбежно. У них это никогда не получится. Компьютер может обладать сознанием — безусловно! Сделайте его таким же сложным, как человеческий мозг, и он обязательно осознает себя. Потом он обнаружит, что он не человек. Потом он сообразит, что никогда не сможет стать человеком; все, что он сможет
Я пожала плечами. — Это неразрешимая дилемма. Если он не человек, он никогда не сможет им стать. Иен, может быть, не сможет спасти пассажиров, но он попытается. Но живой артефакт, не будучи человеком и не имея уважения к людям, может разбить корабль просто потому, что ему все равно. Потому что ему надоело то, как с ним обращаются. Нет, Жорж, я буду лететь с Иеном. А не с твоим артефактом, который постепенно начнет ненавидеть людей.
— Не с моим артефактом, дорогая, — мягко сказал Жорж. — Ты обратила внимание, какое наклонение я использовал, говоря об этом проекте?
— Видимо, нет.
— Условное. Потому что ничто из того, что ты сказала, не является для меня новостью. Я не пытался выполнить эту работу и не собираюсь. Я могу создать такого пилота. Но я не смогу встроить в этот артефакт нравственные принципы, которые составляют основу подготовки Иена.
Иен, похоже, задумался. — Может быть, во время переговоров мне нужно будет выдвинуть требование, что любой пилот ЖА или ИЧ должен пройти проверку нравственных принципов.
— Как это проверить, Иен? Я не знаю, как внедрить нравственные принципы в зародыш, а Мардж показала, почему не будет пользы от подготовки. Все равно, какой тест может это проявить?
Жорж повернулся ко мне.
— Когда я был студентом, я читал кое-какие классические рассказы о человекоподобных роботах. Эти рассказы были очаровательны, и многие из них строились на так называемых законах роботехники, ключевой идеей которых было то, что в этих роботов встраивалось рабочее правило, которое не позволяло им вредить людям непосредственно либо путем бездействия. Это было замечательной основой для выдумки… но, на практике, как можно это сделать? Что может заставить сознательный нечеловеческий разумный организм — электронный или органический — быть преданным человеку? Я не знаю, как это сделать. Специалисты по искусственному интеллекту, похоже, тоже не могут это выяснить.
Жорж цинично усмехнулся. — Практически можно определить разум как уровень, на котором сознательный организм задает вопрос: «А какая мне в этом выгода?» — Он продолжал. — Мардж, насчет покупки у тебя одной чудесной свежей яйцеклетки, наверное, я должен попытаться объяснить тебе, какая в этом выгода для тебя.
— Не слушай его, — потребовала Дженет. — Он положит тебя на холодный стол и уставится в лоно любви без малейших романтических намерений. Я знаю, он меня три раза убалтывал. И даже не заплатил.
— Как я могу заплатить тебе, если мы вместе владеем собственностью? Марджори, милая, стол не холодный, и даже мягкий, и ты сможешь читать, или смотреть терминал, или болтать. Что угодно. Мы продвинулись далеко вперед по сравнению с
— Хватит! — сказал Иен. — Что-то новое по ящику. — Он увеличил звук.
— …Совет спасения. События последних двенадцати часов являются предупреждением для богатых и влиятельных людей, что их время кончилось, и должна возобладать справедливость. Убийства и другие пояснительные уроки будут продолжаться, пока не будут выполнены наши законные требования. Не отключайтесь от вашего местного специального канала.
11
Любой, кто слишком молод, чтобы быть свидетелем происходившего, обязательно читал об этом в школе. Но я должна подвести итоги, чтобы показать, как эти события повлияли на меня и мою жизнь. Этот так называемый «Совет спасения» заявлял о себе как о тайном обществе «простых людей», призванных исправить мириады ошибок, которые были совершены на Земле и множестве планет и других мест, где живет человек. Они обещали не пожалеть ради этого своих жизней.
Но сначала они собирались положить на это жизни немалого числа других людей. Они сказали, что составили списки по каждому территориальному государству, плюс огромный список мировых лидеров. Это были их мишени.
Совет брал на себя ответственность за первоначальные убийства и обещал убивать еще — и еще — и еще — пока не будут удовлетворены их требования.
Перечислив мировых лидеров, голос, который мы слушали, начал зачитывать список Британской Канады. По выражениям лиц и задумчивым кивкам моих хозяев я поняла, что они согласны с большей частью списка. В списке был заместитель премьер-министра, но не сама премьер-министр — к моему удивлению и, наверное, еще больше к ее. Как бы вы себя чувствовали, если бы занимались всю жизнь политикой, вскарабкались до самой вершины, а потом появляется какой-то умник и говорит, что вы недостаточно важная персона, чтобы вас убивать?
Голос обещал, что в течение десяти дней больше убийств не будет. Если к этому времени условия не будут удовлетворены, при помощи жребия один из десяти будет приговорен к смерти. Обреченные не будут названы, они просто будут убиты. Через десять дней снова один из десяти… и так далее, пока уцелевшие не достигнут Утопии.
Голос объяснил, что Совет не является правительством и не собирается замещать какое-либо правительство; он просто хранитель морали, народная совесть власть имущих. Уцелевшие правители останутся у власти — но они смогут уцелеть только если будут править справедливо. Их предупреждали не пытаться уйти в отставку.
— Это Голос Спасения! Земной рай близок! — Он отключился.
Прошло много времени после того, как кончилась запись, прежде чем на экране появилась живая ведущая. Нарушила тишину Дженет:
— Да, но…
— Но что? — спросил Иен.
— Я не сомневаюсь, что в этом списке перечислено большинство действительно обладающих властью людей. Но, представь, что ты в этом списке, и ты так напуган, что готов сделать что угодно, только бы остаться в живых. Что ты будешь делать? Что такое справедливость?