 |
 |
 |
 |
|
 |
 |
Самая большая опасность сейчас – III мировая война. Заслуживает внимания вопрос: в какой мере эта
опасность может корениться в неосмотрительном применении обучающихся машин? Много раз я
слышал утверждение, что обучающиеся машины не могут подвергнуть нас каким-либо новым
опасностям, потому что мы можем выключить их, когда захотим. Но действительно ли можем? Чтобы
действительно выключить машину, мы должны получить информацию, что наступило опасное
положение. То обстоятельство, что мы создали машину, еще не гарантирует, что мы будем иметь
надлежащую информацию для такого вмешательства. Этот вывод уже содержится неявно в
утверждении, что шашечная машина может обыграть своего программиста, и притом после очень
небольшого времени подлаживания к нему. Кроме того, самое быстродействие современных цифровых
машин может воспрепятствовать нам заметить и продумать признаки опасности.
Мысль о нечеловеческих устройствах, наделенных большим могуществом и большой способностью
вести свою политику, и об их опасности не имеет в себе ничего нового. Ново лишь то, что теперь мы
располагаем эффективными устройствами такого рода. В прошлом подобные возможности
постулировались для методов магии и волшебства, составляющих тему множества легенд и народных
сказок, В этих сказках тщательно разбирается моральное положение волшебника. Я уже рассматривал
некоторые аспекты легендарной этики волшебства в своей предыдущей книге, озаглавленной
“Человеческое использование человеческих существ”
. Повторю здесь кое-что из сказанного там,
чтобы связать это с обучающимися машинами.
Хорошо известна волшебная сказка из стихотворения Г¸те “Ученик чародея”. В ней чародей оставляет
своего ученика и помощника одного, приказав ему принести воды. Ленивый и хитрый юноша поручает
эту работу метле, произнеся волшебные слова, слышанные им от учителя. Метла покорно делает за него
работу и не [c.261] хочет остановиться. Юноша едва не тонет. Он обнаруживает, что не выучил или
забыл второе заклинание, которое должно остановить метлу. В отчаянии хватает он метлу,
переламывает ее о колено и к ужасу своему видит, что обе половины продолжают носить воду. К
счастью, прежде чем он погиб, возвращается учитель, произносит Властное Слово, останавливающее
метлу, и задает порядочный нагоняй ученику.
В “Тысяче и одной ночи” есть сказка о рыбаке и джине. Рыбак вытащил сетью кувшин, запечатанный
печатью Соломона. В этот сосуд Соломон заключил мятежного джина. Джин выходит в виде
гигантского облака дыма и говорит рыбаку, что в первые годы своего заточения он хотел вознаградить
своего спасителя могуществом и богатством, а теперь решил убить его тут же на месте. К счастью для
рыбака, ему удается уговорить джина войти опять в бутылку; которую он бросает на дно океана.
Еще страшнее притча об обезьяньей лапе, принадлежащая перу английского писателя начала текущего
столетия У.У. Джекобса. Старый, удалившийся на покой английский рабочий сидит за столом с женой и
другом, вернувшимся из Индии британским сержантом. Сержант показывает хозяевам талисман в виде
высушенной, сморщенной обезьяньей лапы. Один индийский святой человек, хотевший доказать, как
безумно искушать судьбу, наделил эту лапу способностью исполнить три желания каждого из трех
человек. Солдат говорит, что не знает первых двух желаний первого владельца, но последнее было –
смерть. Сам он, объявляет сержант друзьям, второй владелец, по не будет рассказывать о своих
страшных переживаниях. Он бросает лапу в огонь, однако его друг спасает лапу и хочет испытать ее
силу. Его первое желание – получить 200 фунтов стерлингов. Вскоре раздается стук в дверь, и в
комнату входит служащий фирмы, где работает его сын. Отец узнает, что сын убит машиной, но фирма,
хотя и отклоняет от себя всякую ответственность, желает предложить отцу вознаграждение в 200
фунтов. Убитый горем, отец называет свое второе желание – чтобы сын вернулся, и когда опять
раздается стук в дверь и она открывается, появляется нечто, представляющее собой – об этом много не
говорится – призрак [c.262] сына. Последнее желание – чтобы призрак удалился прочь
.
Суть всех этих историй в том, что волшебные силы выполняют все дословно, и если мы просим у них
для себя какой-либо дар, мы должны просить то, что нам действительно желательно, а не то, что нам
кажется таковым. Новые и реальные силы обучающейся машины также выполняют указания буквально.
Если мы программируем машину на победу в войне, то должны ясно представлять себе, как мы
понимаем победу. Обучающаяся машина должна программироваться опытом. Единственный опыт
ядерной войны, который не приводит сразу же к катастрофе, – это опыт военной игры. Если мы хотим
