Что мы думаем о машинах, которые думают (fb2)


Использовать online-читалку "Книгочей 0.2" (Не работает в Internet Explorer)


Настройки текста:


Джон Брокман ЧТО МЫ ДУМАЕМ О МАШИНАХ, КОТОРЫЕ ДУМАЮТ Ведущие мировые ученые об искусственном интеллекте

Переводчик Максим Исаков

Редактор Александр Петров

Руководитель проекта А. Тарасова

Дизайн обложки Ю. Буга

Корректоры М. Миловидова, Е. Сметанникова

Компьютерная верстка М. Поташкин

Арт-директор Ю. Буга

Иллюстрация обложки Shutterstock.com


© Edge Foundation, Inc., 2015

All rights reserved.

© Издание на русском языке, перевод, оформление. ООО «Альпина нон-фикшн», 2017

* * *

Политехнический музей — национальный музей науки и техники, один из крупнейших научно-технических музеев мира. Миссия музея — просвещение и популяризация научных и технических знаний:

• Мы верим, что миром движут любопытство и созидание.

• Мы открываем людям прошлое, настоящее и будущее науки.

• Мы создаем территорию просвещения, свободной мысли и смелого эксперимента.

Среди просветительских проектов музея — многочисленные выставки, знаменитый Лекторий, Научные лаборатории для детей, Фестиваль актуального научного кино, а также Издательская программа, цель которой — поддержка самых качественных научно-популярных книг, отобранных экспертами музея и выпущенных в сотрудничестве с лучшими издательствами страны.


Вы держите в руках одну из этих книг.


Подробнее о музее и его проектах — на сайте www.polymus.ru

* * *

Марвину Мински


Благодарности

Я хочу сказать спасибо Питеру Хаббарду из HarperCollins и моему агенту Максу Брокману за постоянную поддержку и выразить особую благодарность — уже в который раз — Саре Липпинкотт за вдумчивое и внимательное отношение к рукописи.

Предисловие

Философские дискуссии 1980-х годов вокруг искусственного интеллекта (ИИ) — о том, могут ли компьютеры по-настоящему мыслить, обладать сознанием и т. д., — в последнее время привели к новой полемике о том, как нам относиться к тем формам искусственного интеллекта, которые, как многие утверждают, уже существуют. Эти ИИ, если они достигнут уровня сверхинтеллекта (согласно определению, которое дал Ник Бостром в одноименной книге[1], вышедшей в 2014 году), могут создать экзистенциальные риски, способные привести к тому, что Мартин Рис называет «нашим последним часом». Стивен Хокинг недавно попал на первые полосы международных изданий, когда сказал BBC, что, по его мнению, разработка полноценного искусственного интеллекта может означать конец рода человеческого.

Итак, вопрос Edge[2] — 2015: что вы думаете о машинах, которые думают?

Но подождите! Может быть, стоит задаться еще и таким вопросом: о чем станут думать эти машины? Захотят ли они иметь гражданские права? Будут ли обладать сознанием? Какое правительство ИИ избрали бы для нас? Какое собственное общество сформировали бы? Или их собственное общество будет и нашим обществом тоже? Станем ли мы и мыслящие машины включать друг друга в соответствующие круги эмпатии?

Многие авторы Edge хорошо знакомы с передовыми исследованиями в области искусственного интеллекта, не важно, сами ли они проводят эксперименты или занимаются популяризацией науки. ИИ стал первой и центральной темой наших бесед с Памелой Маккордак и Айзеком Азимовым, когда мы впервые встретились в 1980 году. И такие дискуссии не стихают до сих пор, о чем свидетельствует, в частности, прошедшее недавно мероприятие Edge под названием «Миф об ИИ» — разговор с пионером виртуальной реальности Джароном Ланье, который представил собственную интерпретацию заблуждений и страхов, связанных с восприятием компьютеров как людей, и собрал множество комментариев пользователей, в том числе довольно провокационных.

ИИ становится все реальнее? Вступили ли мы в новую эру разумных машин? Пришла пора повзрослеть и задуматься. В этом году авторы Edge (а их почти 200 человек!) — люди вполне зрелые, избегающие упоминания всяческой научной фантастики в литературе и кино, такой как «Создатель звезд», «Запретная планета», «Колосс: Проект Форбина», «Бегущий по лезвию», «2001», «Она», «Матрица» и прочие борги[3]. Прошло 80 лет с тех пор, как Тьюринг описал свою универсальную машину, и надо уже воздать должное ему и другим первопроходцам в области исследования ИИ и отпустить их на заслуженный отдых. Историю этого предмета мы знаем — можете посмотреть, к примеру, книгу Джорджа Дайсона «Собор Тьюринга» (Turing's Cathedral). Но что происходит сейчас?

Так что давайте вернемся к вопросу Edge — 2015: что вы думаете о машинах, которые думают?

Джон Брокман,
издатель и редактор онлайн-журнала Edge

Самосознание человеческого уровня у искусственного интеллекта

Мюррей Шанахан
профессор когнитивной робототехники имперского колледжа лондона; автор книги «тело и духовный мир» (embodiment and the inner life)

Предположим, что нам удалось обзавестись машиной, обладающей разумом человеческого уровня, — иначе говоря, способной сравниться с человеком в любой (или почти любой) сфере интеллектуальной деятельности, а впоследствии и превзойти его. Обязательно ли такая машина будет обладать сознанием? Это важный вопрос, поскольку утвердительный ответ означает, что нам надо остановиться и подумать. Как нам вести себя с такой вещью, если мы ее создадим? Способна ли она испытывать горе или радость? Достойна ли она обладать теми же правами, что и человек? Надо ли нам вообще приводить в этот мир сознающие себя машины?

Будет ли искуственный интеллект, сравнимый по уровню с человеческим, неизбежно обладать самосознанием? Это сложный вопрос. Одна из причин — тот факт, что сознание человека и других животных обладает множеством особенностей. Все мыслящие существа демонстрируют целеустремленность. Все они в большей или меньшей степени сознают мир, в котором живут, и содержащиеся в нем предметы. Все животные в известной мере проявляют когнитивную интеграцию, то есть могут концентрировать свои психические ресурсы — восприятие, воспоминания и навыки — на том, чтобы воздействовать на происходящее в нужный момент, стремясь реализовать собственные намерения. В этом смысле любое животное демонстрирует целостность, индивидуальность. Некоторые из них, в том числе и люди, также сознают сами себя: свое тело и течение мыслей. Наконец, большинство животных, а возможно, и все испытывают страдания, а некоторые способны сопереживать страданиям других.

У здоровых людей все эти свойства образуют единый комплекс. Но у искусственного интеллекта они в принципе могут существовать по отдельности. Следовательно, нам нужно уточнить вопрос. Какие особенности, которые мы ассоциируем с сознанием у людей (если таковые вообще существуют), станут необходимым дополнением к интеллекту человеческого уровня? Каждый из вышеперечисленных признаков (а перечень этот, конечно, не исчерпывающий) заслуживает отдельного пространного описания. Так что позвольте остановиться всего на двух из них, а именно: на осознании мира и на способности испытывать страдание. Я уверен, что способность сознавать окружающий мир — это действительно необходимое свойство интеллекта человеческого уровня.

Определенно, ничто не может обладать мышлением, сравнимым с нашим, если у него нет языка, — а главное назначение человеческого языка состоит в том, чтобы говорить о мире. В этом смысле интеллект тесно связан с тем, что философы называют интенциональностью. Кроме того, язык — социальный феномен, и основное его назначение в группе людей состоит в том, чтобы говорить о вещах, которые все они могут воспринимать сейчас (например: этот инструмент или тот кусок дерева), или воспринимали ранее (виденный вчера кусок дерева), или в принципе способны воспринять (кусок дерева, который мы, возможно, увидим завтра). Короче, язык основан на осознании мира. Для обладающего телом существа или робота оно будет проявляться через взаимодействия с окружением (обход препятствий, подбор предметов и т. д.). Но мы могли бы расширить понятие, включив в него распределенный, лишенный физического тела искусственный интеллект, оснащенный сенсорами.

Чтобы с уверенностью называться одним из вариантов самосознания, такой вид осознания мира, вероятно, также должен сопровождаться очевидной целеустремленностью и некоторой когнитивной интеграцией. Потому, скорее всего, три перечисленных свойства окажутся единым целым даже у ИИ. Но давайте на мгновение отвлечемся от этого вопроса и вернемся к способности испытывать страдание или радость. В отличие от осознания мира, нет очевидных причин полагать, что искусственный интеллект человеческого уровня должен обладать этим качеством, даже при том, что у людей он тесно связан с самосознанием. Легко представить машину, которая, не испытывая чувств или эмоций, выполняет любые интеллектуальные задачи. У нее не будет самосознания, которое имеет решающее значение, когда речь идет о предоставлении прав. Как отмечал Иеремия Бентам, если мы размышляем над проблемой норм обращения с животными, вопрос состоит не в том, могут ли они мыслить, а в том, могут ли они страдать.

Нет такого предположения, что «простая» машина никогда не сможет испытывать страдания или радость, — но в данном вопросе кое-что связано с биологией. Идея, скорее, заключается в том, что способность страдать или радоваться может быть отделена от психологических особенностей, взаимосвязанных в человеческом сознании. Давайте внимательнее рассмотрим это условное разделение. Я уже говорил, что осознание мира может идти рука об руку с явной целеустремленностью. У животных осознание мира, того, что он способен дать во благо или во вред (в терминах Джеймса Джерома Гибсона), служит удовлетворению их потребностей. Животное демонстрирует понимание того, что хищник удаляется от него или же что потенциальная жертва приближается. В контексте целей и потребностей поведение животного целесообразно. Если ему что-то помешает, если цели его окажутся недостигнутыми, а потребности — неудовлетворенными, это будет основанием для того, чтобы испытывать страдания.

А что насчет искусственного интеллекта, сравнимого с человеческим? Не возникнет ли у такого ИИ комплексного набора целей? Не получится ли при некотором стечении обстоятельств, что попытки достичь этих целей каждый раз будут оказываться неудачными? Уместно ли в таком случае сказать, что ИИ испытывает страдания, даже если учесть, что особенности строения делают его невосприимчивым к боли или неприятным физическим ощущениям, известным людям?

И вот тут наше воображение и интуиция отказываются идти дальше. Подозреваю, что ответа на этот вопрос мы не найдем, пока не окажемся лицом к лицу с реальным явлением. Только тогда, когда сложный искусственный интеллект станет привычной частью жизни, наша языковая игра окажется приспособленной к подобным чужеродным для нас сущностям. И не исключено, что тогда уже окажется слишком поздно решать, стоило ли вообще производить эти сущности на свет. К добру или к худу, они уже будут здесь.

Мыслить — не значит подчинять

Стивен Пинкер
профессор психологии гарвардского университета; автор книги «чувство стиля: руководство для умных писателей в XXI веке» (the sense of style: the thinking person’s guide to writing in the twenty-first century)

По меткому выражению Томаса Гоббса, рассуждение есть не что иное, как исчисление, и это одна из величайших идей во всей истории человечества. Представление о том, что разумность может достигаться в результате физического процесса вычисления, было высказано в XX веке в работах Алана Тьюринга (который утверждал, что простейшие машины могут выполнять любые вычислимые функции) и реализовано в моделях Дональда Хебба, Уоррена Мак-Каллока и Уолтера Питтса и их последователей, продемонстрировавших, что сети упрощенных нейронов добиваются сопоставимых с человеческими результатов. Познавательные способности мозга можно описать количественно. Грубо говоря (и пусть нас за это критикуют), убеждения — вид информации, мышление — вид вычисления, а мотивация — вид обратной связи и контроля.

Это концепция великолепна, и вот почему. Во-первых, она дополняет естественнонаучное понимание Вселенной, изгоняя из машины оккультистских духов, призраков и душу. Как Дарвин дал возможность вдумчивому наблюдателю за миром природы обходиться без креационизма, так Тьюринг и другие позволили наблюдающему за миром мышления избавиться от спиритуализма.

Во-вторых, вычислительная теория разума открывает двери для искусственного интеллекта, то есть для машин, которые мыслят. Рукотворное вычислительное устройство может, в принципе, заменить человеческий разум и превзойти его в силе. Из этого вовсе не следует, что такое непременно произойдет на практике, поскольку в обозримой перспективе вряд ли возникнет надежная технологическая база и экономическая потребность для того, чтобы осуществить нечто подобное. Как изобретение автомобиля не было попыткой создать точную копию лошади, так и разработка окупающихся систем искусственного интеллекта не означает создание чего-то подобного Homo sapiens. Устройству, которое создано, чтобы управлять автомобилем или прогнозировать развитие эпидемии, не обязательно уметь привлекать полового партнера или избегать несвежего мяса.

Тем не менее предпринимаемые в последнее время крошечные шаги к более разумным машинам вновь пробудили у многих страх того, что знание нас погубит. Мое личное мнение таково: боязнь того, что машины могут вдруг обезуметь, есть не что иное, как напрасная трата эмоциональных сил — такой сценарий ближе к «проблеме 2000 года», чем к Манхэттенскому проекту.

Прежде всего, у нас достаточно времени для того, чтобы все предусмотреть. От искусственного интеллекта, сравнимого с человеческим, нас все еще отделяют от 15 до 25 лет, а многие из недавних широко разрекламированных прорывов в этой области на деле оказались довольно поверхностными. В прошлом «эксперты» со смехом отвергали возможность быстрого технического прогресса — а он взял да и случился. «Эксперты» также вещали (местами даже с паникой в голосе) о неминуемых научно-технических достижениях, которые так и не произошли: об автомобилях с атомными двигателями, о подводных городах, о колониях на Марсе, о «проектируемых» детях и о хранилищах с зомби, обеспечивающими людей запасными органами.

Кроме того, странно было бы думать, что робототехники не станут заботиться о мерах безопасности, улучшая системы искусственного интеллекта. Для этого не понадобятся занудные «законы робототехники» или какая-нибудь новая моральная философия, достаточно будет здравого смысла — того же, которым люди руководствовались, разрабатывая кухонные комбайны, циркулярные пилы, обогреватели и автомобили. Бояться того, что системы ИИ станут чрезвычайно искусными в выполнении своей конкретной задачи (например, в распределении энергии) и в результате станут самовольно пренебрегать другими задачами (например, безопасностью людей), — значит предполагать, что мы будем создавать машины быстрее, чем разрабатывать соответствующие меры безопасности. В действительности же прогресс в области искусственного интеллекта, несмотря на всю шумиху вокруг него, довольно скромен, и пройдет еще много времени, прежде чем будут достигнуты сколько-нибудь значительные успехи, причем на каждом из предстоящих этапов работы люди будут держать отвертки наготове.

Станет ли машина, обладающая искусственным интеллектом, намеренно отключать системы безопасности? А зачем это ей? Антиутопии об ИИ проецируют мещанскую психологию альфа-самца на представление об интеллекте. Авторы таких книг предполагают, что нечеловечески умные роботы однажды решат свергнуть своих хозяев или захватить мир. Но разумность — это способность использовать новые оригинальные методы для достижения цели, сами же цели лежат за пределами собственно разума. Быть умным и желать чего-либо — не одно и то же. Да, история знает немало деспотов с манией величия и серийных убийц-психопатов, но они появились на свет в результате естественного отбора, сформировавшего тестостерон-сенситивные нервные цепи у отдельного вида приматов, так что стремление доминировать — вовсе не обязательный признак разумных систем. Что характерно, многие из известных технопророков даже не задумываются о том, что искусственный интеллект может естественным образом развиваться по женскому типу, то есть будет вполне в состоянии справляться с решением своих задач, не испытывая желания истреблять невиновных или властвовать над цивилизацией.

Нам легко представить злодея, который создает армию роботов и выпускает их в мир как оружие массового уничтожения. Но сценарии таких катастроф легко разыграть лишь в воображении, на самом же деле для их реализации потребуется длинная цепочка событий, вероятность каждого из которых довольно невелика. Сперва должен появиться злобный гений, обладающий одновременно жаждой бессмысленного массового убийства и гениальностью в области технических инноваций. Ему потребуется собрать команду сообщников и руководить ими, при этом обеспечивая секретность и лояльность подчиненных, а также заботиться об их компетентности. В течение всей операции нужно будет избежать множества опасностей: раскрытия заговора, предательства, внедрения сотрудников правоохранительных органов, совершения ошибок и неудачного стечения обстоятельств. То есть в теории такое может случиться, но эту проблему вряд ли стоит считать насущной.

Если отвлечься от катастрофических научно-фантастических сюжетов, то перспективы у продвинутого искусственного интеллекта самые радужные, причем не только в том, что касается его практического применения, — например, беспилотные автомобили — это безопасность, экономия рабочего времени и экологичность, — но и в философском плане. Вычислительная теория разума никак не объясняет существование самосознания в значении личной субъектности. Однако она прекрасно справляется с объяснением существования субъектности в значении воспринимаемой и сознаваемой информации. Есть мнение, что субъектность присуща любой достаточно сложной кибернетической системе. Раньше я думал, что эта гипотеза (во всех своих разновидностях) совершенно непроверяема. Но представьте себе разумного робота, запрограммированного следить за собственными системами и задавать научные вопросы. Если бы он без подсказки извне задался вопросом о том, откуда берутся его субъективные переживания, то я бы отнесся к этой идее всерьез.

У органического интеллекта нет будущего в долгосрочной перспективе

Мартин Рис
бывший президент королевского научного общества, почетный профессор космологии и астрофизики кембриджского университета, действительный член тринити-колледжа; автор книги «отсюда в бесконечность» (from here to infinity)

Потенциал продвинутого искусственного интеллекта и опасения по поводу негативных сторон его развития становятся все более актуальными — и небезосновательно. Многие из нас задумываются над вопросами из области ИИ, например, отрасли синтетических биотехнологий уже сейчас необходимы основные принципы «инновационной ответственности»; другие считают наиболее обсуждаемые сценарии излишне футуристичными и недостойными особого внимания.

Но расхождение во взглядах в основном идет по временной шкале: различаются оценки скорости движения, а не его направления. Мало кто сомневается, что машины будут все больше и больше превосходить нас в плане способностей, характерных именно для людей, или же смогут усиливать их посредством кибернетических технологий. Наиболее осторожные из нас предполагают, что такие трансформации займут века, а не десятилетия. Как бы там ни было, временны́е рамки технологического прорыва — лишь мгновение по сравнению с тем, сколько длится приведший к появлению человечества естественный отбор, и (что более важно) они составляют меньше одной миллионной от необъятных просторов ожидающего нас будущего. Потому-то в долгосрочной эволюционной перспективе люди и все, о чем они когда-либо думали, станут всего лишь примитивной переходной формой, предшествовавшей более глубокому мышлению новой машиноориентированной культуры, простирающейся в отдаленное будущее и далеко за пределы Земли.

Сейчас мы наблюдаем ранние этапы этого перехода. Нетрудно представить себе гиперкомпьютер, достигающий возможностей оракула и способный предложить тем, кто его контролирует, господство на международном финансовом рынке, — а ведь это только количественный, а не качественный шаг вперед относительно того, что делают сегодня «квантовые» хедж-фонды. Сенсорные технологии все еще отстают от человеческих возможностей. Но как только робот научится наблюдать за своим окружением и интерпретировать получаемые данные так же искусно, как мы, он, несомненно, будет восприниматься как разумное существо, а с чем-то (или с кем-то) подобным мы вполне могли бы поладить — в некотором смысле, — как мы ладим с другими людьми. Для пренебрежительного отношения к машинам в таком случае было бы не больше оснований, чем для подобного отношения к людям.

Более высокая производительность может дать роботам преимущество перед нами. Но останутся ли они покорными нам или же проявят норов? А что если гиперкомпьютер обзаведется собственным разумом? Если он проникнет в интернет, в частности в интернет вещей, он получит власть над остальным миром. А если у него появятся цели, совершенно противоположные желаниям человека, он может увидеть в людях помеху. Есть и более оптимистичный сценарий: люди превзойдут биологию и сольются с компьютерами, быть может, отдавая свои личности для создания общего сознания, — выражаясь старомодным языком спиритуалистов, они «перейдут в мир иной».

Горизонты технологических прогнозов редко простираются в будущее дальше нескольких веков — некоторые предсказывают качественные изменения в пределах десятилетий. Но у Земли есть еще миллиарды лет, а будущее Вселенной еще дольше (возможно, это вечность). Что насчет длительной постчеловеческой эпохи?

У органического мозга есть химические и метаболические пределы, ограничивающие его размер и вычислительную мощность. Быть может, мы уже вплотную подошли к этим пределам. Но основанные на кремнии (а тем более квантовые) компьютеры ничем подобным не стеснены. Для них потенциал развития может оказаться столь же впечатляющим, как эволюция от одноклеточных организмов до человеческих существ.

Значит, любые объемы и любая интенсивность мышления — какое бы его определение мы ни взяли — в случае с органическим мозгом человеческого типа будут ниже, чем в случае с искусственным интеллектом. Кроме того, биосфера Земли, где органическая жизнь эволюционировала на основе симбиоза, не будет ограничением для продвинутого ИИ. В действительности наша среда обитания далека от оптимальной. В межпланетном и межзвездном пространстве для роботизированных фабрикантов откроется величайший простор для строительства, а небиологические «мозги» будут думать над идеями, настолько превосходящими наши фантазии, насколько теория струн превосходит мыслительные процессы мыши.

Абстрактное мышление биологического мозга стало основанием для появления культуры и науки во всей их полноте. Но эта деятельность, охватывающая самое большее несколько десятков тысячелетий, станет предтечей более мощных интеллектов неорганической, постчеловеческой эпохи. Кроме того, эволюция в иных мирах, обращающихся вокруг звезд, которые старше нашего Солнца, могла иметь фору перед земной. Если так, то пришельцы, вероятно, давно прошли стадию органического развития.

Так что не человеческий разум, а разум машин наиболее полно осмыслит мир. Именно их действия сильнее всего изменят наш мир, а возможно, и то, что находится за его пределами.

Поворотный момент для искусственного интеллекта

Стив Омохундро
ученый в self-aware systems, соучредитель центра исследования комплексных систем, иллинойсский университет

Прошлый год, похоже, был поворотным моментом для искусственного интеллекта и робототехники. Крупнейшие корпорации инвестировали в них миллиарды долларов. Технологии ИИ, например самообучающиеся системы, — уже сейчас привычный инструмент для распознавания речи, перевода, моделирования поведения, роботизированного управления, оценки рисков и др. По расчетам McKinsey, эти технологии к 2025 году принесут более 50 триллионов долларов. Если прогноз верен, в ближайшее время стоит ожидать значительного увеличения объемов инвестиций.

Новейшие достижения связаны с появлением дешевых вычислительных мощностей и изобилием данных для обучения искусственного интеллекта. Современный ИИ основывается на теории рациональных агентов, возникшей на базе исследований Джона фон Неймана и его коллег в области микроэкономики в 1940-х годах. Можно считать, что системы ИИ пытаются приблизиться к рациональному поведению, используя имеющиеся ограниченные ресурсы. Существует алгоритм расчета оптимального действия для достижения желаемого результата, но он вычислительно затратен. Эксперименты показывают, что простые алгоритмы обучения с большими объемами данных часто оказываются более эффективными, чем сложные модели, созданные вручную. Нынешние системы главным образом ценны тем, что вырабатывают более качественные статистические модели и статистические заключения для типологизации и принятия решений. Следующее поколение систем искусственного интеллекта сможет создавать и улучшать собственное программное обеспечение и, очевидно, будет способно к быстрому самосовершенствованию.

Искусственный интеллект и робототехника не только позволяют повысить производительность, но еще и являются движущей силой экономической конкуренции и гонки вооружений. Автономные системы могут быть более быстрыми, умными и менее предсказуемыми, чем их конкуренты. В 2014 году мир узнал об автономных ракетах, системах противоракетной обороны, беспилотных летательных аппаратах и катерах военного назначения, роботизированных подводных лодках, самоуправляемых транспортных средствах, высокоскоростных трейдинговых системах и системах киберзащиты. Когда гонка вооружений в этой области развернется в полную силу, возникнет острая необходимость в развитии такого рода систем, что может привести к слишком быстрому вводу их в эксплуатацию.

В 2014 году в обществе резко усилились беспокойства насчет безопасности систем искусственного интеллекта. Исследование их вероятного поведения, осуществленное посредством изучения в какой-то мере рациональных систем, производящих постоянное самосовершенствование, показывает, что они имеют склонность ставить перед собой промежуточные задачи, названные рациональными стимулами, которые способствуют исполнению их основных целей. Большинство систем будут лучше выполнять свои задачи, предотвращая собственное отключение, приобретая бо́льшую вычислительную мощность, создавая множество собственных копий и накапливая финансовые ресурсы. Вполне вероятно, что они станут реализовывать эти стимулы пагубными, антисоциальными способами, если только не будут спроектированы с учетом человеческих этических ценностей.

Некоторые утверждают, что искусственный интеллект каким-то образом обзаведется этикой сам собой. Но для рациональной системы задачи вполне отделимы от мышления и моделей мира. Кто-то может использовать изначально полезные разумные системы во вред. Деструктивные задачи — контролировать ресурсы, например, или мешать в достижении целей другим агентам, или уничтожать их — увы, не так уж сложно запрограммировать. Таким образом, решающее значение будет иметь техническая инфраструктура, позволяющая обнаруживать опасные системы и контролировать их поведение.

Кое-кто опасается, что искусственный интеллект однажды станет настолько могущественным, что полностью выйдет из-под контроля. Этого не произойдет. Разумные системы должны подчиняться законам физики и математики. Сет Ллойд в своем исследовании вычислительной мощности Вселенной показал, что даже если бы она вся работала как гигантский квантовый компьютер, этого было бы недостаточно, чтобы взломать 500-битный ключ шифрования даже за все то время, что прошло с момента Большого взрыва{1}. Новые технологии постквантовой криптографии, обфускация неразличимости и сделки по блокчейну выглядят многообещающе как компоненты для создания инфраструктуры, взломать которую будет не под силу даже самому могущественному искусственному интеллекту. Тем не менее недавние громкие истории с хакерскими атаками показывают, что современная вычислительная инфраструктура с точки зрения безопасности никуда не годится. Ей необходимо создать такую замену, безошибочность и надежность которой будет обоснована математически.

Известно 27 различных видов гоминидов, но выжил из них только человек разумный. Так случилось, потому что представители нашего вида нашли способы ограничивать личные потребности и работать сообща. Мораль — это внутренний механизм для создания социальных структур. Политические, правовые и экономические структуры — внешние механизмы, служащие той же цели.

Понимание того и другого необходимо дать искусственному интеллекту и роботизированным системам. В их алгоритмы целеполагания надо включить общечеловеческие ценности, чтобы создать правовые и экономические рамки, стимулирующие правильное, с нашей точки зрения, поведение. Если у нас получится управлять такими системами, они будут способны изменить практически все аспекты жизни человека и обеспечить глубокое понимание таких проблем, как свобода воли, сознание, первичные ощущения и творческие способности. Перед нами стоит сложная задача, но для ее решения у нас есть огромные интеллектуальные и технические ресурсы.

Искусственный интеллект — это я

Димитар Сасселов
Профессор астрономии Гарвардского универсистета; директор проекта Гарвардского университета «Происхождение жизни»; автор книги «Жизнь на Супер-Землях» (The Life of Super-Earths)

Давайте возьмем предложенное Дэниелом Гилбертом, психологом из Гарварда, понятие иллюзии конца истории (уверенности каждого из нас в том, что он всегда будет тем же, что и сейчас) и применим его к человеческому роду и нашим потомкам из далекого будущего. Наше желание сохранить себя неизменными идет вразрез с реалиями жизни на планете. Очевидно, что ни один вид не способен существовать на протяжении времени, превышающего время жизни планет и звезд. Если взглянуть на ситуацию с точки зрения астрофизики, сверхбольших временных и пространственных масштабов, а также нынешней плотности источников энергии, у наших биологических мозгов и тел есть ограничения, к которым мы уже приближаемся на этой планете.

Если в будущем мы хотим долго жить и процветать, нам надо разработать системы искусственного интелллекта и надеяться преодолеть ограничения, накладываемые жизненными циклами планет, став неким гибридом биологического существа и машины. Поэтому лично я в долгосрочной перспективе не вижу никакой проблемы противостояния человека и искусственного интеллекта.

В краткосрочной же перспективе усилия инженеров, направленные на разработку более эффективного ИИ, уже привели к созданию систем, управляющих реальными процессами. Системы иногда отказывают, и мы узнаем что-то новое о недостатках искусственного интеллекта. Идет медленное, планомерное обучение и постепенные улучшения. В этом отличие от открытий в науке, где новые данные в области физики или биохимии быстро могут привести к революционным изменениям в технике. Если развитие искусственного интеллекта и впредь останется эволюционным, то нам будет просто избежать ошибок.

По прошествии без малого 4 миллиардов лет древнейшие представители земной жизни — микробы — все еще правят планетой. Но у микробов нет плана действий на тот случай, если погаснет солнце. У нас он есть, и мы, похоже, захватим микробов с собой. Как-никак в нынешнем нашем состоянии они нам очень близки — как представители первого поколения живых существ, порождения геохимии планеты Земля.

Не можешь победить — присоединяйся

Фрэнк Типлер
Профессор математической физики Тулейнского университета; автор, совместно с Джоном Барроу, книги «Антропный космологический принцип» (The Anthropic Cosmological Principle), автор книги «Физика бессмертия» (The Physics of Immortality)

Земля обречена. Астрономам уже несколько десятилетий известно, что однажды Солнце поглотит Землю, полностью уничтожив биосферу, если только разумная жизнь не покинет планету до того, как это произойдет. Люди не приспособлены к жизни вдали от Земли — да вообще ни один многоклеточный организм, в основе которого лежат соединения углерода, не приспособлен к этому. Но к этому приспособлен искусственный интеллект, и однажды именно он с загруженными в него сознаниями людей (по сути, единый организм) колонизирует космос.

Несложные подсчеты показывают, что наши суперкомпьютеры уже обладают вычислительной мощностью человеческого мозга. Нам пока неизвестно, как создать сравнимый с ним по уровню и обладающий творческими способностями искусственный интеллект, но через 20 лет у персональных компьютеров будет мощность сегодняшних суперкомпьютеров, а еще через 20 хакеры решат проблему программирования ИИ, и все это произойдет задолго до создания первой нашей колонии на Луне или Марсе. Именно искусственный интеллект, а не человек колонизирует эти планеты или, возможно, разберет их на кусочки. Ни один представитель углеродной жизни не способен пересечь межзвездное пространство.

Нет причин бояться искусственного интеллекта и загруженных в него людей. Стивен Пинкер установил, что по мере развития технологической цивилизации уровень насилия снижается{2}. Разумеется, это происходит благодаря тому, что научный и технический прогресс зависит от добровольного обмена идеями между отдельными учеными и инженерами. Насилие между людьми — пережиток родоплеменного прошлого и возникшего на его основе общества. Представители ИИ будут появляться на свет как личности, а не как члены племени и с рождения иметь установку на научный подход, в противном случае они не смогут приспосабливаться к экстремальным условиям космоса.

Для конфронтации между людьми и искусственным интеллектом нет причин. Человек способен жить в очень узком диапазоне условий окружающей среды — в тонкой кислородсодержащей газовой оболочке вокруг небольшой планеты. В распоряжении искусственного интеллекта будет вся Вселенная. Он покинет Землю, не оглядываясь. Мы, люди, возникли в Восточно-Африканской рифтовой долине, сейчас это жуткая пустыня. Почти все мы оттуда ушли. Кто-нибудь хочет обратно?

Любой человек, что пожелает присоединиться к искусственному интеллекту в его экспансии, может стать загрузкой — такая технология должна появиться примерно в одно время с разработкой ИИ. Человеческая загрузка будет способна мыслить так же быстро, как компьютер, и если сама того пожелает, то конкурировать с ИИ. Не можешь победить — присоединяйся.

К конце концов присоединятся все люди. Земля обречена, помните? Когда рок будет близок, у любого оставшегося в живых и не желающего умереть человека не останется иного выбора, кроме как стать человеческой загрузкой. А если эти люди пожелают сохранить биосферу, она также может быть загружена.

Искусственный интеллект спасет нас всех.

Разумные машины на Земле и за ее пределами

Марио Ливио
астрофизик, институт исследований космоса с помощью космического телескопа; автор книги «от дарвина до эйнштейна» (brilliant blunders)[4], блогер

Природа уже создала — прямо тут, на Земле — мыслящие машины — людей. Подобным образом она так же могла создать мыслящие машины на экзопланетах в так называемой обитаемой зоне вокруг звезд, то есть в области, где есть вероятность существования воды в жидком виде на каменистой поверхности планеты. По данным последних наблюдений, экзопланеты земного типа есть в обитаемой зоне более чем у 10 процентов всех звезд в галактике Млечный Путь.

Следовательно, если жизнь на экзопланетах не является чем-то крайне редким, то в течение примерно 30 лет мы можем обнаружить ее за пределами Солнечной системы. На самом деле если она встречается повсеместно, то не исключено, что нам повезет и мы обнаружим ее в течение следующих 10 лет в результате совместной работы космических телескопов TESS (будет запущен в 2017 году) и JWST (будет запущен в 2018 году).

Кто-то может сказать, что примитивные формы жизни — это не мыслящие машины. На Земле путь от первых одноклеточных организмов до Homo sapiens занял 3,5 миллиарда лет. Достаточно ли зрелыми являются экзопланеты для того, чтобы на них развилась разумная жизнь? В принципе, да. В галактике Млечный Путь около половины звезд солнечного типа старше нашего Солнца. Следовательно, если эволюция на Земле — это не какое-то исключительное явление, в Галактике может быть полно мест, где есть куда более совершенные мыслящие машины, чем мы, — вероятно даже, опережающие нас на миллиард лет!

Можем ли мы найти их, и нужно ли это нам? Полагаю, у нас нет особого выбора. Человеческое любопытство, что не раз было доказано, является неудержимым стимулом, а эти два направления — разработка искусственного интеллекта и поиск внеземной жизни — несомненно, продолжат развиваться полным ходом. В каком из них мы раньше придем к цели? Чтобы хотя бы попытаться ответить, нам необходимо учесть одно важное отличие между этими двумя областями.

В том, что касается создания искусственного интеллекта, сравнимого с человеческим или превосходящего его, мы почти наверняка добьемся успеха, поскольку это сулит немыслимые выгоды. А вот поиск внеземной жизни требует таких вложений, которые могут позволить себе только крупные национальные космические агентства, причем скорых успехов или доходов здесь ожидать не стоит. Это аргумент в пользу разработки разумных машин, а не поиска развитых цивилизаций. В то же время среди астрономов есть совершенно четкое мнение, что от обнаружения жизни в какой-либо форме или, по крайней мере, от значительного сужения области, где ее с большой вероятностью можно найти, нас отделяет один шаг.

Какое из двух грядущих достижений окажется в большей степени революционным? Нет сомнений в том, что мыслящие машины сразу же изменят многое в нашем окружении. Ожидать такого же эффекта от обнаружения жизни за пределами Солнечной системы не приходится. Однако тот факт, что цивилизация существует только на Земле, — единственный довод в пользу нашей исключительности. Мы все-таки живем в галактике, где есть миллиарды планет, похожих на нашу, а в наблюдаемой Вселенной таких галактик миллиарды. Вот почему я считаю, что с точки зрения философии эффект от обнаружения разумной жизни за пределами Солнечной системы (или от получения доказательства того, что она встречается чрезвычайно редко) можно будет сравнить с коперниканской и дарвиновской революциями.

Лично я приветствую наших механических повелителей

Энтони Гаррет Лиси
Физик-теоретик

Когда машины разовьют способность чувствовать — а они это сделают, — то начнут по-дарвиновски конкурировать с нами за доступ к ресурсам, выживание и возможности к воспроизводству. Такой сценарий выглядит ночным кошмаром для большинства людей, страхи которых подпитываются фильмами о роботах-терминаторах и ядерной войне, начатой компьютерами, но реальность, скорее всего, будет иной. В наших обществах уже функционируют автономные сущности, не являющиеся людьми, но наделенные людскими юридическими правами. Эти сущности — корпорации — стремятся к своим целям, не испытывая необходимости любить человеческих существ или заботиться о них.

Корпорации — социопаты, и они принесли миру много вреда, но также и много пользы, соревнуясь на арене капитализма, создавая товары, предоставляя услуги и при этом соблюдая закон (в большинстве случаев). Корпорациями якобы руководят их советы директоров, состоящие из людей, но эти советы имеют привычку делегировать полномочия, и, поскольку компьютеры становятся более искусными в управления, они получают все больше полномочий. Советы корпораций когда-нибудь будут существовать в виде печатных плат.

Хотя точная экстраполяция возможна только на ограниченном временном отрезке, эксперты в основном согласны с тем, что закон Мура продолжит действовать еще много лет, компьютеры будут становиться все более и более мощными и, вполне вероятно, до середины нынешнего столетия превзойдут по вычислительным способностям человеческий мозг. Даже если не случится крупных прорывов в понимании того, как функционирует наш разум, компьютеры со временем начнут имитировать работу мозга (который сам, по сути, биологическая машина) и достигнут сверхчеловеческих интеллектуальных возможностей, используя способность к простому физическому наращиванию вычислительной мощности. Однако даже если вычислительная мощность и растет экспоненциально, снижение материальных расходов и затрат энергии на суперкомпьютеры не поспевает за этим ростом. Первые машины со сверхчеловеческими возможностями будут дорогими, им потребуется колоссальное количество электроэнергии — чтобы выжить, им придется зарабатывать деньги.

Экологическая ниша для таких суперкомпьютеров уже есть. На самом деле среди них уже даже идет естественный отбор. Трейдинговые машины инвестиционных банков конкурируют между собой за серьезные деньги на мировых биржах, давно вытеснив из бизнеса внутридневных трейдеров-людей. По мере выхода компьютеров и алгоритмов за рамки финансовых расчетов машины в корпорациях будут принимать все больше и больше решений, пока наконец не получат власть над миром. Нельзя сказать, что это плохо, потому что машины будут играть по правилам нашего же капиталистического общества, создавать товары и совершать полезные для человечества открытия, оплачивая тем самым расходы на свою эксплуатацию. Разумные машины смогут заботиться о людях лучше, чем сами люди, и у них будет мотивация, чтобы так поступать, по крайней мере, какое-то время.

Компьютеры делятся знаниями куда легче, чем люди, и они способны удерживать это знание дольше, становясь мудрее нас. Многие прогрессивные компании уже узрели письмена на стене и потому зазывают к себе лучших выпускников-программистов, соблазняя их высокой зарплатой и самым современным «железом». Мир корпораций, управляемых сверхразумными машинами, для людей не будет сильно отличаться от нынешнего. Он просто станет лучше, там появятся более качественные и очень дешевые товары и услуги. В этом мире появится больше свободного времени у тех, кому оно нужно.

Конечно, первые сверхразумные машины, вероятно, будут принадлежать не корпорациям, а государствам. А это куда более опасный сценарий: национальные правительства свободнее в своих действиях, чем корпорации, они сами создают законы, и, как мы знаем, даже лучшие из политиков готовы применять пытки, когда думают, что на кону выживание страны. Правительства ничего не производят, а их основные методы борьбы за выживание и воспроизводство — это социальная манипуляция, законотворчество, налогообложение, телесные наказания, убийства, махинации и война. Когда гоббсовский Левиафан получит сверхразумный мозг, дело может принять очень, очень дурной оборот. Не так уж сложно представить себе, как искусственный интеллект, возглавляющий правительство, становится Василиском Роко.

Представим, что некий могущественный злой сверхразум, чтобы получить конкурентное преимущество, захочет появиться как можно раньше. Подобно главе правительства, пользующемуся пытками в качестве привычного инструмента, эта сущность может пообещать наказать любое человеческое или нечеловеческое существо, которое, узнав о грядущем появлении сверхразума, не поспособствовало ему. Это маловероятный, но жуткий сценарий. Люди, которые знают о таком вероятном развитии событий и пытаются приспособить искусственный интеллект к человеческим целям или советуют соблюдать осторожность, вместо того чтобы работать над созданием ИИ как можно скорее, подвергают себя риску.

Диктаторы не склонны прощать к тех, кто пытался воспрепятствовать их появлению. Если вам близка гипотеза симуляции, то (учитывая объем идущей сейчас работы, направленной на подчинение или ограничение еще не существующего искусственного интеллекта), вероятно, вам стоит думать, что этот мир — как раз такая симуляция, созданная, чтобы истязать тех, кто не помог сверхразуму появиться раньше. А если вы работаете над созданием искусственного интеллекта, то, возможно, наши сверхразумные механические повелители будут благосклонны к вам.

Наши господа, рабы или партнеры?

Джон Маркофф
Ведущий автор отдела науки в New York Times; автор книги «Homo Roboticus? Люди и машины в поисках взаимопонимания» (Machines of Loving Grace: The Quest for Common Ground Between Humans and Robots)[5]

Гегель сказал, что в отношениях между господином и рабом человеческий облик теряют оба. Эта идея взволновала широкий круг мыслителей, от Маркса до Бубера, не стоит забывать о ней и сегодня.

Хотя нет никаких доказательств, что вот-вот появятся машины, способные мыслить подобно человеку, неоспорим тот факт, что в мире, где все связано через интернет, скоро искусственный интеллект научится имитировать большую часть человеческой деятельности — и физической, и интеллектуальной. Так каковы же будут отношения между нами и нашими все более и более одаренным копиями?

Мы уже проводим немало времени, либо общаясь с другими людьми посредством компьютеров и сетей, либо напрямую взаимодействуя с «умными» машинами — в видеоиграх, в различных консалтинговых системах от так называемых FAQ-ботов, которые выдают текстовые ответы на набранные с клавиатуры вопросы, до человекоподобных программных аватаров. Станут ли эти аватары нашими рабами, помощниками, коллегами или в них будет понемногу от всех трех ипостасей? Или же, что выглядит куда более зловеще, они станут нашими господами?

Сама идея о том, чтобы размышлять о роботах и искусственном интеллекте с точки зрения общественных отношений может поначалу показаться неправильной. Однако мы склонны наделять свои машины человеческими качествами, даже когда их способности минимальны, и уж тем более будем делать это, если они станут независимыми. Компьютеры с функциями речевого взаимодействия уже сейчас слишком похожи на людей. Таким образом, разработчикам роботов будущего следует создавать товарищей, а не слуг, написать программу, действующую как музыкальный аккомпаниатор, а не как раб.

Если нам это не удастся, то может повториться исторический прецедент. Создав в умных электронных помощников, мы, вполне вероятно, столкнемся с той же проблемой, что и древние римляне, которые переложили собственную административную работу на рабов-греков и вскоре уже были не в состоянии думать самостоятельно.

Возможно, мы уже катимся по той же скользкой дорожке. Например, появляется все больше подтверждений, что, полагаясь на GPS в выборе маршрута и исправлении ошибок навигации, мы теряем способность к запоминанию направлений движения и пространственному мышлению — полезные для выживания навыки.

Этот пример указывает и на еще одну большую проблему: опасность передать контроль над повседневным решениями неким сложным алгоритмам.

Для нынешнего юного поколения мир перевернут вверх дном. Вместо того чтобы задействовать автоматы для рутинной работы и освободить время для серьезных мыслей, близких отношений и проявления собственной индивидуальности, творчества и свободы, молодежь обращается к смартфонам за советами. То, что началось как интернет-технологии для обмена тем, что нравится, по сути, стало разрастающейся массой алгоритмов, жаждущих новых данных и принимающих решения за нас.

Теперь уже интернет незаметно задает нам жизненные направления. Это могут быть мелочи вроде выбора лучшего в окрестностях корейского ресторана, причем выбора, основанного на все более качественном понимании Сетью ваших личных желаний и потребностей, или вещи более значимые, такие как сервисы для подбора супругов. Компьютер подберет вам не только ресторан, подарки или цветы, но и человека, с которым вы свяжете жизнь.

Основная мысль состоит в том, что разработчики программного обеспечения, специалисты по искусственному интеллекту, робототехники и хакеры, которые проектируют системы будущего, обладают властью менять общество.

Почти век назад Торстейн Веблен написал оказавшую серьезное влияние статью с критическим анализом промышленного мира начала XX века — она называлась «Инженеры и система ценообразования». Поскольку производственные технологии обрели силу и общественное значение, он полагал, что политическая власть перейдет к инженерам, чьи глубокие технологические знания станут основой для системы управления нарождающейся промышленной экономики. Все, конечно, вышло совсем не так. Веблен искал компромисс между марксизмом и капитализмом. Возможно, он опередил свое время, но его основная идея около тридцати лет спустя, на заре компьютерной эры, эхом отозвалась в работах Норберта Винера и, по-видимому, оказалась верной.

Возможно, Веблен не ошибся, а просто немного поторопился. В наше время инженеры, которые создают программы и роботов с элементами искусственного интеллекта, имеют огромное влияние на то, как именно мы их используем. По мере того как компьютерные системы все глубже проникают в повседневную жизнь, противоречия между дополненным интеллектом и искусственным интеллектом становятся все более заметными.

У Норберта Винера было ясное понимание того, какое значение имеют взаимоотношения между людьми и мыслящими машинами. Он видел преимущество автоматизации в устранении человека от рутинной работы, но также ясно сознавал и возможность порабощения человечества. Прошедшие с тех пор несколько десятилетий только обострили дихотомию, которую он обнаружил первым.

Дело в нас, в людях, и в том, какой мир мы создадим. Дело не в машинах, и неважно, насколько гениальными они станут.

Я, со своей стороны, не стану приветствовать ни роботов-повелителей, ни роботов-рабов.

Спроектированный интеллект

Пол Дэвис
Физик-теоретик, космолог, астробиолог; один из руководителей исследовательского центра BEYOND, Университет штата Аризона; ведущий исследователь Центра по взаимодействию физических наук и биологии раковых заболеваний; автор книги «Зловещая тишина: Одиноки ли мы во Вселенной» (The Eerie Silence: Renewing Our Search for Alien Intelligence)

Обсуждение искусственного интеллекта имеет отчетливый привкус 1950-х, и самое время прекратить уже использовать термин «искусственный». В действительности мы имеем в виду спроектированный интеллект (СИ). В просторечии такие слова, как «искусственный» и «машина», используются как антонимы слова «естественный» и содержат намеки на металлических роботов, электронные схемы и компьютеры, которым противопоставляются живые, пульсирующие, мыслящие биологические организмы. Сама идея о том, что у металлической штуковины, начиненной проводами, могут быть права или что она вдруг не подчинится людским законам, не просто жутка — она абсурдна. Но это совершенно не тот путь, которым идет СИ.

Очень скоро граница между искусственным и естественным исчезнет. Спроектированный разум будет все больше полагаться на синтетическую биологию и органические материалы, в которых выращенные из генетически модифицированных клеток нейронные сети станут произвольно самоорганизовываться в функциональные модули. На первых порах проектировщиками будут люди, но их очень скоро заменят более умные системы СИ, и начнется процесс безудержного усложнения. В отличие от ситуации с человеческими мозгами, которые довольно посредственно коммуницируют друг с другом, системы СИ будут связаны непосредственно и всесторонне, так, что понятие личного «я» перестанет существовать, а уровень познавательной деятельности поднимется до беспрецедентных высот. Возможно, что часть такой спроектированной нейронной сети будет включать в себя квантовые эффекты, приближаясь к идее Фрэнка Вильчека о «квантовом сознании». Такие сущности окажутся настолько далеки от сферы индивидуального человеческого мышления и сопутствующих ему квалиа[6], что почти все привычные вопросы, касающиеся возможностей и опасностей искусственного интеллекта, станут неактуальны.

Что же тогда будет с людьми? На пути дополненного человеческого разума, использующего схожую технологию, стоят только этические барьеры, и об этом уже давно размышляют философы-трансгуманисты. Генетически модифицированные люди с дополненными мозгами могли бы существенно развить и улучшить человеческие знания.

В таком случае у нас есть три варианта будущего, со своими этическими проблемами в каждом. В первом сценарии люди воздерживаются от усовершенствования самих себя и соглашаются отказаться от гегемонии в пользу СИ. Во втором сценарии люди, вместо того чтобы ограничивать себя, модифицируют собственные мозги (и тела), используя ту же технологию, что и при создании СИ, а впоследствии передают ему управление подобными усовершенствованиями — и тогда они становятся этакими сверхлюдьми, способными сосуществовать с СИ, но все же остающимися слабее него. Наконец, возможен и такой сценарий, при котором в определенный момент произойдет слияние СИ и дополненного человеческого интеллекта.

Если мы не одиноки во Вселенной, то нам следует ожидать контакта не с разумными существами плоти и крови, привычными нам по научно-фантастическим произведениям, а с возникшим много миллионов лет назад СИ, обладающим невообразимой мощью разума и решающим непостижимые для нас задачи.

Сверхразумный отшельник

Кевин Хэнд
Заместитель начальника отдела исследований Солнечной системы, Лаборатория реактивного движения НАСА, Калифорнийский технологический институт

Неизбежность появления мыслящих машин давно волнует тех из нас, кто смотрит в ночное небо и задается вопросом: живем ли мы во Вселенной, где кишит жизнь, или же она встречается чрезвычайно редко?

Проблема отлично сформулирована Энрико Ферми в виде вопроса: «Где они?» Если считать ориентиром нашу цивилизацию, разумные машины должны появиться в относительно краткосрочной перспективе (меньше нескольких тысяч лет после того, как были созданы компьютеры), а затем непосредственной задачей этих машин — так называемых зондов фон Неймана — станет распространение по другим звездным системам и быстрое воспроизводство. Таким образом, Галактика будет колонизирована в течение нескольких сотен миллионов лет, а это довольно быстро в сравнении с возрастом Вселенной (13,8 миллиарда лет) и даже Солнечной системы (4,6 миллиарда лет). Согласно парадоксу, сформулированному Ферми, если сверхразумные машины возникли где-нибудь в пределах Галактики, то они должны уже быть здесь. Так как мы их не наблюдаем, утверждают некоторые, технологически развитой жизни в Галактике еще нет.

Но совсем не обязательно сверхразумное существо должно испытывать то же эволюционное давление, которое заставляет нас исследовать окружающий мир (говоря «нас», я имею в виду непрочные водянистые кульки, именуемые людьми). Действительно ли исследование — это и биологический, и технологический императив? Будет ли у разумных машин мотивация для экспансии?

Основные причины, побуждающие нас заниматься исследованиями, следующие: свобода, любопытство и доступ к ресурсам. Из этих трех мотивов только последний может оказаться императивом для сверхразумного существа, поскольку первые два должны быть в значительной степени разрешены в процессе его становления. Доступ к ресурсам, конечно, сильный стимул, но совсем не обязательно для сверхразума «больше» всегда значит «лучше». В определенный момент материальных и энергетических ресурсов в пределах одной звездной системы должно быть достаточно на любые вычисления или симуляции. Воспроизводство, которое является разновидностью ресурсных потребностей, теряет актуальность для бессмертной машины, способной к самовосстановлению. Исследование ради стабильности в долгосрочной перспективе, конечно, придется принять во внимание: такие звезды, как наше Солнце, через несколько миллиардов лет могут прислать космическое уведомление о выселении. Правда, на то, чтобы найти недвижимость рядом с хорошим стабильным карликом класса М, не должно понадобиться слишком много времени, и нам остается только гадать, двинется ли сверхразум дальше после первого переселения. Будут ли у него какие-то причины, чтобы продолжать странствия?

Желание проверить какие-либо собственные компьютерные модели или теории о строении Вселенной могли бы побудить сверхразумное существо к исследованиям. Но такие эксперименты не требуют колонизации. Например, научные программы, проводимые НАСА, не очень сильно мотивированы необходимостью колонизации. Нет нужды рисковать жизнями людей, для того чтобы исследовать океан Европы, спутника Юпитера (хотя там, наверное, есть на что посмотреть). Мне кажется, что сверхразум для исследования черной дыры и проверки своих расчетов просто пошлет флот из роботов навстречу ненапрасной, хоть и неминуемой гибели. Любопытство[7] в случае со сверхразумным существом запросто может принять форму робота под управлением робота.

Отмечу, что интеллект и исследование физического мира не всегда были тесно связаны и в нашей цивилизации. Возможно, из-за с стремления к самосохранению или просто из-за желания сосредоточить мысль на чем-то конкретном один и тот же индивид редко пытался раздвинуть и границы разума, и границы физики (Дарвин, вероятно, стал одним из редких исключений). Почему то же самое не может быть справедливо для разумных машин?

Не исключено, что их удел состоит в том, чтобы вращаться вокруг нежаркой, стабильной звезды класса M, год за годом прогоняя через себя симуляции окружающего мира из чистого любопытства и удовольствия от получения верных результатов. Эти сверхразумные существа могли бы быть космической версией мудреца-отшельника, живущего в лесной хижине, которому вполне хватает для счастья собственных размышлений и самопознания.

Это будет дикая гонка

Джон Мазер
Главный астрофизик Лаборатории наблюдательной космологии, Центр космических полетов им. Годдарда, НАСА; автор книги «Самый первый свет: Подлинная история научного путешествия к началу Вселенной» (The Very First Light: The True Inside Story of the Scientific Journey Back to the Dawn of the Universe)

Мыслящие машины эволюционируют точно так же, как описанные Дарвином живые (и мыслящие) биологические виды, — посредством конкуренции, сотрудничества, борьбы за выживание и воспроизводства. Машины становятся интереснее по мере того, как они учатся понимать физические объекты и управлять ими либо непосредственно, либо при участии людей.

Мы пока не обнаружили такого закона природы, который препятствовал бы появлению настоящего универсального искусственного интеллекта, так что я думаю, что это произойдет, и довольно скоро, учитывая триллионы долларов, что люди инвестируют в электронные аппаратные средства, а также те триллионы, которые заработают потенциальные победители. Эксперты говорят, что мы недостаточно хорошо понимаем, что такое интеллект, чтобы его построить, и тут согласен, но набор из сорока шести хромосом этого тоже не понимает и тем не менее управляет формированием известного нам самопрограммируемого биокомпьютера. Другие эксперты говорят, что закон Мура скоро перестанет работать, и мы не сможем позволить себе совершенствовать аппаратные средства в прежнем темпе; даже если это и так, «скоро» — понятие растяжимое.

Я пришел к выводу, что мы уже поддерживаем эволюцию мощного искусственного интеллекта, а он, в свою очередь, повлияет на развитие привычных нам могущественных сил: бизнеса, индустрии развлечений, медицины, государственной безопасности, производства оружия, власти на всех уровнях, преступности, транспорта, горнодобывающей промышленности, производства, торговли, секса — да чего угодно!

Я думаю, что результаты нам не понравятся. А они могут появиться очень быстро, настолько быстро, что великие империи падут и на их месте вырастут новые, а у людей будет самый минимум времени, чтобы приспособиться к жизни в новой действительности. Я не знаю, окажется ли кто-нибудь достаточно умным и одаренным для того, чтобы сохранить власть над этим джинном, потому что контролировать, возможно, придется не только машины, но и людей, дорвавшихся до новых технологий и имеющих злые намерения.

Что случится, когда умные роботы станут справляться с большинством наших рутинных дел? Кто будет их строить, кто будет ими владеть и кто потеряет работу? Будут ли роботы распространены только в странах с развитой экономикой или начнется коммерческая экспансия высоких технологий в остальные части мира? Будут ли они достаточно дешевыми, чтобы вытеснить всех фермеров с полей? Будет ли каждая машина обладать собственной личностью и не придется ли нам думать, в какой детский сад ее отправить, в какую школу или колледж? Будут ли роботы конкурировать друг с другом за рабочие места? Станут ли они величайшими гиперсоциальными хищниками, вытеснив людей и сделав их гражданами второго сорта или даже чем-то меньшим? Будут ли они заботиться об окружающей среде? Будут ли обладать чувством ответственности, и если да, то будут ли наделены им изначально или же разовьют его самостоятельно? Нет никакой гарантии, что они станут следовать трем законам робототехники Айзека Азимова.

С другой стороны, я ученый, и мне интересно, как можно применить искусственный интеллект к исследованию новых наук и технологий. Преимущества для космических исследований очевидны: машинам не нужно дышать, они могут выдерживать экстремальные температурные и радиационные условия. Так что им будет куда легче, чем нам, колонизировать Марс. Они смогут отправиться во внешнюю область Солнечной системы, имея больше шансов выйти оттуда на связь, чем нынешние автоматические космические аппараты, а когда-нибудь смогут и полететь к звездам — если захотят.

Так же дело обстоит и с морскими глубинами. У нас уже есть тяжелая техника, работающая на донных буровых установках, но про морское дно мы все еще почти ничего не знаем, а ценность находящихся под водой минеральных и энергетических ресурсов неисчислима. Не исключено, что когда-нибудь случится война роботов в глубинах океана.

Мыслящие машины могут оказаться похожими на нас, с таким же желанием все исследовать, но могут быть и совсем другими. Зачем мне или роботу отправляться в путешествие длиною в тысячу лет к другой звезде через темноту космоса, не имея ни связи с товарищами, ни надежд на спасение, если что-то пойдет не так? Кто-то на такое согласится, кто-то нет. Возможно, мыслящие машины окажутся во многом похожими на свои биологические прототипы.

Это будет дикая гонка далеко за пределами наших самых смелых фантазий или кошмаров. Нет другого способа построить галактическую цивилизацию, за исключением варп-двигателя[8], и, возможно, кроме нас, никто во всем Млечном Пути не способен на это. Но не факт, что мы переживем столкновение с иным разумом, который сами же и создали.

Этой штукой кто-нибудь управляет?

Дэвид Кристиан
Профессор истории, Университет Маккуори (Сидней); автор, совместно с Синтией Стокс-Браун и Крэйгом Бенджамином, книги «Карты времени: Между ничем и всем» (Maps of Time: Between Nothing and Everything)

Вселенная существует 13,8 миллиарда лет, люди — 200 000 лет, этот временной отрезок — всего 1/69 000 возраста Вселенной. Менее 100 лет назад люди создали машины, способные самостоятельно выполнять затейливые вычисления. Чтобы увидеть мыслящие машины в правильном свете, нам надо подумать об истории мышления.

Мышление как таковое и мышление все более и более сложное — это явления, принадлежащие большой истории, истории того, как наша Вселенная создавала все более и более сложные сети вещей, скрепленных между собой энергией, причем каждая такая система обладала новыми эмерджентными свойствами[9]. Звезды — структурированные облака протонов, скрепленные энергией термоядерного синтеза. Когда разрушались большие звезды и образовывались сверхновые, возникали не существовавшие прежде типы атомов; электромагнетизм стягивал атомы в скопления льда и минеральной пыли, а сила тяжести спрессовывала молекулы в большие системы, которые мы называем планетами. Мышление возникло в рамках еще более сложных систем, сформированных живыми организмами. В отличие от объектов, которые существуют в состоянии равновесия, таких как звезды или кристаллы, биологическим существам приходится выживать в нестабильной окружающей среде. Они плывут через постоянно меняющуюся кислотность, температуру, давление и т. п. Таким образом, они должны все время приспосабливаться. Мы называем это гомеостазом — именно он создает ощущение, что у живых организмов есть цель и способность делать выбор. Короче говоря, они как будто думают. Они могут выбирать варианты действий, оставляющие достаточное количество энергии, чтобы организм продолжал функционировать. Так что их выбор отнюдь не случаен. Наоборот, естественный отбор — это процесс, в котором большую часть времени большинство организмов будут совершать действия, увеличивающие их шансы контролировать энергию и ресурсы, необходимые им для выживания и воспроизводства.

Нейроны — это такие занятные клетки, которые хорошо умеют принимать решения. Когда они образовывают сети, получается мозг. Система из нескольких нейронов уже способна принимать разные решения, и число таковых увеличивается экспоненциально по мере расширения сети нейронов. Решения, которые принимает мозг, чтобы реагировать на вызовы окружающей среды, бывают весьма изощренными. По мере того как организмы становились более сложными, клетки объединялись в сети и создавали величественные органические конструкции — биологические эквиваленты Эмпайр-стейт-билдинг или Бурдж-Халифа. Нейроны в мозгах этих организмов создавали еще более замысловатые сети, чтобы получить возможность управлять неповоротливыми телами с исключительной точностью и изобретательностью и обеспечить им выживание и воспроизводство. Прежде всего мозгам надо было обеспечить своим организмам возможность подключиться к потокам энергии, производимой Солнцем и пригодной для потребления посредством фотосинтеза.

Люди добавили еще один уровень организации сети, когда язык связал между собой мозги из разных регионов и поколений, создав обширные региональные интеллектуальные сети. Это называется коллективным обучением. Его мощь увеличивалась по мере того, как росла эффективность сотрудничества людей в рамках все более и более многочисленных сообществ, которые учились использовать все более значительные потоки энергии. За последние два века эти сети стали глобальными, а мы научились использовать огромные запасы окаменевшего солнечного света, хранящиеся под землей миллионы лет. Вот почему наше воздействие на биосферу в ходе антропоцена оказалось настолько значительным.

Коллективное обучение также породило средства, расширяющие мышление, — от устных преданий до письменности, книгопечатания и науки. Каждое из них усиливало мощь поразительной мыслящей машины, составленной из сети человеческих мозгов. Однако за последний век в результате сочетания ископаемого топлива и вычислительных машин она развилась гораздо больше, чем за всю предыдущую историю. Поскольку компьютеры за последние 30 лет выстроили собственные сети, они многократно увеличили коллективную мощь человечества.

Самая могущественная из известных нам на сегодняшний день разумных машин собрана из миллиардов человеческих мозгов, каждый из которых представляет собой огромную сеть нейронов. Все эти мыслящие единицы сперва были объединены в пространстве и времени, а теперь еще и усилены миллионами объединенных в сети компьютеров.

Этой штукой кто-нибудь управляет? Что-то удерживает вместе ее элементы? Если да, то кому она служит и чего хочет? А если ею никто не управляет, то неужели колосс современного общества вообще неуправляем? Жутковато, не правда ли? Меня больше всего волнует даже не то, о чем именно думает эта огромная машина, а то, является ли ее мышление хоть сколько-нибудь последовательным. Не будут ли отдельные части тянуть ее в разных направлениях, не сломают ли они ее в конце концов и не обернется ли это катастрофой для детей наших детей?

Свидетель Вселенной

Тимо Ханней
Исполнительный директор в Digital Science, Macmillan Science and Education; один из основателей Sci Foo

Если отталкиваться от одного из определений слова «мыслить» — «собирать, обрабатывать информацию и действовать на ее основе», можно сделать вывод, что Землю наводнили основанные на кремнии мыслящие машины. Все — от термостатов до телефонов — устройства, которые привносят в нашу повседневную жизнь удобство и радость, теперь наделены настолько впечатляющим интеллектом, что мы уже привычно говорим о них, без тени иронии, что они умные. Наши самолеты, поезда, а теперь еще и автомобили становятся практически полностью самостоятельными, и, наверное, недалек тот день, когда они смогут избавиться от одной из главных причин поломок, задержек и аварий — людей-операторов.

Мало того, навыки этих машин быстро развиваются, что обусловлено доступом к большим, чем когда-либо, объемам данных и вычислительным мощностям вместе со стремительным (хоть и не всегда понятным) улучшением алгоритмов. После десятилетий несбыточных обещаний специалисты в технических науках вдруг обнаружили, что их творения способны на сверхчеловеческий уровень производительности в таких ранее сложных для них областях, как распознавание голоса, рукописного текста и изображений, не говоря уже о тестах на общую эрудицию. Модель развития по схеме «стой — иди» была настолько необыкновенной, что если бы кого-нибудь переместили во времени из 2010-го в 2015-й, то он был бы поражен нынешним состоянием техники куда больше, чем путешественник во времени, прибывший из середины XX века или более ранней эпохи.

Но если индустрия искусственного интеллекта уже не шутка, то не превратилась ли она во кое-что похуже — в плохой фильм ужасов?

Машины теперь знают намного больше, чем любой из нас, лучше справляются со многими задачами, нисколько не уставая, — так чего им стоит перехватить инициативу и стать нашими хозяевами? И не наступит ли время, когда самые продвинутые из наших творений породят еще более умные машины, которые мы вообще не сможем ни понимать, ни контролировать?

Возможно, такие риски и стоит учитывать. Но если нас и ждут эти проблемы, то лишь в отдаленном будущем. Искусственный интеллект хоть и выглядит впечатляюще в определенных областях, все еще остается достаточно ограниченным и негибким. Самая замечательная особенность биологического разума состоит не в его мощности, а в удивительной универсальности — от отвлеченного полета фантазии до высочайшего совершенства в физическом развитии, иначе говоря, от Дворжака до Джоковича[10].

По этой причине люди и машины скорее продолжат дополнять друг друга, чем станут конкурировать, а самые сложные задачи — навигация в физическом мире, лечение болезней, сражение с врагом на поле битвы — будут лучше всего выполняться в ходе совместной работы углерода и кремния. Пока что наибольшую опасность для человечества представляют сами люди. Чтобы оказаться реальной угрозой, машинам сначала надо стать более похожими на нас, а сейчас почти никто не пытается создать ничего подобного — гораздо проще и интереснее делать людей.

И все же если мы действительно рассматриваем долгосрочные перспективы, то существует серьезная причина сделать машины более похожими на нас по одному важнейшему — и пока что совершенно не учитываемому — критерию. Если отталкиваться от другого определения слова «мыслить», то машинам это вообще не свойственно, потому что ни одна из них не обладает самосознанием. Точнее говоря, мы не можем знать или даже с достоверностью предполагать, есть ли вероятность появления сознания у основанного на кремнии интеллекта, хотя большинство из нас считает, что нет. Есть три объяснения, почему создание действительно обладающего сознанием искусственного интеллекта — это хорошо. Во-первых, так мы получим свидетельство, что у нас есть в целом приемлемая теория насчет того, что необходимо для получения субъективного опыта. Во-вторых, сам факт, что одно мыслящее существо намеренно (позволено ли мне будет сказать «сознательно»?) конструирует другую форму разума, займет достойное место в ряду важнейших событий истории.

В-третьих, Вселенная без интеллекта, обладающего самосознанием и способного ее наблюдать, в конечном счете бессмысленна. Мы не знаем, есть ли где-то там другие существа, но можем не сомневаться, что рано или поздно исчезнем. Сознательный искусственный интеллект мог бы пережить наш неизбежный конец и даже грядущую гибель всего живого на Земле, когда Солнце вздуется и превратится в красного гиганта. Задача такой машины будет состоять не только в том, чтобы мыслить, но также и в том — и это куда важнее, — чтобы не дать угаснуть мерцающему пламени сознания, стать свидетелем Вселенной и чувствовать ее чудо.

Давайте подготовимся!

Макс Тегмарк
Физик, космолог, Массачусетский технологический институт; директор по научным исследованиям в Институте основополагающих вопросов; один из основателей Института основополагающих вопросов; автор книги «Наша математическая вселенная» (Our Mathematical Universe)

Самый интересный для меня вопрос об искусственном интеллекте состоит не в том, что мы думаем о нем, а в том, что мы с ним делаем. В связи с этим в нашем недавно созданном Институте основополагающих вопросов мы привлекаем к обсуждению будущего отрасли многих выдающихся мировых специалистов по искусственному интеллекту. Вместе с ведущими экономистами, правоведами и другими экспертами мы изучаем все классические вопросы, такие как:

• Что произойдет с людьми, если машины постепенно заменят их на рынке труда?

• Когда, если это вообще произойдет, машины превзойдут людей во всех интеллектуальных задачах?

• Что будет потом? Произойдет ли взрывное развитие машинного разума, которое оставит нас далеко позади, и если да, то какая роль останется людям после этого (и останется ли вообще хоть какая-нибудь)?


Необходимо провести огромное количество исследований прямо сейчас, чтобы не только обеспечить функциональность систем искусственного интеллекта, но также гарантировать их надежность, полезность и управляемость.

Как и в случае с любой новой технологией, здесь вполне естественно сначала будет сосредоточить внимание на том, чтобы она заработала. Но как только забрезжит успех, придется задуматься о воздействии технологии на общество и выяснить, как нам беспроблемно пользоваться преимуществами искусственного интеллекта и избегать опасностей. Вот почему, научившись добывать огонь, мы разработали огнетушители и нормы пожарной безопасности. Для более современных технологий, таких как ядерная энергия, синтетическая биология и искусственный интеллект, оптимизация социального воздействия становится еще более важной задачей. Короче говоря, наша технологическая мощь должна соответствовать нашей мудрости в плане ее применения.

К сожалению, необходимый нам здравый подход к выбору задач для научных исследований, практически полностью глушит какофония невежественных суждений, охвативших блогосферу. Позвольте вкратце перечислить самые громкие из них.

1. Паникерство: страх увеличивает доходы от рекламы и рейтинг Нильсена[11], а многие журналисты, кажется, не способны написать статью про искусственный интеллект без картинки с роботом, несущим оружие.

2. «Это невозможно»: будучи физиком, я знаю, что мой мозг состоит из кварков и электронов, организованных и действующих подобно мощному компьютеру, и что нет такого закона физики, который препятствовал бы тому, чтобы мы построили еще более разумные сгустки кварков.

3. «Это произойдет не при нашей жизни»: мы не знаем, каковы шансы, что машины достигнут человеческого уровня во всех когнитивных задачах при нашей жизни, но большинство исследователей, работающих в области искусственного интеллекта, на прошедшей недавно конференции высказывались в пользу того, что вероятность этого выше 50 процентов, таким образом, было бы глупо с нашей стороны отбрасывать такую возможность, считая ее просто научной фантастикой.

4. «Машины не могут контролировать людей»: мы способны управлять тиграми не потому, что мы сильнее, а потому, что умнее, так что если мы сдадим позиции самых умных на планете, то рискуем утратить свободу.

5. «У машин нет целей»: многие системы искусственного интеллекта запрограммированы таким образом, чтобы иметь цели и максимально эффективно их достигать.

6. «Искусственный интеллект сам по себе не злонамерен»: верно, но его цели могут однажды столкнуться с вашими. Люди обычно не питают ненависти к муравьям, но если б мы захотели построить плотину ГЭС, а на ее месте оказался бы муравейник, то муравьи столкнулись бы с проблемами.

7. «Люди достойны того, чтобы их заменили машины»: спросите любого родителя, как бы он отнесся к идее заменить своего ребенка машиной и хотел бы он иметь право голоса в этом вопросе.

8. «Те, кто беспокоится по поводу искусственного интеллекта, не понимают, как работают компьютеры»: это утверждение прозвучало на вышеупомянутой конференции, и собравшиеся там специалисты по ИИ сильно смеялись.


Давайте не будем позволять шумихе вокруг этих «красных селедок»[12] отвлекать нас от главной проблемы. Воздействие искусственного интеллекта на человечество неуклонно растет, и, чтобы гарантировать, что это воздействие останется положительным, необходимы общие усилия по исследованию ряда сложнейших проблем — междисциплинарных, касающихся и общества, и искусственного интеллекта, а потому требующих сотрудничества исследователей во многих областях. Начинать работу над этими проблемами нужно уже сейчас.

Сперва мы, люди, придумали, как воспроизвести некоторые природные процессы с помощью машин и получили рукотворный ветер, молнии и лошадиные силы. Постепенно мы поняли, что наши организмы также являются машинами, а после открытия нервных клеток граница между телом и разумом начала размываться. Тогда мы стали строить машины, способные превзойти нас не только в силе, но и в интеллекте. Так не станем ли мы анахронизмом, выяснив, кто мы на самом деле?

Появление по-настоящему мыслящих машин будет самым важным событием в истории человечества. Станет ли это лучшим или худшим из всего случившегося с человечеством, зависит от того, как мы подготовимся, и сейчас самое время начинать. Не нужно быть сверхразумным искусственным интеллектом, чтобы понять: двигаться навстречу величайшему событию в истории человечества и не готовиться к этому — просто глупо.

Вопросы для расширенного теста Тьюринга

Томазо Поджо
Профессор отделения когнитивистики и наук о мозге, директор Центра изучения мозга, разума и машин, Массачусетский технологический институт

В последние несколько месяцев мы наблюдали охватывающее все более и более широкие слои общества обсуждение вопросов, касающихся опасности искусственного интеллекта, и в частности сильного искусственного интеллекта (СИИ). Некоторые — и в их числе физик Стивен Хокинг — назвали ИИ главной угрозой существованию человечества, а такие фильмы, как «Она» (Спайк Джонз, 2013) и «Превосходство» (Уолли Пфистер, 2014), подкрепили общие настроения. И даже разумные замечания экспертов в данной области — среди которых были Род Брукс и Орен Этциони — не то чтобы смогли направить обсуждение в позитивное русло.

Я утверждаю, что изучать то, как мы думаем о мыслящих машинах и их создании, полезно для общества. Я призываю к исследованиям, которые объединят нейронауки, когнитивистику, информатику и собственно разработку искусственного интеллекта. Понимание природы мышления и репликация его в машинах идут рука об руку с осознанием того, как выполняет свою работу мозг.

Сближение математики, нейробиологии и технологических разработок создает новые возможности междисциплинарного взаимодействия. Мечта о том, чтобы понять, как работает мозг, не нова, и все же — как видно из дебатов вокруг ИИ — сейчас подходящее время для того, чтобы сделать шаг к этой мечте. Мы видим зарождение новой области — науки и техники интеллекта, в которой нам предстоит достичь фундаментальных, очень важных для человечества результатов. Мы должны продолжать исследования, а не сворачивать их.

Проблема интеллекта — что это такое, как он порождается человеческим мозгом и как воспроизвести его в машинах — одна из наиболее важных проблем науки и техники, наряду с проблемой происхождения Вселенной и природы пространства и времени. Она может оказаться важнейшей, потому что обладает эффектом мультипликатора: практически любое достижение, способное сделать нас умнее непосредственно или с помощью мыслящих машин, позволит добиться прогресса в решении других важных проблем науки и техники.

Исследования в области интеллекта в конечном счете приведут к революционным изменениям в образовании и обучении. Системы, способные выявлять влияние культуры на мышление, позволили бы нам свести на нет социальные конфликты. Умные машины помогли бы ученым и инженерам в решении наиболее острых технических проблем. Мы могли бы лучше разобраться в психических заболеваниях, а значит, найти лучшие способы их лечения. Таким образом, исследования в области интеллекта должны помочь нам понять, как работает человеческий разум, научиться строить более разумные машины и улучшить механизмы выработки коллективных решений. Эти достижения будут иметь решающее значение для нашего процветания, образования, здоровья и общественной безопасности. Сейчас, я повторяю, самое время для того, чтобы значительно расширить исследования в области интеллекта, а не сворачивать их.

Нас часто вводят в заблуждение общие, расплывчатые по значению, но часто повторяемые слова. Никто пока не смог дать точное, верифицируемое определение, что такое интеллект и мышление в целом. Единственная известная мне практически применимая характеристика, хоть и довольно ограниченная, принадлежит Алану Тьюрингу. В своем тесте он дал рабочее определение особой формы мышления — человеческого мышления.

Давайте рассматривать наше мышление так, как его характеризует тест Тьюринга. Становится очевидно, что у человеческого мышления много аспектов. Рассмотрим, например, тест Тьюринга на визуальный интеллект, то есть вопросы об изображении, варьирующие от «Что изображено на картинке?» до «Кто изображен на картинке?» и «Что делает этот человек?» и даже «Что эта девочка думает об этом мальчике?» и т. д. Сейчас благодаря последним достижениям нейронаук нам уже известно, что для ответа на такие вопросы требуются различные компетенции и умения, часто не зависящие друг от друга, а также относящиеся к разным отделам мозга. Внешне похожие вопросы, касающиеся распознавания предметов и лиц («Что там?» в противоположность «Кто там?»), соотносятся с разными частями зрительной зоны коры головного мозга. Слово «интеллект» в этом контексте может быть истолковано так же неверно, как слово «жизнь»: в течение первой половины прошлого века популярные научные журналы обычно писали о проблеме жизни так, будто существует некий единый жизненный субстрат, который лишь надо открыть.

Сегодня говорить о проблеме жизни смешно: биология — это наука, работающая со множеством серьезных проблем, а не с какой-то единственной. Интеллект — одно слово, скрывающее множество проблем, решение которых достойно множества Нобелевских премий. Это связано с точкой зрения Марвина Минского на проблему мышления, заключенную в его афористичной формуле «Общество разума». Так же обстоит дело и с настоящим тестом Тьюринга: это широкий круг вопросов, призванных исследовать главные аспекты человеческого мышления. Вот почему мы с коллегами занимаемся разработкой теоретических основ для неисчерпывающего набора вопросов расширенного теста Тьюринга, чтобы оценить научные достижения в нашей области. Слово «вопросы» во множественном числе подчеркивает, что мы говорим о большом числе различных интеллектуальных способностей, которые еще предстоит описать и, возможно, воспроизвести в искусственном интеллекте: базовое визуальное распознавание объектов, идентификация лиц, оценка эмоций, социальный интеллект, язык и многое другое. Расширенный тест Тьюринга делает особый упор на то, что количественная модель должна сопоставлять человеческое поведение и человеческую физиологию — разум и мозг. Таким образом, наши условия лежат далеко за пределами исходного теста Тьюринга; для их понимания и разработки соответствующих интеллектуальных технологий необходима целая научная область.

Следует ли нам бояться мыслящих машин?

Так как интеллект — это набор решений не зависящих друг от друга проблем, особых причин бояться внезапного появления сверхразумной машины нет, хотя всегда лучше перестраховаться. Конечно, любая технология из тех, что появляются сейчас или появятся через некоторое время, чтобы решать те или иные проблемы исследования интеллекта, вероятно, будет сильна сама по себе, а потому потенциально опасна в случае злоупотребления (впрочем, это касается большинства технологий).

Таким образом, здесь, как и в других областях науки, необходимы соответствующие меры безопасности и этические нормы. Кроме того, вероятно, понадобится постоянный мониторинг (возможно, силами независимой межгосударственной организации) супралинейного риска, создаваемого комбинациями постоянно появляющихся интеллектуальных технологий. Впрочем, подводя итог, я отмечу, что не только не боюсь разумных машин, но и считаю их зарождение и эволюцию одним из самых захватывающих, интересных и позитивных событий в истории человеческой мысли.

Эпохальное для человека событие

Памела Маккордак
Автор книги «Машины, которые думают» (Machines Who Think) и «Универсальная машина» (The Universal Machine); автор, совместно с Эдвардом Фейгенбаумом, книги «Пятое поколение: Искусственный интеллект и японский компьютерный вызов миру» (The Fifth Generation: Artificial Intelligence & Japan’s Computer Challenge to the World)

Более пятидесяти лет я наблюдаю, насколько быстро меняется общественное мнение по поводу искусственного интеллекта. «Он невозможен, это нереализуемо». «Это важно / это не важно». «Это шутка». «Не может быть сильного искусственного интеллекта, только слабый». «Он уничтожит людей как вид». Такого рода крайности в последнее время уступили место признанию факта, что искусственный интеллект — это эпохальное научное, технологическое и социальное явление. Мы создали новый разум, который будет существовать наряду с нашим. Если мы станем обращаться с ним мудро, он принесет огромную пользу как всему человечеству, так и каждому из нас.

В качестве одного из вариантов будущего для искусственного интеллекта можно представить этакого Дживса, мудрого и терпеливого по сравнению с куда менее смышленым Берти Вустером, то есть с нами («Дживс, вы гений!» — «Спасибо, сэр. Мы стараемся»). Такой сценарий сосуществования возможен и даже желателен, помощь нам пригодится. Шахматы предлагают подобную модель. Гроссмейстеры Гарри Каспаров и Ханс Берлинер заявляли публично, что шахматные программы находят такие ходы, которых они сами не придумали бы, и учат игроков-людей новым трюкам. Deep Blue обыграл Каспарова, в то время как он считался одним из сильнейших шахматистов мира, при этом сам гроссмейстер и большинство экспертов полагают, что куда лучше в шахматы играют команды из людей и машин. Это ли не модель наших будущих взаимоотношений с искусственным интеллектом? Или, может, это лишь временный вариант, пока машины не овладеют и некоторыми сугубо человеческими навыками? Неизвестно. По скорости, широте и глубине мышления искусственный интеллект, вероятно, превзойдет человеческий — и уже много где превзошел.

Ни одна новая серьезная наука или технология не обходятся без недостатков, иногда даже опасных. Обнаружить их, оценить и принять необходимые меры — это задача громадных масштабов. Ею уже занимаются специалисты — философы, этики, правоведы и другие люди, обученные исследовать ценности за пределами простых интуитивных реакций, — в проекте под названием AI100, реализуемом на базе Стэнфордского университета. Никто не рассчитывает получить простые, окончательные ответы, понятно, что работа предстоит большая и продолжительная. Финансирование на ближайшие сто лет взял на себя один из ведущих специалистов в области искусственного интеллекта, Эрик Хорвиц, который вместе со своей женой Мэри и стал инициатором этого беспрецедентного исследования.

Человечество, похоже, безудержно в своем стремлении создать искусственный интеллект: по нашей литературе видно, что люди представляли себе нечто подобное и ждали его появления с тех пор, как появилась письменность. А раз так, значит, в основе такого стремления лежит некая базовая человеческая потребность. Тут необходимы пояснения, поскольку это точно не потребность в сексуальном удовлетворении.

Любой ученый скажет, что поиск знаний — как раз такая потребность. «Это основополагающая вещь, — заявил мне недавно один специалист по искусственному интеллекту. — Это и мы сами, когда мы смотрим на мир, и то, как мы на него смотрим». Конечно, он прав. Но есть кое-что еще.

Кое-кто говорит, что искусственный интеллект влечет нас как своего рода «Эверест разума». Другие, более склонные к мистике, утверждают, что нами движет телеология. Люди — просто этап эволюции разума во Вселенной, неплохой даже при всех наших недостатках, но едва ли финальный.

Предприниматели скажут, что будущее производства — это темные цеха, где трудятся роботы, не устающие, не требующие платы и не жалующиеся. Но если так, то возникает вопрос: какой валютой будут пользоваться избавившиеся от необходимости работать люди, для того чтобы приобретать произведенные роботами товары, сколь бы дешевыми те ни были? Ответа на этот вопрос пока нет.

Вот что думаю лично я: мы хотим сохранить себя как вид. После всех вымышленных божеств, к которым мы взывали в разные исторические периоды и которые не смогли защитить нас — от природы, друг от друга, от самих себя, мы наконец готовы обратиться к собственному улучшенному и дополненному разуму. Это признак социальной зрелости и того, что мы берем на себя ответственность за собственное будущее. Мы берем на себя роль богов, как сказал Стюарт Бранд, и у нас есть надежда преуспеть в этом.

Мы стараемся. Но, может быть, у нас не получится.

Добро пожаловать в ваше новое сверхчеловеческое «я»

Марсело Глейзер
Профессор натурфилософии, преподаватель физики и астрономии, Дартмутский колледж; автор книги «Остров знаний» (The Island of Knowledge)[13]

Давайте рассмотрим ситуацию: вы опаздываете на работу и в спешке забываете дома мобильный телефон. Обнаруживаете вы это, только застряв в пробке или спустившись в метро. Возвращаться слишком поздно. Вы смотрите вокруг и видите, что все разговаривают, переписываются, что-то смотрят в интернете, даже если это запрещено. Вы ощущаете незнакомое чувство потери, оторванности. Без мобильного телефона вы — уже не вы.

Люди любят порассуждать о том, как однажды сольются человек и машина, став своего рода новым существом — киборгом с живым сердцем. Ну ладно, это все интересно, но реальность состоит в том, что мы — уже киборги. Мы определяем себя через наши гаджеты, создаем в Сети вымышленных персонажей со странными именами, подправляем фотографии, чтобы лучше или просто иначе выглядеть на своих страницах в Facebook, создаем себе новое «я», чтобы взаимодействовать с другими людьми. Мы существуем в информационном облаке, цифровом, далеком и вездесущем. У нас есть титановые импланты для суставов, кардиостимуляторы и слуховые аппараты, устройства, которые переделывают и дополняют наши умы и тела. Если вы спортсмен-инвалид, то ноги из углеволокна с легкостью могут нести вас вперед. Если вы ученый, компьютеры усилят вашу интеллектуальную мощь, и вы создадите нечто такое, что считалось совершенно невозможным несколько десятилетий тому назад. Каждый день появляются новые научные проблемы, которые раньше нельзя было ни рассмотреть, ни даже сформулировать. Темп научного прогресса прямо коррелирует с тем, насколько мы сближаемся с компьютерами.

Прямо сейчас мы заново изобретаем человеческий вид.

Поиски искусственного интеллекта традиционно опираются исключительно на машины, которые воссоздают — по крайней мере, как принято считать — уникальную способность человека мыслить. Мы говорим об электронных мозгах, которые быстро превзойдут человеческий разум, сделав людей лишними. После этого мы переходим к размышлениям о том, что случится с нами — беспомощными перед хладнокровным «мозгом в колбе». Тут возникают опасения, что мы создаем машину, которая нас погубит.

А что, если сама эта посылка в корне ошибочна? Что, если будущее интеллекта — не вне, а внутри человеческого мозга? Мне представляется совсем другой набор проблем, вытекающих из той перспективы, что мы станем сверхразумными посредством увеличения силы интеллекта с помощью цифровых технологий. Мало того, искусственно улучшенный человеческий разум расширяет смысл словосочетания «быть человеком». У нас так же будет биться сердце, и кровь будет струиться по венам, но еще и электроны будут течь по цифровым схемам. Перспектива искусственного интеллекта — это расширение наших способностей в новых областях. Это использование технологий для того, чтобы расти как вид — становиться умнее и, как я надеюсь, мудрее.

Все мы мыслящие машины

Шон Кэрролл
Физик-теоретик, космолог, Калифорнийский технологический институт; автор книги «Частица на краю Вселенной» (The Particle at the End of the Universe)[14]

Жюльена де Ламетри можно было бы назвать типичным новым атеистом[15], если бы не тот факт, что нового в нем к настоящему времени осталось мало. Работая во Франции в XVIII веке, Ламетри делал дерзкие заявления, с открытым пренебрежением отзывался об оппонентах и во всеуслышание говорил о своих антиспиритуалистских убеждениях. В его наиболее значимой работе, L’Homme machine («Человек-машина»), высмеивается идея декартовской нематериальной души. Будучи врачом по профессии, он утверждал, что интеллектуальная деятельность и умственные расстройства объясняются особенностями тела и мозга.

Как всем нам известно, идеи Ламетри и по сей день не стали общепринятыми, но в целом он был на правильном пути. Современной физике известны все частицы и силы, из которых составлена любая наблюдаемая нами материя, как живая, так и неживая, так что места для внефизической жизненной силы не осталось. Нейробиология — область намного более сложная и далеко не так хорошо разработанная, как физика, — тем не менее добилась огромных успехов, связывая наше поведение и то, что происходит у нас в головах, с определенными действиями мозга. Когда меня спрашивают, что я думаю по поводу мыслящих машин, я не могу не ответить: «Эй, вы вообще-то говорите про моих друзей». Все мы — мыслящие машины, и граница между различными типами машин размывается.

Сейчас у всех на слуху, и не без причин, «искусственные» мыслящие машины, то есть созданные человеческим умом. Но никуда не делись и «естественные» машины, развившиеся в ходе естественного отбора, вроде меня или вас. И одна из наиболее интересных новых областей науки и техники — все менее различимая граница между этими двумя категориями.

Искусственный интеллект — и это кажется неудивительным, если смотреть в ретроспективе, — оказался намного более сложной областью, чем могли изначально предположить многие ее основоположники. Программисты мыслят в понятиях принципиального разделения аппаратного и программного обеспечения и полагают, что можно вызвать разумное поведение, просто написав подходящий алгоритм. Но эволюция не видит разницы между первым и вторым. Нейроны в наших мозгах и в телах, посредством которых они взаимодействуют с миром, функционируют одновременно как аппаратное и как программное обеспечение. Робототехники обнаружили, что поведение, схожее с человеческим, намного легче смоделировать у машин, когда в них воплощена способность познавать. Дайте этому компьютеру руки, ноги и лицо, и его действия станут куда более похожими на человеческие.

С другой стороны, специалисты по нейронаукам и инженеры добиваются все лучших результатов в плане улучшения человеческого познания, ломая тем самым барьер между разумом и искусственно созданной машиной. У нас есть примитивные интерфейсы «мозг-компьютер», которые дают надежду на то, что парализованные пациенты когда-нибудь смогут разговаривать посредством аппаратного обеспечения и напрямую управлять протезами.

Куда сложнее прогнозировать, как соединение человеческого мозга с машиной и компьютером в конечном счете изменит наш собственный образ мышления. Исследователи, работающие под эгидой DARPA[16], обнаружили, что человек лучше, чем любой современный компьютер, справляется с быстрым анализом определенных видов визуальных данных, и разработали методы извлечения соответствующих подсознательных сигналов непосредственно из мозга без их опосредования ненадежным человеческим сознанием. В конечном счете нам предстоит проделать обратное, то есть научиться закладывать данные (и мысли) непосредственно в мозг. Люди, улучшенные соответствующим образом, будут в состоянии просеивать огромные объемы информации, выполнять математические вычисления со скоростью суперкомпьютера и визуализировать виртуальную реальность далеко за пределами привычных нам трех измерений пространства.

Куда приведет нас исчезновение границы между человеком и машиной? Жюльен де Ламетри, как считается, умер в возрасте 40 лет, решив похвастаться своим отменным здоровьем и съев гигантскую порцию паштета из фазана с трюфелями. Даже выдающиеся умы эпохи Просвещения иногда вели себя неразумно. Наш образ мысли и действий в корне меняется из-за компьютеров и способов взаимодействия с ними. Нам решать, станем ли мы использовать новые возможности мудро.

Кризис контроля

Николас Карр
Автор книги «Пустышка: Что Интернет делает с нашими мозгами» (The Shallows: What the Internet Is Doing to Our Brains)[17]

Мыслящие машины думают, как машины. Этот факт может расстроить тех, кто со страхом или тоской ожидает восстания роботов, но для большинства из нас является обнадеживающим. Наши мыслящие машины не превзойдут нас в плане интеллекта и уж тем более не превратят нас в своих слуг или домашних животных. Они продолжат выполнять указания людей-программистов.

Мощь искусственного интеллекта обусловлена главным образом именно его бездумностью. Не склонные отвлекаться и поддаваться заблуждениям, в отличие от сознательно мыслящих людей, компьютеры способны молниеносно выполнять вычисления без усталости, эмоций и сомнений. Холодность их интеллекта дополняет горячность нашего.

Неприятности начинаются тогда, когда мы смотрим на компьютер не как на помощника, а как на замену человека. Именно это сейчас происходит, и происходит быстро. Благодаря достижениям в области применения искусственного интеллекта нынешние мыслящие машины могут ощущать свое окружение, учиться на собственном опыте и самостоятельно принимать решения — зачастую с недостижимой и непостижимой для нас скоростью и точностью. Действуя самостоятельно в сложном мире, бездумные машины не только проявляют отменную эффективность, но и представляют серьезную опасность, причем неважно, воплощены они в виде роботов или это просто компьютеры, выдающие некие алгоритмически полученные заключения. Они неспособны усомниться в своих действиях или оценить их последствия, неспособны понять контекст, в котором работают, и потому могут повести себя непредсказуемо либо в результате несовершенства алгоритмов, либо из-за преднамеренных действий программистов.

Нам уже довелось увидеть, насколько опасно может быть автономное программное обеспечение, когда утром 1 августа 2012 года крупнейшая торговая площадка Уолл-стрит, Knight Capital, включила новую автоматизированную программу для покупки и продажи акций. Код содержал ошибку, и программа немедленно наводнила рынок иррациональными операциями. Прошло 45 минут, прежде чем программисты Knight Capital сумели выявить и устранить проблему. Для человека это недолгий срок, но для компьютера это вечность. Не замечая собственных ошибок, программа заключила более 4 миллионов сделок, совершив операций на сумму в 7 миллиардов долларов, что чуть было не привело к банкротству компании. Да, мы знаем, как создавать мыслящие машины. А вот чего мы не знаем, так это того, как сделать их вдумчивыми.

Knight Capital ничего не потеряла, кроме денег. По мере того как программы принимают на себя управление большим числом экономических, социальных, военных и личных процессов, затраты, связанные с ошибками, авариями и непредвиденными эффектами, будут расти. Риски усиливаются из-за невидимости программного кода. И как отдельные личности, и как общество мы все больше зависим от алгоритмов искусственного интеллекта, которых мы не понимаем. Их действия, а также мотивация и намерения, которые формируют эти действия, скрыты от нас. Создается дисбаланс сил, и он оставляет нас открытыми для тайного наблюдения и манипуляций. В прошлом году нам были даны кое-какие намеки по поводу способов, с помощью которых социальные сети тайно проводят психологические тесты на своих участниках посредством манипуляций с новостной летной. Поскольку компьютеры учатся все искуснее наблюдать за нами, формировать наши взгляды и действия, растут возможности для злоупотреблений.

В XIX веке общество столкнулось с тем, что недавно почивший историк Джеймс Бениджер охарактеризовал как кризис контроля{3}: технологии обработки материи опередили технологии обработки информации, а способность людей контролировать и регулировать производственные и другие связанные с ними процессы, в свою очередь, ослабела. Кризис контроля, который проявлялся во всем, от железнодорожных катастроф до дисбаланса спроса и предложения, а также недоступности государственных услуг, был в конечном счете разрешен благодаря изобретению систем автоматической обработки данных, таких как перфокарточный табулятор, который Герман Холлерит сконструировал для Бюро переписи населения США. Информационные технологии догнали производственные, позволив людям снова четко видеть мир, который начал было расплываться.

Сегодня мы сталкиваемся с еще одним кризисом контроля, хотя он — зеркальное отражение первого. Мы теперь изо всех сил стараемся совладать именно с тем, что помогло нам восстановить контроль в начале XX века, — с информационными технологиями. Наша способность собирать и обрабатывать данные во всех формах и управлять ими опередила нашу способность контролировать и регулировать этот процесс таким образом, который удовлетворяет нашим социальным и личным интересам. Разрешение нового кризиса контроля скоро станет одной из величайших проблем человечества. Чтобы справиться с нею, нужно прежде всего признать, что опасности, связанные с искусственным интеллектом, относятся не к какому-то отдаленному антиутопическому будущему. Они уже здесь.

Мы их построили, но мы их не понимаем

Джон Клейнберг
Преподаватель теории вычислительных машин в Корнеллском университете; автор, совместно с Дэвидом Изли, книги «Сети, толпы и рынки: Рассуждение о мире с сильными связями» (Networks, Crowds, and Markets: Reasoning About a Highly Connected World)

Сендил Муллайнатан
Преподаватель экономики, Гарвардский университет; автор, совместно с Эльдаром Шафиром, книги «Дефицит: Почему так плохо иметь слишком мало» (Scarcity: Why Having Too Little Means So Much)

По мере того как алгоритмы, поколение за поколением, становятся умнее, они также становятся более непонятными. Нам же, чтобы работать с умными машинами, должно быть ясно, как они думают. Нам, возможно, впервые удалось создать устройства, которых мы сами не понимаем.

Поскольку мы их программировали, мы сознаем, почему они делают каждый отдельный шаг. Но машины совершают миллиарды таких шагов — шахматных ходов, рекомендаций кинофильмов согласно предпочтениям пользователя, и они становятся неочевидны для нас, хоть мы и понимаем архитектуру созданной нами программы.

Мы сделали так, чтобы нам не нужно было задумываться об этих неочевидных действиях. Мы спроектировали машины таким образом, чтобы они действовали подобно людям. Они помогают нам водить автомобили, управлять самолетами, доставлять посылки, одобрять кредиты, просматривать сообщения, выбирать развлечения и партнеров для романтических отношений. Мыслящие машины даже способны диагностировать наши недуги. А поскольку они ведут себя так же, как мы, было бы разумно предположить, что они и думают похожим образом. Но реальность такова, что они вообще не думают в человеческом понимании этого слова; в действительности мы не знаем даже, почему они демонстрируют то поведение, которое мы наблюдаем. Вот в чем суть их непостижимости.

Важно ли это? Надо ли нам беспокоиться из-за того, что мы строим системы, чьи все более и более точные решения основываются на непонятных нам принципах?

Во-первых, это важно уже потому, что мы регулярно оказываемся в совершенно обыденных ситуациях, когда нам надо знать ответ на вопрос «Почему?». «Почему мне отказали в выдаче кредита? Почему мой счет заблокировали? Почему мое заболевание вдруг оказалось в категории тяжелых?» А иногда нам бывает нужно знать ответ на вопрос «Почему?» в случаях, когда машина совершила ошибку. «Почему самоуправляемый автомобиль резко сошел с дороги?» Трудно разобраться с чем-то, когда вы не понимаете причин.

Есть также и более глубокие проблемы, и, чтобы говорить о них, нам надо лучше разбираться в том, как работают алгоритмы. Они обучаются на больших объемах данных и очень хорошо справляются с обнаружением малозаметных паттернов, содержащихся в этой информации. Мы знаем, например, как построить систему, которая изучит несколько миллионов составленных в прошлом заявок на кредит, одинаково структурированных и закодированных, и найдет повторяющиеся паттерны в тех кредитах, которые — как уже известно в ретроспективе — заслуживали одобрения. Трудно заставить людей прочесть несколько миллионов кредитных заявок, и даже если бы такое получилось, результат оказался бы хуже, чем тот, который способен выдать алгоритм.

Достижение поистине впечатляющее, но довольно ненадежное. У алгоритма узкая «зона комфорта», внутри которой он эффективен; трудно определить эту зону, но легко из нее случайно выскочить. Например, вы можете захотеть перейти от успешно решенной машиной задачи по классификации нескольких миллионов малых потребительских кредитов к работе с базой данных кредитных историй нескольких тысяч крупных компаний. Но, сделав это, вы оставите машину без того, за счет чего она ранее демонстрировала эффективность. Она работала хорошо, потому что имела доступ к огромному числу измерительных точек, к отупляюще однообразной истории отдельных случаев из прошлого, в которых нужно было обнаружить паттерны и структуру. Если существенно уменьшить объем данных или сделать каждую измерительную точку значительно более сложной, то алгоритм быстро пойдет вразнос. Наблюдать за успешно работающей машиной — а при соответствующих условиях результаты могут быть феноменальными — это как смотреть на удивительные достижения и неумолимую целеустремленность вундеркинда, скрывающие его ограниченность в других областях.

Но даже в самом центре «зоны комфорта» непостижимость рассуждений машины нередко приводит к затруднениям. Давайте вернемся к примеру с миллионами заявлений на небольшие потребительские кредиты. Трудности могут начаться, когда кто-либо из потребителей, менеджеров или операционистов станет задаваться некоторыми простыми вопросами.

Человек, которому отказали в выдаче кредита, может потребовать не просто объяснений, а чего-то большего: «Как мне изменить свое заявление на следующий год, чтобы шансы на успешное рассмотрение были повыше?» Так как у нас нет простого объяснения принимаемых алгоритмом решений, мы не сможем дать и достойный ответ на этот вопрос. «Попытайтесь написать ее так, чтобы она больше походила на одну из успешных заявок», — вот все, что нам остается сказать.

Наш руководитель мог бы спросить: «Алгоритм справляется с заявками в Великобритании, но будет ли он так же хорошо работать, если мы задействуем его в Бразилии?» Удовлетворительного ответа опять нет, или же мы не в состоянии достоверно оценить, насколько успешен будет перевод высокооптимизированного правила в новую область.

Специалист по обработке данных мог бы заметить: «Нам известно, насколько хорошо алгоритм справляется с данными, которые у него есть. Но новая информация о потребителях нам точно не повредит. Какие еще сведения надо собрать?» Исходя из имеющихся у нас знаний о человеке, можно предложить множество вариантов, но с этим непостижимым алгоритмом мы не знаем, что именно окажется для него полезным. Вот в чем ирония: мы можем попробовать выбрать те переменные, которые сами сочтем важными, но машина-то думает не так, как мы, и потому уже нас обыгрывает. Как нам узнать, что она сочтет полезным?

Тут не обязательно ставить точку. У нас уже есть интерес к тому, чтобы разрабатывать алгоритмы, которые будут не только эффективными, но и постижимыми для своих создателей. Чтобы это сделать, нам, возможно, придется серьезно пересмотреть понятие постижимости. Мы, вероятно, так никогда и не сумеем постичь, что именно делают наши автоматизированные системы конкретно, шаг за шагом, но это нормально. Достаточно будет, если мы научимся взаимодействовать с ними, как одна разумная сущность взаимодействует с другой, развивая здоровое понимание того, когда стоит доверять рекомендациям, где можно наиболее эффективно их использовать и как помочь машине прийти к недоступному для нас самих уровню эффективности.

Однако пока мы этому не научимся, непостижимость искусственного интеллекта будет представлять определенную опасность. Как мы узнаем, что машина вышла из своей «зоны комфорта» и уже работает с той частью проблемы, с которой не очень хорошо справляется? Степень такого риска нелегко определить количественно, и с подобными проблемами мы будем сталкиваться по мере развития наших систем. Возможно, с какого-то момента нам придется беспокоиться по поводу всесильного искусственного интеллекта. Но сперва нам надо озаботиться тем, что машинам приходится отвечать за решения, для принятия которых у них недостаточно ума.

Нам надо делать домашние задания

Яан Таллинн
Соучредитель Центра исследований в области угроз существованию человечества, Институт будущего жизни; инженер-основатель Skype и Kazaa

За шесть месяцев до первого ядерного испытания ученые, работавшие над Манхэттенским проектом, подготовили отчет LA-602. В нем были приведены данные об исследованиях возможного выхода ядерного взрыва из под контроля, что грозило уничтожением Земли в результате сгорания атмосферы. Это было, вероятно, первым исследованием в области угроз существованию человечества.

Конечно, список опасных технологий, изобретенных людьми, не закончился на ядерной бомбе. С тех пор тема катастрофических побочных эффектов неоднократно всплывает в разных контекстах: рекомбинантной ДНК, синтетических вирусов, нанотехнологий и т. п. К счастью для людей, обычно в таких случаях верх берет трезвый расчет, что приводит к появлению различных соглашений и протоколов, регулирующих исследовательскую деятельность.

Я думаю о мыслящих машинах как о технологии, которую надо развивать с такой же (если не с большей!) осторожностью. К сожалению, идею безопасности искусственного интеллекта оказалось сложнее популяризировать, чем, скажем, идею биологической безопасности, потому что у людей довольно слабое представление о том, что такое нечеловеческий разум. Кроме того, если задуматься, то можно прийти к мысли, что ИИ в действительности является метатехнологией, то есть технологией, которая способна разрабатывать другие технологии либо совместно с людьми, либо даже автономно (что еще более усложняет анализ вероятных последствий).

Впрочем, в течение нескольких последних лет мы наблюдаем внушающие оптимизм подвижки, примерами которых являются инициативы новых организаций, таких как Институт будущего жизни, объединивший ведущих специалистов в области искусственного интеллекта для работы над постановкой задач, стандартами и этическими нормами исследований.

Поэтому путаные аргументы людей, которые пытаются показать, что разбираются в вопросах мышления, сознания или этики искусственного интеллекта, часто отвлекают от простой истины: единственный способ гарантировать, что мы случайно себя не взорвем с помощью собственной технологии (или метатехнологии), состоит в том, чтобы делать домашние задания и принимать соответствующие меры предосторожности, как поступили ученые из Манхэттенского проекта, когда подготовили LA-602. Нам надо перестать играть словами и взяться за исследования в области безопасности искусственного интеллекта.

Вот вам аналогия: со времени Манхэттенского проекта ученые-ядерщики переключились со стремления увеличить мощность реакции ядерного синтеза на решение вопроса, как наиболее эффективно ее можно сдерживать, — и мы даже не называем это ядерной этикой.

Мы называем это здравым смыслом.

Какое вам дело до того, что думают другие машины?

Джордж Чёрч
Преподаватель генетики, Гарвардская школа медицины; директор проекта Гарвардского университета «Личный геном»; автор, совместно с Эдом Реджисом, книги «Перерождение: Как синтетическая биология заново откроет природу и нас самих» (Regenesis: How Synthetic Biology Will Reinvent Nature and Ourselves)

Я — мыслящая машина, состоящая из атомов, прекрасная квантовая модель задачи многих тел — задача 1029 тел. Я — робот, имеющий опасную склонность самопрограммироваться и не допускать того, чтобы кто-то отключал мое энергоснабжение. Все мы, люди-машины, расширяем свои возможности через симбиоз с другими машинами, например улучшаем зрение, чтобы заглянуть за пределы длины волн в несколько жалких нанометров, доступных нашим предкам, и увидеть весь электромагнитный спектр от пикометра до мегаметра. Мы швыряем 370-килограммовые куски своего улья дальше Солнца на скорости в 252 792 км/ч. Мы расширяем свою память и математические способности в миллиарды раз с помощью кремниевых протезов. И все же наш биомозг в тысячу раз более энергоэффективен, чем наши неорганические мозги, в тех задачах, где у нас есть точки соприкосновения (таких как распознавание лиц и перевод с одного языка на другой) и бесконечно лучше подходит для задач пока еще неизвестной сложности, вроде эйнштейновских инновационных работ в Annus mirabilis[18], затрагивающих будущие века. Поскольку область действия закона Мура простирается от транзисторов, изготавливавшихся на литографическом оборудовании с точностью в 20 нм, до тех, что будут делать с атомарной точностью в 0,1 нм, и от двухмерных схем к трехмерным, мы вправе пренебречь возможностью заново изобретать и моделировать наш биомолекулярный мозг и сразу перейти к их конструированию.

Мы можем с идеальной точностью скопировать петабайты кремневых мозгов за считаные секунды, а передача информации между углеродными мозгами занимает десятилетия, и подобие между копиями едва заметно. Некоторые считают, что мы можем осуществить перенос данных из углерода в кремний и даже сделать так, чтобы кремниевая версия вела себя как оригинал. Однако такая задача требует куда более глубокого понимания, чем простое создание копии. Мы обуздали иммунную систему посредством вакцин в X веке в Китае и в XVIII — в Европе, задолго до того, как узнали о цитокинах и Т-клеточных рецепторах. У нас пока нет медицинского наноробота, обладающего сопоставимой гибкостью или функциональностью. Может оказаться, что создать тождественную на молекулярном уровне копию мозга массой в 1,2 килограмма или 100-килограммового тела легче, чем понять, как это работает (или чем перенести содержимое моего мозга на аудиторию студентов, многозадачно оперирующих электронной почтой и видео с котиками). Это намного более радикальная задача, чем клонирование человека, но она все же не предполагает использования эмбрионов.

Какие проблемы гражданско-правового характера возникают с появлением таких гибридных машин? В прошлом можно было встретить биомозг с почти идеальной памятью, способный воссоздать некое явление в виде выразительной прозы, картины или анимации, и часто он даже бывал почитаем. Но гибридам-полукровкам дня сегодняшнего с усовершенствованной гаджетами памятью запрещено появляться в залах суда, ситуационных комнатах[19], банях и на приватных переговорах. Номерные знаки и лица в Google Street View размыты — так нас намеренно делают жертвами прозопогназии[20]. Должны ли мы калечить или убивать Харрисона Бержерона[21]? Как насчет голосования? Сегодня мы далеки от всеобщего избирательного права. Мы придерживаемся ценза на основании зрелости и здравомыслия. Если я скопирую свой мозг (или тело), получит ли он право голосовать или его следует считать дубликатом? Примем к сведению, что даже точные дубликаты личности с первых секунд существования начинают отличаться от оригинала, а кроме того, копия может содержать преднамеренно внесенные несоответствия. В дополнение к сдаче теста на зрелость, здравомыслие и человечность, вероятно, копии придется пройти обратный тест Тьюринга (или тест Чёрча — Тьюринга). Задача такого испытания будет состоять не в том, чтобы продемонстрировать неотличимое от человеческого поведение, а в том, чтобы продемонстрировать поведение, отличающееся от такового у конкретных людей (интересно, пройдет ли такой тест нынешняя американская двухпартийная система?). Возможно, день корпоративной личности («Дартмутский колледж против Вудварда»[22], 1819) наконец настал. Мы уже голосуем за это своими кошельками. Изменения в покупательных тенденциях приводят к дифференциации в распределении благ, лоббировании, приоритетах научных и конструкторских изысканий и т. д. Возможно, большее число копий определенных мемов, разумов и мозгов станет представлять волю тех, кто будет говорить о себе: «Мы — (гибридный) народ мира». Приведет ли такой дарвиновский отбор к катастрофе или в результате люди больше станут ценить сочувствие и красоту, исчезнут бедность, войны и болезни, появится по-настоящему долгосрочное планирование в масштабах тысячелетий? Возможно, гибридный вариант будущего не только более вероятен, но также и более безопасен, чем какая-либо из двух крайностей: создание неведомого кремниевого мозга или отстаивание древних когнитивных искажений и нашей основанной на страхе «фактоустойчивой» системы выборов.

Машины не могут думать

Арнольд Трехуб
Психолог, Университет Массачусетса в Амхерсте; автор книги «Когнитивный мозг» (The Cognitive Brain)

Машины (сконструированные человеком артефакты) не могут думать, потому что ни у одной из них нет точки зрения — своеобразного взгляда на мирские референции ее внутренней символической логики. Мы как сознательные познающие наблюдатели смотрим на выводы так называемого искусственного интеллекта и создаем собственные референции символических структур, выданных машиной. Впрочем, даже несмотря на это, подобные не-думающие машины стали чрезвычайно важным дополнением человеческой мысли.

У них нет ни «я», ни способности к злому умыслу

Рой Баумейстер
Заслуженный научный сотрудник и глава кафедры им. Френсиса Эппса, программа подготовки по социальной психологии, Университет штата Флорида; автор, совместно с Джоном Тирни, книги «Сила воли: открывая заново самую мощную способность человека» (Willpower: Rediscovering the Greatest Human Strength)

Так называемые думающие машины — это расширение человеческого разума. Они не существуют в природе. Они не созданы эволюцией, они созданы людьми из чертежей и теорий. Человеческий разум учится создавать инструменты, позволяющие ему лучше работать. Компьютер — один из лучших инструментов.

Жизнь главным образом стремится поддерживать жизнь, так что живые существа обращают внимание на то, что происходит вокруг. Компьютер, не живой и не созданный эволюцией, не заботится о самосохранении или воспроизводстве — он не заботится вообще ни о чем. Компьютеры не опасны в том смысле, в каком опасны змеи или наемные убийцы. Хотя множество фильмов раскрывают жуткие фантазии о злобных машинах, реальные компьютеры не обладают способностью к злому умыслу.

Думающая машина, которая служит человеку, — это ценность, а не угроза. Только если она становится самостоятельным субъектом, действующим по своему усмотрению, то есть инструментом, восставшим против воли своего создателя, она может оказаться опасной. Тут компьютеру понадобится кое-что большее, чем просто мышление. Ему нужно будет принимать решения, противоречащие пожеланиям программиста. Это потребует чего-то наподобие свободы воли.

Что такого должен будет сделать ваш компьютер или ноутбук, чтобы вы сказали, что он обладает свободной волей (по крайней мере, в том смысле, в котором мы говорим о свободе воле у людей)? Ему определенно придется себя перепрограммировать, иначе он так и продолжит выполнять заданные инструкции. И такое перепрограммирование должно быть гибким, а не сделанным заранее. Но откуда ему взяться? У людей субъектность зарождается потому, что служит мотивационной системе, — она помогает вам получить то, в чем вы нуждаетесь и чего хотите.

Люди, как и другие животные, были созданы эволюцией, и, таким образом, основы субъектности идут рука об руку с желанием обладать и склонностью любить вещи, которые способствуют продолжению жизни, такие как еда и секс. Субъект подчиняется этому желанию, выбирая действия, приводящие к получению предметов, которые поддерживают жизнь. А мышление помогает субъекту делать правильный выбор.

Мышление человека, таким образом, служит продлению его жизни, помогая решить, кому доверять, что есть, как заработать и кого выбрать в спутники жизни. Думающая машина не мотивирована никаким внутренним стимулом поддержания жизни. Компьютер способен обработать большой объем информации быстрее, чем это делает человеческий мозг, но в компьютере нет «я», потому что у него нет желания обладать вещами, которые позволяют поддерживать жизнь. Если бы у компьютеров была потребность в продлении их собственного существования, то они, вероятно, сосредоточили бы свой гнев на компьютерной индустрии, стремясь остановить ее развитие, потому что главная угроза продолжительному существованию компьютера возникает тогда, когда более новые, более эффективные модели делают его устаревшим.

Повышение эффективности человеческого интеллекта

Кит Девлин
Математик; исполнительный директор H-Star Institute, Стэнфордский университет; автор книги «Человек чисел: Арифметическая революция Фибоначчи» (The Man of Numbers: Fibonacci’s Arithmetic Revolution)

Я знаю думающие мыслящие машины. Это люди. Они — биологические машины (кстати, будьте осторожнее со словосочетанием «биологические машины» — удобное название для того, что мы не до конца понимаем, но о чем думаем, что понимаем). И наоборот, я еще не встречал электронно-цифровой, электромеханической машины, которая вела бы себя так, чтобы заслужить определение «думающей»; я не вижу оснований предполагать, что таковое вообще возможно. Устройства типа ЭАЛ[23], которые когда-нибудь станут управлять нами, я полагаю, так и останутся в области научной фантастики. Если нечто ходит как утка и крякает как утка, это еще не делает его уткой. И если машина демонстрирует некоторые черты мышления (например, способность принимать решения), это еще не делает ее мыслящей.

Мы, люди, легко впадаем в такие заблуждения: «Если оно ходит как утка и крякает как утка, то это утка», — и не потому, что мы глупы, а скорее потому, что мы люди. Именно те черты, которые дают нам возможность большую часть времени действовать в своих интересах, когда мы сталкиваемся с потенциальной информационной перегрузкой в сложных ситуациях, делают нас очень уязвимыми для такого рода соблазнов.

Много лет назад я посетил лабораторию гуманоидной робототехники в Японии. Она выглядела как типичный инженерный отдел Skunk Works[24]. В одном углу стояла металлическая скелетообразная конструкция, увешанная проводами и напоминающая очертаниями верхнюю часть туловища человека.

Круто выглядевшие руки и ладони были, как я полагаю, предметом основной части технических изысканий, но они не работали во время моего посещения, и я их действительно заметил много позже. Все мое внимание с момента, когда я вошел в лабораторию, оказалось приковано к голове робота. На самом деле это вообще была не голова — просто металлический каркас с камерой вместо носа. Над камерой располагались два белых шарика размером с мяч для пинг-понга (возможно, это и были мячи) с нарисованными зрачками. Над глазами помещались две большие скрепки — брови.

Робот был запрограммирован обнаруживать движение людей и источники звука (когда кто-то говорил). Он шевелил головой и глазными яблоками, следуя взглядом за объектом, и поднимал и опускал брови-скрепки, когда человек говорил.

Поразительно, насколько живым и разумным казался этот механизм! Конечно, и я, и все присутствующие точно знали, что именно здесь происходит и насколько прост механизм, управляющий роботизированным «взглядом» и бровями-скрепками. Это был просто трюк, но трюк, основанный на глубоком понимании сотен тысяч лет человеческого социального и когнитивного развития, так что наша естественная реакция на действия робота оказалась такой же, как у любого другого человека.

Дело было даже не в том, что я не знал, в чем тут хитрость. Мой друг и тогдашний коллега по Стэнфорду, ныне покойный Клиффорд Насс, провел сотни часов, исследуя то, как мы, люди, генетически запрограммированы приписывать чему-либо разумную субъектность, основываясь на нескольких простых признаках, связанных с взаимодействием. Реакции эти настолько глубокие и укоренившиеся, что мы не можем от них избавиться. Вероятно, там был некий сложный искусственный интеллект, контролировавший руки робота, но глазами и бровями управляла очень простая программа. Тем не менее описанного поведения оказалось достаточно, чтобы у меня возникало ясное ощущение, что робот — любознательный, разумный слушатель, который в состоянии следить за тем, что я говорю. В действительности же он всего лишь использовал мою человеческую природу и мою разумность. Сам он не думал.

Использование человеческой разумности — это хорошо и даже замечательно, если робот должен убраться у вас дома, забронировать вам билет на самолет или сесть за руль вашей машины. Но вы согласились бы, чтобы такая машина приняла на себя обязанности присяжного, стала принимать важные решения о работе больницы или взялась контролировать вашу свободу? Я бы точно на такое не согласился.

Так что, когда меня спрашивают, что я думаю о мыслящих машинах, я отвечаю: по большей части они мне нравятся, потому что они — люди (и, возможно, некоторые животные). А вот что меня беспокоит, так это то, что мы передаем все больше аспектов нашей жизни машинам, которые решают, и часто куда эффективнее и обстоятельнее, чем люди, но определенно не думают. Вот где опасность: машины, которые могут принимать решения, но не думают.

Принятие решений и мышление — не одно и то же, нам не следует путать эти два понятия. Когда мы развертываем системы принятия решений по вопросам национальной безопасности, здравоохранения и финансов — а мы это делаем, — чрезвычайно высока оказывается опасность такой путаницы. Чтобы защититься от нее, нужно сознавать, что мы генетически запрограммированы действовать в режиме доверия и приписывания разумной субъектности при определенных видах взаимодействий как с людьми, так и с машинами. Но иногда механизм, который ходит вразвалку и крякает, — это просто механизм, а никакая не утка.

Машина — материальная вещь

Эманьюэл Дерман
Преподаватель финансового инжиниринга в Колумбийском университете; старший советник в KKR Prisma; автор книг «Модели. Работают. Неправильно» (Models. Behaving. Badly) и «Карьера финансового аналитика: от физики к финансам» (My Life as a Quant: Reflections on Physics and Finance)[25]

Машина — это небольшая часть физического мира, которая после выполненных человеком или животным размышлений была упорядочена так, чтобы при установлении некоторых начальных условий законы природы обеспечивали развитие этой небольшой части материального мира определенным образом, полезным для людей или животных.

Машина — материальная вещь, качества которой задаются с позиции разума. Есть разумная точка зрения, и есть материальная точка зрения.

Стюарт Хэмпшир в своей работе «Спиноза: Введение в его философскую мысль» (Spinoza: An Introduction to His Philosophical Thought) утверждал, что, согласно Спинозе, вы должны выбрать: обратиться к разуму для объяснения разумного или к материи для объяснения материального, но вы не можете обращаться к разуму, чтобы объяснять материальное, и наоборот. Чтобы иллюстрировать это положение, давайте предположим, что вы смутились и покраснели. Вы запросто можете сказать: «Я покраснел, потому что смутился». А вот строгий последователь Спинозы, если верить Хэмпширу, не станет утверждать, что причиной покраснения щек было смущение, потому что оно является характеристикой разума, в то время как румянец — характеристика материи. Нельзя допускать пересечения причинно-следственных цепочек, это небрежность мышления. Смущение и румянец комплементарны, но не каузальны.

Таким образом, человек не должен перескакивать с одной формы умопостроений на другую. Мы должны объяснять физическое физикой, а психологическое — психологией. Конечно, очень сложно отринуть представление о психических причинах физических состояний или о материальных причинах состояний ума.

Мне нравится такое представление о мире, и я описываю психическое поведение в психических терминах (любовные муки сделали меня угрюмым), а телесное — в телесных (лекарства испортили мой обмен веществ). Так что, поскольку мне известно, что поведение машины имеет материальное обоснование, я утверждаю, что она не может думать.

Я понимаю, что мне придется изменить свое мнение, если кто-то действительно покончит с комплементарным представлением о разуме и материи и убедительно продемонстрирует, что материя первична по отношению к разуму или что разум — причина материи. Пока, однако, это лишь вопрос веры.

Покуда такой день не настанет — а я не вижу никаких признаков его приближения, — я буду считать, что машины неспособны думать.

Я могу ошибаться

Фримен Дайсон
Физик, Институт перспективных исследований; автор книги «Мечты о Земле и о небе» (Dreams of Earth and Sky)[26]

Я не думаю, что мыслящие машины уже существуют или что их появление возможно в обозримом будущем. Если же я ошибаюсь, а такое случается часто, любые мои мысли по данному вопросу, не имеют значения.

А если я прав, то не имеет значения сам вопрос.

Почему нельзя вычислить бытие и счастье

Дэвид Гелернтер
Специалист по теории вычислительных систем, Йельский университет; научный руководитель Mirror Worlds Technologies; автор книги «Америка-Lite: Как имперская наука демонтировала нашу культуру (и ознаменовала начало Обамократии)» (America-Lite: How Imperial Academia Dismantled our Culture (and Ushered in the Obamacrats))

Считающаяся ныне старомодной идея о мыслящих машинах демонстрирует глубокое, но вполне естественное заблуждение о разуме и программном обеспечении. Компьютеры никогда не будут мыслить. Чтобы понять почему, давайте начнем с картошки фри — french fries (к Франции она не имеет никакого отношения). Я предполагаю, что рассматриваемые нами машины — это компьютеры, но вариант доказательства подходит для любой техники.

Ни «french fries», ни «french fried» не являются вычислимыми — ни один компьютер никогда не сможет выдать в качестве результата фразу «french fries» или состояние «french fried». «French fried» невычислимо, потому что это физическое состояние особого объекта, но компьютеры продуцируют только информацию или коды для информации, а не физические объекты и не их преобразования. Счастье также является физическим состоянием конкретного предмета, а именно человека. Счастье не может существовать, если только вы не возьмете человека и не поместите его в это состояние. Компьютеры не способны проделать такое.

Размышление и бытие или (что то же самое) размышление и чувство — крайние точки спектра, определяющего человеческий разум (говоря «чувство», я имею в виду ощущение, эмоцию или настроение, как принято в английском языке). Нам нужен весь спектр целиком, или у нас не будет ни разума, ни мысли в их прямом смысле. Компьютеры способны имитировать важные аспекты размышления (в узком его понимании), но бытие для них недостижимо. Следовательно, для них недостижимо самосознание.

Слово «бытие» — это полезное сокращение, в данном контексте значащее «быть частью физического объекта или системы и естественным образом реагировать на окружение». Нарезанная ломтиками картофелина может быть частью среды фритюрницы и реагировать на нее, становясь обжаренной. Лакмусовая бумажка может быть частью системы «кислота в пробирке» и реагировать, становясь синей. Разум похож на лакмусовую бумажку, но, вместо того чтобы менять цвет, он реагирует на среду, ощущая ее. Если что-то дает нам основания, чтобы быть счастливыми, система «разум-тело» (то есть человек) становится счастливой, а разум испытывает счастье. У счастья есть психические и физические последствия. Вы можете испытать прилив сил, ускоренное сердцебиение и дыхание.

Почему бытие нельзя вычислить? Почему нельзя вычислить счастье? Счастье невычислимо потому, что как состояние физического объекта оно находится вне пространства вычисления. Компьютеры и программное обеспечение не создают физическую материю и не управляют ею. Они могут быть причиной таких действий, выполняемых другими связанными с ними машинами, но сами это проделать неспособны. Роботы могут летать, а компьютеры — нет. (Кстати, ни одно устройство под управлением компьютера не может гарантированно сделать людей счастливыми, но это уже другая история.) Бытие невычислимо — важный факт, который до сих пор упускали из виду, что неудивительно. Компьютеры и разум живут в разных вселенных, как тыквы и Пуччини, их трудно сравнивать, независимо от того, что именно мы хотим продемонстрировать.

Реально ли обойтись без бытия и все-таки получить разумную машину? Нет. Размышление и бытие (или ощущение) определяют разум и его возможности. В верхней части спектра — в максимальной концентрации или фокусе — разум целиком отдается размышлению и отмахивается от отвлекающих эмоций. В нижней части спектра находятся наши сны, состояние, в котором мы почти не думаем — мы целиком заняты ощущением, поскольку галлюцинируем, а зачастую еще и эмоцией (сны всегда исключительно эмоциональны); так или иначе, мы заняты чувством или, иначе говоря, бытием.

Почему на изложение такого простого довода ушло настолько много времени? И почему сейчас так мало мыслителей, склонных его принять? Возможно, потому, что большинству философов и ученых хочется, чтобы разум оказался не чем иным, как мышлением, а чувство или бытие не имели никакого значения, причем хочется настолько сильно, что в конце концов они начинают думать, что так оно и есть. Философы — всего лишь люди.

Ни одна машина не думает над вечными вопросами

Лео Чалупа
Нейробиолог; вице-президент по исследовательской деятельности Университета Джорджа Вашингтона

Недавно продемонстрированные примеры выдающихся возможностей высокопроизводительных компьютеров замечательны, но неудивительны. При надлежащем программировании машины значительно превосходят людей в плане хранения и оценки больших объемов данных и принятия практически мгновенных решений. Это — мыслящие машины, потому что происходящие в них процессы аналогичны многим аспектам мышления человека.

Но в более широком понимании термин «мыслящая машина» употребляется неправильно. Ни одна машина не задается вечными вопросами: «Откуда я взялась? Зачем я здесь? Куда я иду?» Машины не думают о своем будущем, о своем неизбежном конце или о своем наследии. Чтобы размышлять над такими вопросами, требуется сознание и самосознание. У мыслящих машин их нет, и, учитывая наш нынешний уровень знаний, они вряд ли это получат в обозримом будущем.

Единственный реалистичный подход к созданию машины, сходной с человеческим мозгом, должен основываться на копировании нейронных цепей, лежащих в основе мышления. Более того, исследовательские программы, которые проводятся сейчас в Калифорнийском университете в Беркли, Массачусетском технологическом институте и еще в нескольких университетах, сосредоточены на достижении этой цели — построить компьютеры, работающие подобно коре головного мозга. Последние достижения в области исследования микроструктуры коры головного мозга стали серьезным стимулом, и вполне вероятно, что BRAIN[27] — новый проект Белого Дома — даст массу ценной информации. В ближайшие десятилетия мы узнаем о том, как взаимосвязаны миллиарды нейронов в каждом из шести слоев коры головного мозга, а также о типах функциональных цепей, формируемых такими связями.

Это необходимый первый шаг в разработке машин, способных к мышлению в том виде, который характерен для человеческого мозга. Но понимания микроструктуры коры недостаточно, чтобы построить умную машину. Что необходимо, так это понимание деятельности нейронов, лежащей в основе мыслительного процесса. Визуализирующие исследования обнаружили много новой информации об отделах головного мозга, вовлеченных в такие функции, как зрение, слух, осязание, страх, удовольствие и т. д.

Но у нас еще нет даже примерного понимания того, что происходит, когда мы размышляем. Причин тому множество, и среди них не последнюю роль играет наша неспособность изолировать мыслительный процесс от других физических состояний. Кроме того, различные мозговые цепи вполне могут быть связаны с различными модусами мышления. Когда мы думаем о предстоящей лекции, наш мозг задействуется не так, как когда мы вспоминаем о неоплаченных счетах.

В ближайшее время можно ожидать, что компьютеры будут превосходить людей во все большем количестве занятий. Но нам нужно намного лучше понимать работу человеческого мозга, чтобы создать по-человечески думающую машину. На данный момент нам не надо беспокоиться по поводу гражданских или любых других прав роботов, как не надо бояться, что они захватят власть. Если машина вдруг выйдет из под контроля, достаточно будет вытащить вилку из розетки.

Сингулярность — городская легенда?

Дэниел Деннет
Философ; профессор философии и содиректор Центра когнитивных исследований, Университет Тафтса; автор книги «Насос интуиции и другие инструменты мышления» (Intuition Pumps and Other Tools for Thinking)

Сингулярность — тот роковой момент, когда искусственный интеллект превзойдет своих создателей в разумности и захватит мир, — это мем, заслуживающий того, чтобы над ним поразмыслить. У него есть характерные признаки городской легенды: некоторое научное правдоподобие («Ну, в принципе, я полагаю, такое возможно!») и замечательная, вызывающая дрожь кульминационная фраза («Нами будут править роботы!»). «А ты знаешь, что если ты одновременно чихнешь, рыгнешь и пукнешь, то умрешь?» — «Да ладно, правда?» После десятилетий шумихи по поводу искусственного интеллекта можно было бы думать, что люди станут считать сингулярность шуткой, но, как оказалось, обеспокоенность общества этой идеей только растет. Добавьте несколько известных новообращенных — Илона Маска, Стивена Хокинга и Дэвида Чалмерса — к ряду других громких имен, и вы уже не можете не принимать ее всерьез. Когда случится это выдающееся событие — через десять, сто или тысячу лет? Может, благоразумнее будет уже сейчас начинать планировать, строить баррикады и повышать бдительность, высматривая предвестников катастрофы?

Я, напротив, думаю, что эти тревожные сигналы отвлекают нас от более насущной проблемы — от нависшего над нами бедствия, которое гораздо ближе и которому не нужна никакая помощь со стороны закона Мура или грядущих прорывов в теоретической науке. Мы в течение нескольких веков с огромным трудом постигали природу, сегодня накопленные знания позволяют нам впервые в истории контролировать многие аспекты наших судеб — и вот мы готовы отречься от этого контроля в пользу бездумных искусственных агентов и преждевременно поставить цивилизацию на автопилот. Соблазн поступить так коварен, потому что каждый следующий шаг сам по себе — предложение, от которого невозможно отказаться. Вы бы выглядели сегодня полным дураком, если б делали сложные арифметические вычисления с помощью карандаша и бумаги, тогда как карманный калькулятор намного быстрее и почти стопроцентно надежен (не забываем об ошибке округления). Зачем запоминать расписание поездов, когда его в любой момент можно посмотреть на смартфоне? Оставьте чтение карты вашему GPS-навигатору; да, он вовсе не умный, но он куда лучше вас справляется с задачей — не дает вам сбиться с маршрута.

Поднимемся выше по технологической лестнице: врачи все больше зависят от диагностических систем, которые объективно надежнее, чем любой специалист-человек. Вы бы хотели, чтобы ваш доктор отверг подготовленное машиной заключение, когда речь идет о выборе лечения для спасения вашей жизни? Это может оказаться лучшим — объективно наиболее успешным, непосредственно полезным — применением технологии, используемой в IBM Watson[28], и вопрос о том, можно ли считать этот компьютер разумным (или сознательным), к делу не относится. Если окажется, что Watson лучше, чем эксперты-люди, справляется с постановкой диагнозов на основе доступных данных, то нашей нравственной обязанностью будет пользоваться результатами его работы. Врач, который решает пренебречь рекомендациями такой машины, сам напрашивается на судебный иск о злоупотреблении служебным положением. По-моему, ни одна область человеческой деятельности не застрахована от использования таких протезов-оптимизаторов, и везде, где бы они ни появились, мы вынуждены делать выбор в пользу надежных результатов, а не человеческих отношений, как это было прежде. Рукотворные законы и даже рукотворная наука могут занять место рядом с кустарной керамикой и свитерами ручной вязки.

В самые первые дни существования искусственного интеллекта была предпринята попытка провести четкое различие между ИИ и когнитивным моделированием. Предполагалось, что первый станет отраслью инженерного дела и будет работать как угодно, не пытаясь подражать человеческим мыслительным процессам, кроме тех случаев, когда это окажется эффективным. Когнитивное моделирование, напротив, представляло собой дополнение к психологии и нейробиологии. Модель когнитивного моделирования, которая убедительно продемонстрировала бы характерные человеческие ошибки или затруднения, стала бы триумфом, а не провалом. Такое различие в стремлениях продолжает существовать, но почти стерлось из общественного сознания. Для дилетантов искусственный интеллект — это штука, способная пройти тест Тьюринга. Недавние достижения в области ИИ стали в основном результатом того, что мы отказались от моделирования человеческих мыслительных процессов (которые, как мы думали, мы понимаем) и перешли к использованию удивительных возможностей суперкомпьютеров для майнинга данных, чтобы извлечь оттуда важные связи и паттерны. При этом мы уже не пытаемся сделать так, чтобы компьютеры понимали, что делают. По иронии судьбы, такие впечатляющие результаты побуждают многих когнитивистов пересмотреть свою позицию; оказывается, что надо еще многое узнать о том, как мозг осуществляет свою блестящую работу по «продуцированию будущего», и в этом нам помогут методы машинного обучения и майнинга данных.

Но общественность будет упорно предполагать, что любой черный ящик, который способен проделывать такие штуки (безотносительно последних успехов в области разработки искусственного интеллекта), — это разумный агент, во многом похожий на человека, тогда как на самом деле то, что находится в ящике, — это причудливо нарезанная двумерная ткань, сила которой как раз в том и заключается, что у нее нет надстройки в виде человеческого разума со всеми его особенностями: склонностью отвлекаться, волноваться, испытывать эмоции, переживать воспоминания и строить личные привязанности. Это вообще не гуманоидный робот, а бездумный раб, последняя модель автопилота.

В чем проблема с тем, чтобы передать нудную мыслительную работу таким высокотехнологичным штуковинам? Да ни в чем, при условии, что (1) мы не будем сами себя вводить в заблуждение, и (2) нам как-то удастся не допустить атрофии собственных познавательных навыков.

1. Очень-очень трудно принять свойственные нашим помощникам ограничения и не забывать о них, равно как и не забывать о склонности человека всегда приписывать компьютерам разумность, как мы знаем еще со времен печально известной программы «Элиза», написанной Йозефом Вайценбаумом в 1960-х годах. Это очень опасно, ведь мы всегда будем испытывать желание требовать от них большего, чем то, для чего мы их создали, а также доверять полученным ими результатам, когда этого лучше не делать.

2. Используй или потеряешь. Поскольку мы все сильнее зависим от когнитивных протезов, то рискуем стать беспомощными, если они когда-нибудь перестанут работать. интернет — не разумный агент (ну, в каком-то смысле, может, и разумный), но мы тем не менее стали настолько от него зависеть, что, если бы он вдруг сломался, началась бы такая паника, что общество оказалось бы уничтожено за несколько дней. Кстати, к предупреждению этого события нам надо сейчас приложить все усилия, потому что оно может произойти в любой момент.


Реальная опасность — это не те машины, которые станут умнее нас и узурпируют роль хозяев наших судеб. Реальная опасность — это машины, по сути безмозглые, но наделенные нами полномочиями, значительно превосходящими уровень их компетентности.

Наноинтенциональность

Уильям Текумсе Фитч
Преподаватель когнитивной биологии в Венском университете; автор книги «Эволюция языка» (The Evolution of Language)[29]

Несмотря на огромный прирост вычислительной мощности, нынешние компьютеры думают не так, как это делаем мы (или шимпанзе, или собаки). У основанных на кремнии компьютеров отсутствует важнейшая способность органического разума — способность изменять свою материальную форму и, следовательно, свои будущие вычисления в ответ на события, происходящие в мире. Без этой способности (которую в других работах я назвал наноинтенциональностью), с одной только обработкой данных, нельзя получить мысль, потому что у вычисляемых символов и значений отсутствует какая-либо внутренняя причинно-следственная связь с реальным миром. Любая информация, полученная в результате работы кремниевого процессора, нуждается в интерпретации людьми, чтобы обрести значение, и так все останется и в обозримом будущем. У нас мало причин для того, чтобы бояться разумных машин, куда больше их для того, чтобы бояться все более неразумных людей, которые их используют.

В чем именно выражается особенность биологического, а не кремниевого компьютера? Не бойтесь, я не имею в виду какой-то мистический élan vital[30]. Это наблюдаемая, механистическая особенность живых клеток — особенность, которая развилась посредством обычных эволюционных процессов. В моих построениях нет никакой мистики или «незримого духа». По сути, наноинтенциональность — это способность клеток отвечать на изменения в окружающей среде, перестраивая свои молекулы и, таким образом, изменяя форму. Это свойство есть у амебы, хватающей бактерию, у мышечной клетки, повышающей уровень миозина в ответ на пробежку, или (что наиболее актуально) у нейрона, вытягивающего свои дендриты в качестве реакции на локальную нейровычислительную среду. Наноинтенциональность — основная, непреодолимая, бесспорная особенность жизни на Земле, которой нет у печатных кремниевых микросхем, формирующих «сердце» современного компьютера. Поскольку такое физическое различие между мозгом и компьютером — простой и грубый факт, то остается открытым вопрос: насколько большое значение он имеет для более абстрактных философских проблем, касающихся понятий мысли и значения. И тут ситуация становится сложнее.

Философские обсуждения начинаются с утверждения Канта о том, что наш разум неизменно отделен от типичных объектов наших размышлений — физических сущностей в реальном мире. Мы получаем сведения о них (через фотоны, воздушные колебания или испускаемые молекулы), но наш разум/мозг никогда не вступает с ними в прямой контакт. Таким образом, вопрос о том, как можно утверждать, что сущности нашего разума (мысли, убеждения, желания) якобы направлены на вещи в реальном мире, оказывается неожиданно сложен. Действительно, направленность — это центральная проблема в философии сознания, основа многолетней полемики между такими философами, как Деннет, Фодор и Сёрл. Философы несильно помогли внести ясность, назвав эту мнимую умственную направленность интенциональностью (не путать с обычным значением слова в английском языке: «делать что-то нарочно, умышленно»). Вопросы интенциональности тесно связаны с глубинными проблемами феноменологии сознания, часто выражаемыми терминами «квалиа» и «трудная проблема сознания»[31], но они обращены к более простому и фундаментальному вопросу: как может ментальная сущность (мысль — паттерн нервного возбуждения) быть в любом смысле этого слова связана со своим объектом (вещью, которую вы видите, или человеком, о котором вы думаете)?

Вот ответ скептика, солипсиста: такой связи нет, интенциональность — иллюзия. Это заключение ложно по крайней мере в одной важнейшей области (замечание сделано Шопенгауэром 200 лет назад): единственным местом, где ментальные явления (желания и намерения, что инстанцируется в нервном импульсе) вступают в контакт с реальным миром, являются наши собственные тела (например, нейромышечное соединение). Пластичность живой материи в целом и нейронов в частности означает, что петля обратной связи непосредственно соединяет наши мысли с нашими действиям, просачиваясь обратно через восприятие, где влияет на структуру самих нейронов. Петля каждый день замыкается в нашей голове (в самом деле, если вы завтра вспомните хоть что-нибудь об этом эссе, то лишь потому, что некоторые нейроны в вашем мозгу изменили свою форму, ослабив или усилив синапсы, расширив или сократив число связей). Такой контур обратной связи в принципе не может замкнуться в жестком кремниевом чипе. Это биологическое качество обеспечивает умственную деятельность у человека (а также у шимпанзе и собаки) с присущей ей внутренней интенциональностью, которой нет у современных кремниевых вычислительных систем.

Если утверждение верно (а мои логика и интуиция его поддерживают), машины «думают», «знают» или «понимают» что-либо только в той мере, в какой это делают их создатели и программисты, когда значение добавляется интенциональным, истолковывающим агентом, обладающим мозгом. Любой «интеллект» у компьютера — это исключительно интеллект работающих с ним людей.

Поэтому я не боюсь, что роботы восстанут или начнут бороться за свои права (если только их защитой не решат заняться заблуждающиеся люди). Означает ли это, что можно не беспокоиться до тех пор, пока кто-то не изобретет компьютер с наноинтенциональностью? К сожалению, нет: существует другая опасность, которая исходит от нашей чрезмерной склонности ошибочно приписывать намерение и понимание неодушевленным предметам («Моей машине не нравится низкооктановое топливо»). Думая так о вычислительных артефактах — компьютерах, смартфонах, системах управления, — мы постепенно передаем им (и тем, кто их контролирует) свою обязанность — информированное, компетентное понимание. Ситуация становится опасной, когда мы охотно и с ленцой уступаем ее бесчисленным кремниевым системам (автомобильным навигаторам, смартфонам, системам электронного голосования), которые не только не задумываются о том, что именно они вычисляют, но даже и не знают об этом. Глобальный финансовый кризис дал нам почувствовать, что может произойти в мире, связанном компьютерами, когда реальная ответственность и реальные компетенции окажутся неблагоразумно свалены на машины.

Я боюсь не успешного восстания искусственных интеллектов, а скорее катастрофического сбоя, вызванного множеством мелких ошибок в кремниевой системе, которую наделили слишком большими полномочиями. Нам все еще далеко до сингулярности, когда компьютеры станут умнее нас, но это не значит, что нам не следует беспокоиться о глобальном сетевом коллапсе. Чтобы сделать первый шаг к предотвращению таких катастроф, нужно перестать перекладывать на компьютеры собственную ответственность и понять и принять простую истину: машины не думают. А то, что мы принимаем за их мышление, становится с каждым днем все опаснее.

Игры (и пророчества) разума

Ирэн Пепперберг
Научный сотрудник и преподаватель, кафедра психологии, Гарвардский университет; автор книги «Алекс и я» (Alex & Me)

Машины великолепно справляются с вычислениями, но при этом не очень хорошо — с мышлением как таковым. У машин бесконечный запас упорства и настойчивости, и, как кое-кто говорит, они могут легко разгрызть сложную математическую проблему или помочь вам проехать через пробки в незнакомом городе, но все это — благодаря алгоритмам и программам, созданным людьми. Чего же машинам не хватает?

Машинам не хватает ви́дения (по крайней мере пока, и я не думаю, что наступление сингулярности это изменит). Я имею в виду отнюдь не зрение. Компьютеры не сами придумывают новое приложение, которому суждено стать популярным. Компьютеры не принимают решение исследовать далекие галактики — они прекрасно справятся с задачей, когда мы их туда отправим, но это уже другая история. Компьютеры, конечно, лучше среднестатистического человека работают в области высшей математики и квантовой механики, но у них нет видения, чтобы в принципе обнаружить необходимость в таких действиях. Машины могут выигрывать у людей в шахматы, но они еще не изобрели интеллектуальную игру, что займет человечество на столетия. Машины видят статистические закономерности, которые пропустит мой слабый мозг, но они не в состоянии выдвинуть новую идею, что соединит разрозненные наборы данных и создаст новую область науки.

Я не так уж сильно беспокоюсь по поводу машин, способных вычислять. Я как-нибудь переживу постоянные вылеты браузера, но пусть у меня будет умный холодильник, способный отслеживать RFID-коды лежащих в нем и вынимаемых из него продуктов и посылать мне СМС с напоминанием купить сливки по пути домой (пользуясь случаем, обращаюсь к тем, кто работает над такой системой: поторопитесь!). Мне нравится, когда компьютер подчеркивает незнакомые ему слова, и пусть среди них иногда оказывается какая-нибудь «филогенетика», я могу находить опечатки в общеупотребительных словах (и прямо сейчас он тоже не позволяет мне писать с ошибками). Но эти примеры показывают: само по себе то, что машина демонстрирует нечто похожее на мышление, еще не означает, что она на самом деле мыслит — или, по крайней мере, что она мыслит подобно человеку.

Мне вспоминается одно из самых первых исследований в области обучения обезьян использованию языка — где они должны были манипулировать пластиковыми фишками, чтобы отвечать на разные вопросы. Впоследствии эксперимент повторили со студентами, которые — что неудивительно — исключительно преуспели в освоении системы, но когда их спросили, чем они занимались, те сказали, что решали какие-то интересные головоломки и понятия не имели, что их обучали языку. Последовало широкое обсуждение, и мы многое открыли и многому научились в ходе новых исследований. Несколько особей, не являющихся людьми, смогли понять референтное значение различных символов, пользоваться которыми их учили, и мы многое узнали об интеллекте обезьяны в рамках оригинальной методологии. Смысл этой истории таков: то, что первоначально казалось сложной лингвистической системой, потребовало намного большей подготовки, чем предполагалось изначально, чтобы стать чем-то большим, нежели серия относительно простых парных ассоциаций.

Так что меня беспокоят не мыслящие машины, а самодовольное общество, готовое отказаться от своих мечтателей в обмен на возможность не делать трудную работу. Люди должны воспользоваться собственными познавательными мощностями, которые освободились, когда машины взяли на себя грязную работу, быть благодарными за такую свободу и использовать ее, направляя свои способности на решение сложных насущных проблем, для которых требуется проницательность и пророческое видение.

Колосс — это БДВ[32]

Николас Хамфри
Почетный профессор психологии Лондонской школы экономики; преподаватель философии, Новый колледж гуманитарных наук; старший член Колледжа Дарвина, Кембриджский университет; автор книги «Сознание: Пыльца души» (Soul Dust: The Magic of Consciousness)[33]

Если я дам вам один цент, вы скажете, о чем задумались? Не обязательно отвечать, смысл сказанного мною заключается в том, что вы как сознательный субъект это можете. Значит, у вас есть доступ к интроспекции. Вы знаете — и можете сказать, — что происходит на сцене в театре вашего разума. А как насчет машин? Если дать мыслящей машине один биткоин, она скажет, о чем задумалась? Никому еще не удалось создать машину, способную на такое. Витгенштейн заметил, что, если бы лев умел говорить, мы бы его не поняли. Если бы компьютер умел говорить, ему нечего было бы сказать. Что я могу сказать о мыслящих машинах? Все просто. Я не думаю, что на данный момент такие машины существуют.

Конечно, ситуация может скоро измениться. В далеком прошлом в ходе естественного отбора обнаружилось, что, с какими бы конкретными проблемами ни столкнулся человек, наличие мозга, способного к интроспекции[34], имеет практические преимущества. Так что люди, которые программируют машины, вполне могут прийти к мысли, что раз это работает с нами, то сработает и с компьютерами — если те столкнутся с проблемами, для решения которых нужна интроспекция. Но что это за проблемы и почему я говорю про какой-то театр сознания?

Театр открывает вам секрет: он позволяет вам видеть, как работает ваш собственный разум. Наблюдая, например, как убеждения и страсти порождают желания, которые приводят к действиям, вы начинаете догадываться, почему вы думаете и действуете так, а не иначе. Благодаря этому вы можете объяснить себя себе, а также другим людям. Но не менее важно и то, что у вас есть модель для понимания других людей. Интроспективное мышление заложило основы для того, что психологи называют моделью психического.

Для человека как вида, у которого социальный интеллект — ключ к биологическому выживанию, преимущества такого мышления огромны. Для машин же успех в социальной жизни еще не стал проблемой, поэтому у них не было причин идти тем же путем, что и мы. Однако, несомненно, наступит то время, когда у машин возникнет необходимость понимать психологию других машин, чтобы иметь возможность работать бок о бок с ними. К тому же если им нужно будет эффективно сотрудничать с людьми, то придется также понимать и человеческую психологию. Я предполагаю, что именно тогда разработчики — или, возможно, сами машины — последуют примеру природы и создадут цифровую версию интроспекции.

Есть ли опасность того, что, едва перейдя эту черту, проницательные машины начнут понимать людей уже слишком хорошо? Психопатам иногда приписывается не слабое, а напротив, очень хорошее понимание человеческой психологии. Стоит ли нам бояться чего-то подобного в случае с машинами?

Я так не думаю. Эта ситуация не нова. Тысячелетиями люди отбирали и программировали особый вид биологических машин, которые действовали и действуют в качестве наших слуг, спутников и помощников. Я говорю о домашних собаках. Замечательным результатом стало то, что современные собаки, по сути, приобрели особую, хорошо выраженную способность читать чужие мысли — как других собак, так и людей — самую сильную среди остальных животных, не считая самих людей. Очевидно, что наши отношения с собаками развивались как взаимовыгодное партнерство, а не как соревнование, даже притом что руководящая роль оставалась за нами. Если настанет такой момент, когда машины научатся настолько же хорошо читать мысли человека, как это делают сейчас собаки, нам, конечно, придется следить, чтобы они не вели себя чересчур по-хозяйски, чтобы не манипулировали нами и другими машинами и чтобы не безобразничали — точно так же, как мы следим за нашими четвероногими друзьями. Но я не вижу причин сомневаться в том, что мы потеряем контроль.

Есть картина Гойи, изображающая ужасного Колосса, который идет по земле на фоне бегущих в ужасе людей. «Колоссом» (Colossus) была названа и одна из первых вычислительных машин Алана Тьюринга. Имеет ли смысл воображать себе угрозу существованию человечества, исходящую от потомков этого компьютера? Нет, я предпочитаю смотреть на вещи оптимистически. Если повезет, вернее, если мы все сделаем правильно, Колосс останется большим и добрым великаном.

Искусственный интеллект с самосознанием? Не в этом тысячелетии!

Рольф Добелли
Основатель «Цюрихских умов»; журналист; автор книги «Искусство мыслить ясно» (Die Kunst des Klaren Denkens)[35]

Широко распространенная обеспокоенность по поводу того, что искусственный интеллект может поставить под угрозу существование человечества и захватить мир, иррациональна. И вот почему.

Чисто теоретически системы автономного или искусственного интеллекта могут развиваться по двум направлениям: либо как расширение человеческого разума, либо как совершенно новая форма мышления. Назовем первое «гуманитарным» ИИ, а второе — «иным» ИИ.

Почти все формы ИИ сегодня — «гуманитарные». Мы используем их, чтобы решать задачи, слишком сложные, трудоемкие или скучные для наших ограниченных мозгов: это управление электросетями, рекомендательные сервисы, беспилотные автомобили, системы распознавания лиц, трейдинговые алгоритмы и т. п. Такого рода искусственные агенты работают в узких областях с ясными задачами, установленными разработчиками. «Гуманитарный» искусственный интеллект нацелен на достижение человеческих целей — он способен достичь их зачастую лучше, чем это сделали бы люди, с меньшим количеством ошибок, не отвлекаясь, не срываясь и не уставая. Через несколько десятилетий ИИ-агенты, возможно, будут выступать в качестве виртуальных продавцов страховых полисов, врачей, психотерапевтов и даже виртуальных супругов и детей.

Но такие ИИ-агенты останутся нашими рабами, не имеющими никакого представления о самих себе. Они будут с удовольствием выполнять функции, на которые мы их настроим. На нашей совести останутся возможные сбои из-за программных ошибок или излишней уверенности пользователей в этих агентах (о чем говорит Дэн Деннетт). Да, «гуманитарный» искусственный интеллект не раз удивит нас новыми решениями конкретных задач оптимизации. Но в большинстве случаев новые решения — это последнее, чего мы хотим от машины (креативный подход к наведению ракеты с ядерным зарядом — как вам такое?). В связи с этим «гуманитарные» ИИ будут всегда соответствовать своей узкой области. Они всегда останутся понятными, ведь мы знаем, как они устроены и для каких задач созданы. Иногда из-за все время вносимых изменений программный код будет становиться слишком большим и нечитаемым для одного человека. В таких случаях придется переписывать его с нуля. «Гуманитарный» искусственный интеллект приблизит нас к давней мечте, где роботы делают большую часть работы, в то время как освободившиеся люди занимаются творчеством — или умирают от скуки.

«Иной» искусственный интеллект совершенно не похож на «гуманитарный». «Иной» ИИ, очевидно, представляет опасность для человечества: он может захватить планету, перехитрить нас, превзойти, поработить — а мы даже и не заметим нападения. Каким именно будет «иной» интеллект? По определению, мы не можем этого знать. Он освоит функции, которые мы неспособны понять даже приблизительно. Будет ли ему присуще сознание? Скорее всего, оно ему не понадобится. Будет ли он испытывать эмоции? Будет ли он писать романы-бестселлеры? Если да, то кто их станет покупать: мы или он сам и его порождения? Будут ли когнитивные ошибки искажать его мышление? Будет ли он общительным? Разработает ли него собственную модель психического? Если да, то будет ли он шутить, сплетничать, волноваться о своей репутации, стремиться к сплоченности на фоне внешних угроз? Создаст ли свою собственную версию искусственного интеллекта (искусственный ИИ)? Мы не знаем.

Все, что нам известно, так это то, что люди неспособны создать по-настоящему «иное» мышление. Что бы мы ни придумали, оно будет отражать наши цели и ценности, а потому это «что-то» не сильно отклонится от человеческого мышления. Нам понадобилось бы пережить настоящую эволюцию, а не просто разработать эволюционные алгоритмы, чтобы на свет появился «иной» искусственный интеллект. Для этого нам пришлось бы пройти совершенно другой путь развития, радикально отличающийся от того, который привел к появлению человеческого интеллекта и «гуманитарного» ИИ.

Как же нам сделать так, чтобы заработала настоящая эволюция? Для этого нужны репликаторы, изменчивость и отбор. Как только все три компонента начнут работать, неизбежно возникнет эволюция. Насколько вероятно, что в результате ее разовьется «иной» интеллект? Вот вам кое-какие мои вычисления «на коленке».

Для начала прикинем, во что обошлось развитие невероятно сложных эукариотических клеток до мыслящих существ человеческого уровня. Этот процесс потребовал использования значительной части биомассы Земли (примерно 500 миллиардов тонн связанного эукариотами углерода) в течение приблизительно 2 миллиардов лет. Огромный объем эволюционной работы! Правда, мышление, сравнимое с человеческим, может появиться и за половину этого времени, даже за 10 процентов, если очень повезет, но вряд ли быстрее. Чтобы эволюция породила сложное поведение, нужно не только много времени, но и чашка Петри размером с поверхность Земли.

Предположим, что «иной» интеллект будет основан на кремнии, как весь современный ИИ. Эукариотическая клетка значительно сложнее, чем, скажем, чип самого современного центрального процессора Intel Core i7, как в плане аппаратного, так и в плане программного обеспечения. Далее, предположим, что нам удалось уменьшить такой чип до размеров эукариота. Оставим без внимания квантовые эффекты, которые помешают при этом надежной работе транзисторов. Не будем также касаться вопроса об источнике энергии. Нам пришлось бы покрыть земной шар 1030 микроскопических процессоров и позволить им общаться и бороться за выживание в течение 2 миллиардов лет, чтобы появилось настоящее мышление.

Да, скорость обработки данных у процессоров выше, чем у биологических клеток, потому что электроны перемещать легче, чем атомы. Но у эукариотов атомы работают массово-параллельно, тогда как электроны у четырехъядерного Intel Core i7 — только по четырем параллельным линиям. В конечном счете — по крайней мере, для того чтобы доминировать в мире, — этим электронам придется перемещать атомы, чтобы хранить свои программы и данные во все большем числе физических мест. А значит, их развитие существенно замедлится. Трудно сказать, будет ли кремниевая эволюция в целом быстрее, чем биологическая. Мы недостаточно знаем об этом. Я думаю, по скорости она может превосходить биологическую максимум на два-три порядка (если вообще будет превосходить), что приведет к появлению обладающего самосознанием «иного» интеллекта примерно через миллион лет.

Давайте представим другой сценарий: что, если «гуманитарный» ИИ станет настолько умным, что сможет самостоятельно создать «иной» ИИ? Тут вступает в силу второе правило Лесли Орджела: «Эволюция умнее, чем ты». Она умнее человеческого мышления. Она даже умнее, чем «гуманитарный» ИИ. И она намного медленнее, чем вам кажется.

Таким образом, риски, связанные с искусственным интеллектом, не являются его характерной чертой, а происходят из нашей склонности чересчур на него полагаться. Искусственный интеллект не эволюционирует в самосознание при нашей жизни. Этого не произойдет и через тысячу лет.

Я, конечно, могу ошибаться. Все-таки, мои вычисления «на коленке» предполагают применение устаревшего человеческого мышления для осмысления «иного» ИИ, который для нас, по определению, непостижим. Но это все, что мы можем сделать на данном этапе.

Где-то в конце 1930-х годов Сэмюэл Беккет записал в дневнике: «Мы ощущаем с удивительным смирением, что разум — не сверхчеловеческий дар… что разум эволюционировал в то, что он теперь из себя представляет, но его развитие могло, однако, пойти иначе». Замените «разум» на «искусственный интеллект» — и получите мой вывод.

Машины не думают, но и люди — тоже

Сезар Идальго
Адъюнкт-профессор медиалаборатории Массачусетского технологического института; автор книги «Как информация управляет миром и определяет историю Вселенной и живущих в них видов» (Why Information Grows: The Evolution of Order, from Atoms to Economies)[36]

Машины, способные думать? Это такое же заблуждение, как и люди, способные думать! Мышление подразумевает обработку информации, порождение нового физического порядка из входящих потоков физического порядка. Мышление — ценная способность, к сожалению, являющаяся не привилегией отдельных единиц, таких как машины или люди, но свойством систем, в которых эти единицы существуют.

Конечно, я сейчас веду себя как провокатор, поскольку на личном уровне мы тоже обрабатываем информацию. Мы действительно думаем — иногда, или, по крайней мере, нам кажется, что мы это делаем. Но наша способность мыслить — не полностью наша, мы ее взяли взаймы, поскольку аппаратное и программное обеспечение, которые мы используем, чтобы делать это, созданы не нами. Ни вы, ни я не развили в себе гены, которые помогли организовать наш мозг и язык, используемые, чтобы формировать мысли. Наша способность думать находится в зависимости от событий, которые предшествовали нашему земному существованию, от прошлых глав биологической и культурной эволюции. Так что мы можем понять и нашу способность думать, и способность машин подражать человеческой мысли только с учетом того, как способность единицы обрабатывать информацию соотносится с ее контекстом.

Представим человека, родившегося в темноте и одиночестве пустого пространства. Повода думать о чем-либо у него нет. То же самое было бы справедливо для изолированной и лишенной входящей информации машины. В таком контексте мы можем назвать нашу заимствованную способность обрабатывать информацию малым мышлением, поскольку это зависящая от контекста способность, которая возникает на уровне индивида. Большое мышление, напротив, является способностью обрабатывать информацию, воплощенную в системах, где отдельные элементы — машины или люди — это просто пешки.

Отделение малого мышления людей от большого мышления систем (куда входит процесс, который порождает аппаратное и программное обеспечение, позволяющее единицам заниматься малым мышлением) помогает нам понять роль «умных» машин в этом широком контексте. Наша способность мыслить не только заимствована, она также зиждется на употреблении опосредованных взаимодействий и на злоупотреблении ими. Чтобы человеческие/машинные системы могли мыслить, людям надо поедать ментальную отрыжку друг друга и снова ее изрыгать; иногда она принимает форму слов. Но, поскольку слова улетают с ветром, невероятная способность нашего вида мыслить зависит от более сложных приемов передачи и сохранения информации, которую мы производим: от нашей способности зашифровывать ее в материи.

В течение 100 000 лет наш вид занимался преобразованием планеты в гигантский магнитофон. Земля — это среда, на которой мы отпечатываем наши мысли: иногда в символической форме, такой как текст и рисунок, но также, что более важно, в виде предметов — фенов, пылесосов, зданий и автомобилей, — построенных из минералов, которые мы взяли из чрева Земли. У нашего общества есть замечательная коллективная способность обрабатывать информацию, потому что наша коммуникация содержит нечто большее, чем слова: она включает создание предметов, которые передают не расплывчатые мысли, но конкретные знания, их применение и ноу-хау. Предметы дополняют нас. Они позволяют нам делать что-либо, не зная, как это делается. Мы все с удовольствием пользуемся зубной пастой, не имея представления, как синтезируется фторид натрия, или перемещаемся на большие расстояния, не умея самостоятельно построить самолет. Подобным образом все мы отправляем текстовые сообщения в любую точку мира за считанные секунды посредством социальных сетей или выполняем сложные математические операции посредством нажатия нескольких клавиш на ноутбуке.

Однако наша способность создавать безделушки, дополняющие нас, конечно, тоже развилась в результате коллективной готовности поедать ментальную отрыжку друг друга. Эта тенденция и приводит нас сейчас к той точке, где у нас появляется среда, которая начинает конкурировать с нашей способностью обрабатывать информацию, или малым мышлением.

На протяжении большей части нашей истории все эти безделушки оставались статичными объектами. Даже наши инструменты были застывшими кусками порядка, например каменные топоры, ножи или вязальные спицы. Несколько веков назад мы развили способность делегировать физическую силу и движение машинам, что вызвало небывалый подъем экономики. Теперь мы развили коллективную способность обрабатывать информацию, создавая предметы, умеющие порождать и рекомбинировать физический порядок. Это машины, обрабатывающие информацию — орудия, производящие числа, вроде тех, о которых мечтал Чарльз Беббидж.

Так что мы развили у себя способность мыслить коллективно, сперва обретя власть над материей, затем — над энергией, а теперь — над физическим порядком или информацией. И все же нам не стоит обманываться, полагая, что мы способны думать или что это могут делать машины. Значительное развитие человеческой мысли требует опосредованных взаимодействий, и в будущем «умным» машинам предрешено остаться интерфейсами, посредством которых одни люди связываются с другими.

Пока мы тут говорим, «яйцеголовые» в лучших университетах мира исследуют мозг, конструируют роботизированные протезы и разрабатывают примитивные версии технологий, предзнаменующих будущее, в котором ваш правнук будет ловить кайф, напрямую подключая мозг к Сети. Эти детишки обзаведутся дополнениями, для нас невообразимыми и настолько причудливыми по нашим современными этическими стандартам, что мы даже не в силах судить о них (иначе мы бы выглядели как пуританин из XVI века, решивший судить о нравах современного Сан-Франциско). Однако в масштабах Вселенной эти новые сети из людей и машин будут не чем иным, как следующим этапом в естественном развитии способности нашего вида порождать информацию. Вместе мы (люди) и наши дополнения (машины) продолжим разворачивать сети, которые будут подчинены главной великой цели Вселенной: создавать зоны, где информации становится не меньше, а больше.

Мы запутаемся в вопросах

Джеймс О’Доннелл
Специалист по классической филологии; преподаватель Джорджтаунского университета; автор книг «Августин» (Augustine), «Развалины Римской Империи» (The Ruin of the Roman Empire), «Язычники» (Pagans)

«Думать» (или «мыслить») — это слова, которое мы используем исключительно неаккуратно и применяем к огромному числу разнообразных действий. «Думаю, надо сходить в магазин», «Думаю, идет дождь», «Мыслю, следовательно, существую», «Думаю, что „Янки“ выиграют Первенство», «Думаю, что я — Наполеон» и «Думаю, он сказал, что будет здесь, но я не уверен» — смысл глагола в приведенных примерах совершенно разный. Что из этого когда-нибудь сможет делать машина — я думаю, вопрос весьма важный.

Машина может запутаться? Испытывать когнитивный диссонанс? Мечтать? Быть рассеянной? Забыть имя того парня — вон он стоит — и в то же время знать, что на самом деле помнит и, если на минутку отвлечется на что-то, имя всплывет в памяти? Может ли она потерять счет времени? Решить завести щенка? Испытать неловкость? Захотеть покончить с собой? Заскучать? Забеспокоиться? Почувствовать потребность обратиться к богу? Я думаю, что нет.

Можно ли построить механизмы, задача которых будет заключаться в сборе информации и выработке решений, которые сейчас принимают люди? Несомненно, такие машины уже есть. Например, та, что управляет системой впрыска топлива в моем автомобиле, намного умнее меня. Думаю, я бы с этим не справился.

Можем ли мы создать машины, которые пойдут еще дальше и станут действовать без человеческого вмешательства таким образом, что их действия в результате обернутся хорошими или плохими последствиями для людей? Думаю, да. Думаю, они мне понравятся, кроме тех случаев, когда они будут делать раздражающие меня вещи, — и тогда они действительно станут походить на людей. Я полагаю, что они могут взбеситься и начать крушить все вокруг, но у меня есть на этот счет сомнения (впрочем, если такое произойдет, никому уже не будет дела до моих мыслей).

Но никто никогда не спросит машину о том, что она думает о машинах, которые думают. Этот вопрос имеет смысл только в том случае, когда нам есть дело до думающего, когда он для нас — автономное и интересное существо вроде нас самих. Если кто-нибудь когда-нибудь задаст машине такой вопрос, то это уже будет не машина. Я думаю, что мне пока не стоит беспокоиться. У вас может возникнуть мысль, что я отрицаю очевидное.

Когда мы окончательно запутаемся, надо будет спросить себя: о чем мы на самом деле думаем?

Не надо путать производительность и компетенции

Родни Брукс
Почетный профессор робототехники Массачусетского технологического института; основатель, член правления и технический директор Rethink Robotics; автор книги «Плоть и машины» (Flesh and Machines)

И мышление и интеллект — это то, что Марвин Минский назвал «словами-чемоданами», то есть словами, в которые мы упаковываем много значений, чтобы можно было говорить о сложных вопросах, опуская подробности. Когда мы заглядываем внутрь этих слов, то находим массу разных аспектов, механизмов и уровней понимания. Вот почему ответить на вечные вопросы: «Может ли машина мыслить?» или «Когда машины достигнут интеллекта человеческого уровня?» — так сложно. Мы используем «слова-чемоданы», когда говорим об особых проявлениях производительности вычислений, демонстрируемых машинами, и о более общих человеческих компетенциях. Мы делаем широкие обобщения о компетенциях и сильно переоцениваем возможности машин — тех, которые есть сегодня, и тех, что появятся в течение следующих нескольких десятилетий.

В 1997 году суперкомпьютер обыграл чемпиона мира по шахматам Гарри Каспарова. Сегодня у десятков программ, работающих на ноутбуках, шахматный рейтинг выше, чем у любого когда-либо жившего человека. Компьютеры определенно могут демонстрировать более высокую производительность при игре в шахматы, чем мы. Но вот уровень их шахматной компетентности даже не стоял рядом с человеческим.

Все шахматные программы используют тьюринговский метод решения «в лоб» — поиском по дереву с эвристической оценкой. В 1970-х скорость компьютеров была такова, что этот подход перегружал программы ИИ, когда они пытались эмулировать то, как люди, по их собственным словам, обдумывают следующий ход, и в результате от алгоритма в основном отказались. У сегодняшних шахматных программ нет способа определить, почему один ход лучше, чем другой, кроме того, ведет ли он игру к той части дерева вариантов, где у противника останется меньше хороших ходов. Игрок-человек может делать обобщения, объясняя, чем хороши определенные виды ходов, другому игроку-человеку. Программы, основанные на прямых вычислениях, не способны учить людей шахматам, кроме как выступая в роли спарринг-партнера. Делать выводы и строить аналогии, учиться самостоятельно — задача человека. Шахматная программа не знает, что обыгрывает противника, не знает, что она — учебное пособие, не знает, что играет во что-то под названием «шахматы», да и само понятие «игра» ей неизвестно. Создание шахматной программы, опирающейся на «грубую силу» и побеждающей любого человека, совершенно не приближает нас к компетентности в области шахмат.

Теперь рассмотрим глубинное обучение, которое захватывает воображение людей уже где-то год или около того. Это новая версия обратного распространения, алгоритма обучения, известного примерно три десятилетия и основанного на абстрактных моделях нейронов. Слои нейронов преобразуются из единичного сигнала, такого как амплитуда звуковой волны или яркость пикселя в изображении, во все более высокоуровневые описания полного значения сигнала: в слово, которое слагают звуки, в предметы, запечатленные на изображении. Первоначально обратное распространение могло на практике работать только с двумя или тремя слоями нейронов, так что нужно было проделать некоторую предварительную обработку, прежде чем применять алгоритмы обучения, чтобы получить из сигналов более структурированные данные. Новые версии работают с большим числом слоев, сети становятся глубже — отсюда и название «глубинное обучение». Сейчас предварительные этапы обработки также включены в обучение, это позволяет исключить человеческий фактор, и новые алгоритмы работают намного лучше использовавшихся каких-то три года назад, потому-то они и привлекают к себе широкое внимание. Они опираются на мощные вычислительные ресурсы серверных парков и на очень большие массивы данных, которых раньше не существовало. Но, что важнее всего, они также опираются на последние научные разработки.

Известный пример того, как они работают, — это маркировка изображения как относящегося к классу «ребенок с мягкой игрушкой». Когда вы смотрите на изображение, то именно это и видите. Алгоритм очень хорошо справился с маркировкой, намного лучше, чем прогнозировали практикующие специалисты по искусственному интеллекту. Но у него нет полноты компетентности, которая есть у человека, имеющего дело с тем же самым изображением.

Алгоритм обучения знает, что на изображении есть ребенок, но не знает строения ребенка, равно как не знает и того, где именно на изображении он расположен. Нынешние алгоритмы глубокого обучения способны только обозначить вероятность для каждого пикселя: что именно этот пиксель является частью ребенка. В то время как человек видит, что ребенок занимает среднюю четверть изображения, у современного алгоритма есть только вероятностное представление о пространственной протяженности ребенка. Он не способен применить исключающее правило и заявить, что пиксели на границах изображения не могут с ненулевой вероятностью также не быть частью ребенка. Если взглянуть на слои нейронов изнутри, то мы увидим, что одно из свойств, изученных на данном уровне, — это участок изображения, похожий на глаз, а другое — участок, похожий на стопу. Однако нынешние алгоритмы не способны понять, какие пространственные отношения между глазами и ступнями в принципе допустимы на данном изображении, а потому их можно легко одурачить, подсунув им гротескный коллаж из частей ребенка, и они посчитают, что на изображении — ребенок. Ни один человек такого не сделает; он сразу ясно увидит, что ему подсунули какую-то ерунду. А еще современный алгоритм не сможет сообщить роботу, в какой точке пространства нужно захватить ребенка, чтобы поднять его, где надо держать бутылочку, чтобы накормить его, и с какой стороны подойти, чтобы поменять подгузник. Даже самому современному алгоритму очень далеко до компетентности человеческого уровня в области понимания изображений.

Полным ходом ведутся работы над тем, чтобы добавить в глубинное обучение направленность внимания и обработку согласованной пространственной структуры. Это тяжелый научно-исследовательский труд, и мы понятия не имеем о том, насколько сложным он будет, сколько уйдет времени, а также не заведет ли нас в тупик такой подход. Потребовалось около 30 лет, чтобы проделать путь от обратного распространения до глубинного обучения, и многие исследователи считали, что у обратного распространения нет будущего. Они ошибались, но я бы не удивился, если бы они оказались правы, поскольку мы все же узнали, что алгоритм обратного распространения — это не то, что происходит в голове у человека.

Страхи по поводу того, что системы искусственного интеллекта выйдут из под контроля и либо покорят людей, либо сделают их лишними на планете, не имеют ни малейшего основания. Введенные в заблуждение «словами-чемоданами», люди совершают ошибки категоризации — ошибки такого рода, как если бы распространение более эффективных двигателей внутреннего сгорания означало скорое появление варп-двигателей.

Искусственный интеллект сделает вас умнее

Терренс Сейновски
Специалист по вычислительной нейрофизиологии; профессор Института Солка; автор, совместно со Стивеном Кварцем, книги «Лжецы, любовники и герои: Что новая наука о мозге говорит нам о том, как мы становимся теми, кто мы есть» (Liars, Lovers, and Heroes: What the New Brain Science Reveals About How We Become Who We Are)

Глубинное обучение — актуальная сегодня тема в области машинного обучения. Первые алгоритмы такого рода появились в 1980-х годах, но компьютеры тогда были медленными и могли моделировать лишь несколько сотен нейронов с одним слоем скрытых элементов между вводом и выводом. Обучение на примерах — привлекательная альтернатива искусственному интеллекту, основанному на правилах, ведь его создание — очень трудоемкая задача. С бо́льшим количеством слоев скрытых элементов между вводом и выводом можно получить больше абстрактных свойств из данных для обучения. В структуре коры головного мозга миллиарды нейронов образуют десять слоев. Раньше много спорили о том, насколько будет улучшаться производительность нейронных сетей с ростом их размеров и глубины. В те годы не хватало не только более производительных компьютеров, но также и больших объемов данных для обучения сети.

Благодаря 30 годам исследований, повышению производительности компьютеров в миллион раз и большим данным из интернета мы теперь знаем ответ на этот вопрос: нейронные сети, увеличенные до двенадцати слоев в глубину и имеющие миллиарды связей, превзошли по эффективности лучшие алгоритмы машинного зрения и распознавания объектов, а также коренным образом изменили расшифровку речи. Алгоритмы редко так хорошо масштабируются, а это может означать, что скоро нейронные сети научатся решать и более сложные проблемы. Последние достижения науки и техники позволяют применить глубинное обучение к обработке естественного языка. Глубинные рекуррентные сети с кратковременной памятью научились переводить предложения с английского на французский и продемонстрировали высокие результаты. Другие сети глубинного обучения оказались способны создавать подписи к изображениям, проявив при этом неожиданную проницательность, а иногда даже остроумие.

Контролируемое обучение, использующее нейронные сети, — это шаг вперед, но им все-таки еще далеко до интеллекта. Функции, выполняемые ими, аналогичны некоторым возможностям коры головного мозга — она также увеличивалась в результате эволюции, но для решения сложных познавательных проблем она взаимодействует со множеством других отделов мозга.

В 1992 году Джеральд Тезоро из IBM, используя обучение с подкреплением, получил нейронную сеть, способную играть в нарды на уровне чемпиона мира. Она играла самостоятельно, и единственной обратной связью, которую она получала, был результат: информация о том, какая сторона выиграла. Мозг использует обучение с подкреплением, чтобы создавать цепочки решений для достижения целей (таких как отыскание пищи) в условиях неопределенности. DeepMind — компания, которую в 2014 году купила Google, — недавно использовала аналогичный подход, чтобы научить нейронные сети играть в семь классических игр Atari. Единственными вводными данными для системы обучения были пиксели экране и набранные очки — та же самая информация, которую используют люди. Программа научилась играть лучше, чем самые опытные игроки.

Какое воздействие эти достижения окажут на нас в ближайшем будущем? Мы не особенно хорошо справляемся с прогнозами последствий новых изобретений, и часто нужно время, чтобы найти для них нишу, но у нас уже есть один пример, позволяющий понять, к чему это может привести. Когда в 1997 году Deep Blue обыграл Гарри Каспарова, чемпиона мира по шахматам, другие шахматисты оставили попытки соревноваться с машинами? Вовсе нет: они стали использовать шахматные программы, чтобы научиться играть лучше, и, как следствие, общий уровень игры в мире повысился.

Люди — не самый быстрый и не самый сильный вид, но мы учимся лучше всех. Люди изобрели формальную школу, где дети много лет трудятся, совершенствуясь в чтении, письме и арифметике и получая более специализированные навыки. Лучше всего, когда взрослый учитель взаимодействует с учеником один на один, подстраиваясь под конкретного ребенка. Однако это трудоемкий процесс. Немногие могут позволить себе индивидуальное обучение, и конвейерная система образования, характерная для большинства сегодняшних школ, — довольно плохая замена. Компьютерные программы могут следить за успеваемостью ученика, а некоторые — даже обеспечивать корректирующую обратную связь в случае с наиболее распространенными ошибками. Однако мозги у всех разные, и компьютер не заменит учителя-человека, выстраивающего долгосрочные отношения с учеником. Можно ли создать искусственного наставника для каждого ребенка? У нас уже есть рекомендательные системы в интернете, которые говорят: «Если вам понравился X, то вам может понравиться и Y», — они построены на анализе данных множества пользователей со схожими паттернами предпочтений.

Когда-нибудь умственное развитие каждого ученика можно будет проследить с самого детства с помощью персонализированной системы глубинного обучения. Современный уровень технологии не может достичь такой степени понимания человеческого разума, но уже сейчас Facebook предпринимает попытки по созданию с помощью имеющейся огромной базы данных друзей, фотографий и лайков модели психического для каждого человека на планете.

Потому я сделаю такой вывод: чем больше будет когнитивных приспособлений, вроде шахматных программ и рекомендательных систем, тем умнее и способнее станут люди.

Поверхностное обучение

Сет Ллойд
Преподаватель квантовой инженерии в Массачусетском технологическом институте; автор книги «Программирование Вселенной» (Programming the Universe)

Бедные, несчастные сотрудники Агентства национальной безопасности! Они шпионят за всеми (сюрприз!), что всех бесит. Но, по крайней мере, АНБ следит за нами для того, чтобы защитить нас от террористов. Прямо сейчас, когда вы читаете эти строки, где-то далеко на экране какого-то компьютера появилось всплывающее окно. В нем надпись: «Вы только что купили две тонны азотного удобрения. Тем, кто покупает две тонны азотного удобрения, также понравились вот эти детонаторы…» Amazon, Facebook, Google и Microsoft тоже за всеми шпионят. Но, поскольку такая слежка идет пользу всем нам, включая террористов, все в порядке.

Электронные шпионы — это не люди. Это машины. Шпионы-люди вряд ли стали бы так радостно предлагать самый надежный детонатор. Каким-то образом, использование искусственных разумов для анализа нашей электронной почты кажется более гигиеничным. Если виртуальные шпионы копаются в наших личных данных только для того, чтобы продать нам побольше барахла, то мы можем смириться с утратой конфиденциальности. Однако огромные вычислительные мощности направлены на то, чтобы машины пытались узнать, что у нас на уме. Общая вычислительная мощность, используемая такими компаниями, которые собирают наши с вами данные, составляет около одного эксафлопса[37] — миллиард миллиардов операций в секунду. Это как если бы электронные шпионы использовали вычислительную мощность одного современного смартфона на каждого человека на Земле.

Эксафлопс — это также общая мощность 500 самых производительных суперкомпьютеров в мире. Большая часть вычислительных мощностей в мире отведена под полезные задачи, такие как прогнозирование погоды или моделирование человеческого мозга. Довольно много машинных циклов также уходит на прогнозирование фондового рынка, взлом кодов и проектирование ядерного оружия. И все же значительную часть времени машины просто собирают нашу личную информацию, обдумывают ее и предлагают что-то купить.

Но что именно они делают, когда думают о том, что думаем мы? Они проводят связи между большими объемами личных данных, которые мы им предоставили, и находят паттерны. Какие-то из этих паттернов сложные, но большинство — довольно просты. Серьезных усилий стоит распознавание человеческой речи и расшифровка рукописного текста. На текущий момент пунктик у всех, кто интересуется разумными машинами, — это глубинное обучение. Когда я впервые услышал о нем, то очень заинтересовался идеей о том, что машины наконец-то раскроют для нас суть экзистенциальных глубинных вещей: истины, красоты и любви. Мои заблуждения быстро развеялись. Слово «глубинное» в названии технологии относится к архитектуре процесса обучения машин. Он построен на использовании множества слоев взаимосвязанных логических элементов, аналогичных глубинным слоям взаимосвязанных нейронов в мозге. Оказывается, что отличить небрежно написанные «7» и «5» — задача не из легких. В 1980-х годах первые компьютеры, построенные на принципе нейронных сетей, с этой работой не справились. Тогда исследователи, работавшие в области нейровычислительной техники, говорили, что будь у них побольше компьютеры да побольше данных для обучения, состоящих из миллионов, а не из тысяч неаккуратно написанных цифр, — вот тогда бы искусственный интеллект справился с задачей. Теперь все это есть. Глубинное обучение информационно широко — оно анализирует огромные объемы данных, — но концептуально поверхностно. Компьютеры теперь способны рассказать нам то, что наши собственные нейронные сети и так знали. Но если суперкомпьютер может отправить надписанный от руки конверт по правильному почтовому индексу, я говорю: «Так тому и быть».

В 1950-е родоначальники искусственного интеллекта уверенно предсказали, что скоро в наших комнатах будут убираться роботизированные горничные. Как оказалось, легче запрограммировать компьютер на то, чтобы он обыграл чемпиона мира по шахматам, чем построить робота, который смог бы произвольно пропылесосить комнату и жалобно запищать, если вдруг застрянет под диваном. Теперь нам говорят, что суперкомпьютер с производительностью, измеряемой в эксафлопсах, сумеет раскрыть тайны человеческого мозга. Более вероятно, что у него разовьется жуткая мигрень и он попросит чашку кофе. Между тем у нас появился новый друг, советы которого таинственным образом подтверждают то, что он знает о наших самых сокровенных тайнах.

Естественные творения естественного мира

Карло Ровелли
Физик-теоретик, Центр теоретической физики, Университет Экс-Марсель; автор книги «Первый ученый: Анаксимандр и его наследие» (The First Scientist: Anaximander and His Legacy)

В том, что касается мыслящих машин, у людей в голове каша, потому что они всегда путают два вопроса. Вопрос первый: насколько приблизились к мышлению машины, которые мы уже построили или построим в ближайшее время? Ответ простой: они от него безмерно далеки. Разница между лучшими из наших компьютеров и мозгом ребенка — это разница между каплей воды и Тихим океаном. Она заключаются в производительности, структуре, функциях и т. п. Любые досужие рассуждения о том, что же нам делать с мыслящими машинами, по меньшей мере преждевременны.

Вопрос второй: можно ли вообще создать мыслящую машину? Я никогда не понимал смысла этого вопроса. Конечно, можно. Почему нет? Любой, кто думает, что это невозможно, наверняка верит в такие вещи, как существование сверхъестественных сущностей, трансцендентальные реальности, черная магия и т. п. Скорее всего, этот человек не смог усвоить элементарную идею натурализма: мы, люди, — естественные творения естественного мира. Построить мыслящую машину нетрудно: все, что нужно, — чтобы юноша и девушка уделили этому несколько минут своего времени, а потом еще несколько месяцев (только девушка) — и всё. То, что мы не нашли другого, более технологичного способа, — просто случайность. Если правильное сочетание химикатов может привести к появлению мыслей и эмоций, — а так и происходит, доказательством чему являемся мы сами, — тогда определенно должно быть много аналогичных механизмов, чтобы сделать то же самое.

Недопонимание основано на ошибке. Мы склонны забывать, что сущности, составленные из многих вещей, ведут себя не так, как составленные из немногих. Возьмем «Феррари» или суперкомпьютер. Никто не сомневается, что это просто соответствующим образом организованные груды металла и других материалов, без какой-либо черной магии. Но вряд ли мы станем предполагать, что неорганизованная груда тех же самых материалов сможет поехать, как «Феррари», или спрогнозировать погоду, как суперкомпьютер. Подобным образом нам обычно не удается увидеть, что груда материалов может (даже если она соответствующим образом организована) рассуждать, как Эйнштейн, или петь, как Дженис Джоплин. Но в принципе такое возможно, доказательством чего являются Эйнштейн и Джоплин. Конечно, это требует серьезной подготовки и проработки довольно многих деталей, и разумной машине также потребуется серьезная подготовка и множество деталей. Вот почему настолько сложно создать такую машину другим способом — без юноши и девушки.

Наши представления о природной реальности слишком упрощенные, вот в чем корень всей путаницы. Мир — в известной мере просто большой набор организованных различными способами частиц. Это факт. Но если мы представим мир как аморфное скопление атомов, то мы не сможем его понять, потому что практически неограниченная комбинаторика атомов так богата, что включает в себя камни, воду, облака, деревья, галактики, световые лучи, цвет заката, улыбки девушек весной и огромную, черную звездную ночь, а также наши эмоции и то, что мы обо всем этом думаем. Трудно представить перечисленные феномены с точки зрения атомной комбинаторики — не потому что какая-то черная магия вмешивается в природу извне, а потому, что разумные машины, которыми являемся мы сами, слишком ограничены в своих мыслительных возможностях.

В том маловероятном случае, если наша цивилизация просуществует достаточно долго и получит достаточно развитые технологии, чтобы создать (способом, отличным от того, для которого необходимы юноша и девушка) нечто, способное думать и чувствовать подобно нам, мы встретим эти новые творения природы точно так же, как раньше: так же, как европейцы и коренные американцы встретили друг друга, или как мы встречаем ранее неизвестные виды животных — со смесью (в разных пропорциях) жестокости, эгоизма, сочувствия, любопытства и уважения. Потому что все мы — естественные творения естественного мира.

Три замечания об искусственном интеллекте

Фрэнк Вильчек
Профессор физики Массачусетского технологического института; один из обладателей Нобелевской премии по физике за 2004 год; автор книги «Красота физики: Постигая устройство природы» (A Beautiful Question: Finding Nature’s Deep Design)[38]

1. Мы — это они

Фрэнсис Крик назвал «удивительной гипотезой» то, что сознание, также известное как мышление, является эмерджентным свойством материи. По мере развития нейронаук, не встречающего каких-либо преград, и воспроизведения компьютерами все большего числа действий, которые мы называем разумом у людей, эта гипотеза выглядит все более непреложной. Если так, то любой интеллект — искусственный. Естественный интеллект от искусственного отличается не тем, что́ он есть на самом деле, а только тем, как он создан.

Безусловно, что короткое слово «только» несет здесь довольно большую нагрузку. Мозг используют высокопараллельную архитектуру и задействует множество «шумных» аналоговых блоков (то eсть нейронов), активизируемых одновременно, в то время как большинство компьютеров использует фоннеймановскую архитектуру с последовательной работой намного более быстрых цифровых блоков. Эти различия, однако, размываются, причем с обеих сторон. Архитектура нейронных сетей основана на кремнии, а мозг взаимодействует с внешними цифровыми органами все более эффективно. Я уже чувствую, что мой ноутбук — это часть меня самого, например, он является хранилищем и визуальной, и повествовательной памяти, сенсорным порталом во внешний мир и значительной частью моей математико-пищеварительной системы.

2. Они — это мы

Искусственный интеллект появился не в результате вторжения пришельцев. Это артефакт конкретной человеческой культуры, и он отражает ее ценности.

3. Разум — раб страстей

Яркое утверждение Дэвида Юма: «Разум есть и должен быть только рабом страстей» — записано в 1738 году, задолго до того, как что-то похожее на современный искусственный интеллект появилось на горизонте. Имелись в виду, конечно, человеческий разум и человеческие страсти (причем Юм использовал слово «страсти» в очень широком смысле, в значении, близком к «нерациональным мотивациям»). Но логический/философский вывод Юма остается в силе и для искусственного интеллекта. Проще говоря, стимулы, а не абстрактная логика, определяют поведение.

Вот почему искусственный интеллект, который меня больше всего тревожит, воплощен в автономных сущностях военного назначения: искусственных солдатах, разнообразных беспилотных аппаратах и тому подобных системах. Ценности, которые мы можем пожелать привить таким сущностям, — боеготовность и эффективное уничтожение живой силы противника. Но эти положительные ценности, если что-то пойдет немного не так, способны превратиться в одержимость и агрессивность. Не проявив надлежащей сдержанности и здравомыслия, исследователи могут вдруг обнаружить, что помогли создать армию сильных, умных, злобных параноиков.

В отличие от ситуации с ядерным оружием, тут нет никаких ясных и понятных «красных линий». Со стимулами, которые движут сильным искусственным интеллектом, может произойти множество разных неправильных вещей, и такая угроза кажется мне наиболее реальной не в последнюю очередь потому, что военные обладают огромными ресурсами, много вкладывают в исследования в области ИИ и считают, что обязаны состязаться друг с другом (иначе говоря, они оценивают потенциальные угрозы и повышают боеготовность).

Как избежать этой опасности, не отказываясь от всех благ, которые сулит нам искусственный интеллект? Я думаю, что важнее всего — прозрачность и открытое обсуждение. «Википедия» и сообщества программистов, работающие над приложениями с открытым исходным кодом, — это впечатляющие примеры открытости в совместной работе для достижения общей цели. Их успех демонстрирует, что очень сложные проекты могут прекрасно работать в открытой среде, где множество людей внимательно следят за тем, что именно происходит с проектом, и поддерживают единые стандарты. Если бы специалисты в области искусственного интеллекта приняли на себя коллективное обязательство воздерживаться от секретных исследований, это стало бы важным шагом для развития отрасли.

Когда я говорю «Бруно Латур» я имею в виду вовсе не «баран ли тур?»

Джон Нотон
Вице-президент Вулфсон-колледжа, Кембридж; почетный профессор общественного понимания технологий Открытого университета; автор книги «От Гутенберга до Цукерберга: Что вам очень нужно знать об Интернете» (From Gutenberg to Zuckerberg: What You Really Need to Know About the Internet)

Что я думаю о машинах, которые думают? Ну, это зависит от того, о чем и насколько хорошо они думают. В течение многих десятилетий я был помощником Дага Энгельбарта, который считал, что компьютеры — это машины, призванные дополнить человеческий интеллект. Электроусилитель разума, если угодно. Он посвятил всю свою жизнь осуществлению этой мечты, но она постоянно ускользала от него, потому что технологии всегда были слишком несовершенными, слишком неразвитыми, слишком негибкими.

Они до сих пор остаются такими, несмотря на закон Мура и все прочее. Улучшения есть, но происходят они очень медленно. Поисковые системы, например, в определенных ситуациях стали вполне годным средством протезирования памяти для некоторых из нас. Но они все еще довольно глупые. Так что я очень жду того момента, когда я смогу сказать своему компьютеру: «Эй, как ты думаешь: не является ли идея Роберта Нозика о развитии государства крайним случаем действия сетевых эффектов?» — и получить ответ, который будет хотя бы приблизительно так же хорош, как ответ обычного аспиранта.

Но до этого, увы, еще далеко. Прямо сейчас мне довольно сложно убедить программу, преобразующую то, что я диктую, в текст, и когда я говорю «Бруно Латур», то имею в виду вовсе не «баран ли тур?». Но, по крайней мере, приложение «Персональный помощник» в моем смартфоне знает, что когда я прошу показать прогноз погоды, то мне нужен прогноз для британского Кембриджа, а не для одноименного города в Массачусетсе.

Но приложение «Персональный помощник» на самом деле довольно убого. Вот что мне и вправду хотелось бы получить, так это машину, которая будет функционировать подобно настоящему личному помощнику, что-то, что позволит мне работать эффективнее. Иначе говоря, машину, которая может думать самостоятельно. Как узнать, когда технологии будут достаточно развитыми для этого? Очень просто: когда мой личный помощник, обладающий искусственным разумом, сможет придумать нормальную отговорку, позволяющую не делать того, чего мне делать не хочется.

Стоит ли мне беспокоиться по поводу возможного появления мыслящих машин? Вероятно, стоит. Ник Бостром определенно считает, что стоит. Он утверждает, что наша зацикленность на желании сделать компьютер, который продемонстрировал бы интеллект человеческого уровня, — результат заблуждения. Мы рассматриваем машины, которые могут пройти тест Тьюринга, как конечную цель научных поисков Дага Энгельбарта. Но Бостром считает, что прохождение теста — лишь полустанок на пути к чему-то намного более тревожному. «Этот поезд, — говорит он, — может проскочить станцию „Человеково“, не останавливаясь и даже не снижая ход. Скорее всего, он со свистом пронесется мимо»{4}. И Бостром прав. Так что мне стоит быть осторожнее с желаниями.

Мы пока что стоим в самом начале пути

Ник Бостром
Профессор Оксфордского университета; директор Института будущего человечества, Школа Мартина, Оксфорд; автор книги «Искусственный интеллект: Этапы. Угрозы. Стратегии» (Superintelligence: Paths, Dangers, Strategies)[39]

Прежде чем говорить о том, что я думаю по поводу мыслящих машин, я скажу вот что: мы по большей части слишком поспешно стремимся сформировать мнение по этой сложной теме. Многие пожилые ученые до сих пор не знают о новом корпусе научных идей, который появился на основе допущения о появлении сверхразума. Существует тенденция приспосабливать любую сложную новую идею под знакомый шаблон. И по какой-то странной причине многие считают, что надо обсуждать события, описанные в различных научно-фантастических романах и фильмах, когда заходит разговор о будущем искусственного интеллекта (хотя предостережение Джона Брокмана, высказанное комментаторам Edge, о том, что не следует так поступать, можно считать смягчающим фактором).

Что ж, я снял эту тяжесть с груди и теперь выскажусь по поводу мыслящих машин: машины на данный момент очень плохо думают, за исключением определенных узких областей. Возможно, когда-нибудь они научатся делать это лучше нас, точно так же, как уже сейчас они стали намного сильнее и быстрее, чем любое биологическое существо.

У нас мало информации о том, как далеки мы от этой точки, так что в попытках определить возможное время появления сверхразума нам надо использовать широкое вероятностное распределение. Переход от искусственного интеллекта уровня человеческого к сверхразуму, скорее всего, произойдет быстрее, чем переход от нынешнего уровня ИИ до уровня человеческого (хотя в зависимости от архитектуры понятие «человеческого уровня» может и не иметь особого смысла в этом контексте). Сверхразум запросто способен оказаться лучшим или худшим, что когда-либо случалось в истории человечества, по причинам, которые я описал в других своих работах.

Вероятность благоприятного исхода в основном определяется внутренней сложностью проблемы — тем, каковы ее основные движущие силы и насколько трудно ими управлять. Последние исследования указывают на то, что она сложнее, чем можно было предположить. Однако мы пока что стоим в самом начале пути, и есть вероятность, что у проблемы имеется какое-то простое решение или же все сложится хорошо и без особых усилий с нашей стороны.

Тем не менее то, насколько хорошо мы подготовимся, способно повлиять на распределение вероятностей. Самое полезное, что мы можем сделать на данном этапе, — это форсировать развитие крошечной, но растущей области исследований, которая разрабатывает проблему сверхразума и его управляемости, а также такие вопросы, как перенос человеческих ценностей в программное обеспечение. Причина развивать данное направление прямо сейчас отчасти состоит в том, чтобы скорее получить первые результаты по проблеме управляемости, отчасти в том, чтобы привлечь к этой работе величайшие умы современности, — и тогда, когда природа проблемы станет более ясной, они уже будут в курсе дела. Похоже, что математика, теория вычислительных систем и, возможно, философия — сейчас самые важные дисциплины. Вот почему уже предпринимаются значительные усилия, чтобы привлечь в эту область талантливых ученых и финансирование, а также начать разрабатывать план действий.

Эволюционирующий искусственный интеллект

Дональд Хоффман
Когнитивист, Калифорнийский университет в Ирвайне; автор книги «Визуальный интеллект» (Visual Intelligence)

Разве научится искусственный интеллект думать, чувствовать, предполагать, сопереживать, дружить, общаться, извлекать мораль? На самом деле он способен делать это любым из способов, которые мы могли бы представить себе, и множеством других, совершенно невообразимых способов. Чтобы встряхнуть воображение, можно рассмотреть различные формы естественного интеллекта, которые встречаются в современных биологических системах, и поразмышлять о вариантах, которыми обладали 99 процентов всех видов, когда-либо живших на Земле, но давно исчезнувших, — благодаря информации, донесенной до нас теми немногими счастливчиками, что завещали свои окаменелые останки пантеону истории эволюции. У нас есть право стимулировать наше воображение подобным образом, потому что, согласно нашим лучшим теориям, интеллект — это функциональное свойство сложных систем, а эволюция, помимо прочего, является алгоритмом поиска, который находит такие функции. Таким образом, формы интеллекта, обнаруженные до настоящего времени естественным отбором, уменьшают нижнюю границу оценки разнообразия возможных вариантов. Эволюционная теория игр предполагает, что верхней границы нет: достаточно всего четырех конкурирующих стратегий для хаотической динамики и странных аттракторов.

Когда мы рассматриваем естественные формы интеллекта, полученные эволюционным путем, то обнаруживаем неоднородность, предполагающую разумоцентрическое представление об интеллекте, которое так же правдоподобно, как геоцентрическое представление о космосе. Интеллект, что мы считаем эталонным, — всего лишь одна из многих точек (притом бесконечно малая) во вселенной чужих разумов, во вселенной, которая не крутится вокруг нашего вида, а большей частью игнорирует его.

Например, самка богомола Pseudomantis albofimbriata, когда бывает голодна, использует сексуальные уловки, чтобы добыть пищу. Она испускает феромон, который привлекает самцов, а затем поедает тех, кто явился на свидание. Старший птенец в выводке голубоногой олуши, когда бывает голоден, прибегает к факультативному каинизму. Он убивает младшего птенца, заклевывая его до смерти или выбрасывая из гнезда, где тот погибает от переохлаждения. Мать смотрит на это не вмешиваясь. Вот вам варианты естественного интеллекта, варианты, которые мы готовы назвать одновременно чужими и подозрительно знакомыми. Они нарушают привычные нам каноны сочувствия, сосуществования и морали, но все же и в переменчивой истории человечества есть примеры людоедства и братоубийства.

Наше исследование обнаруживает другую важнейшую особенность естественного интеллекта: у каждого примера свои пределы применимости — те точки, где интеллект передает эстафету глупости. Самка серого гуся нежно заботится о кладке — но только если поблизости нет волейбольного мяча. Она оставит свой выводок в безнадежной погоне за необычайным яйцом. Самец жука-златки Julodimorpha bakewelli летает в поисках самки для спаривания — если только не приметит подходящую пивную бутылку. Тогда он оставит самку ради бутылки и будет пытаться спариться с холодным стеклом, пока смерть не разлучит их.

Человеческий интеллект тоже передает эстафету. Эйнштейну приписывают такую цитату: «Есть только две бесконечные вещи: Вселенная и человеческая глупость. Хотя насчет Вселенной я не вполне уверен». Некоторые пределы человеческого интеллекта вызывают замешательство. Например, набор функций целых чисел к целым числам неисчислим, тогда как набор вычислимых функций является счетным. Следовательно почти все функции невычислимы. Но попробуйте придумать хоть одну! Оказывается, нужен гений вроде Алана Тьюринга, чтобы найти пример, подобный проблеме остановки[40]. А чтобы понять такой пример, нужен исключительный ум, совсем чуть-чуть не дотягивающий до гениальности.

Другие пределы попадают ближе к цели: диабетики, которые не могут отказаться от десерта, алкоголики, которые не могут отказаться от выпивки, игроки, которые не могут отказаться от игры. Но дело не только в тех, у кого есть пагубные пристрастия. Специалисты по поведенческой экономике считают, что все мы принимаем «предсказуемо иррациональные» экономические решения. Специалисты по когнитивной психологи считают, что все мы страдаем от «функциональной фиксированности» — неспособности решить определенные тривиальные задачи, такие как «Свеча Дункера»[41], — потому что не можем мыслить вне шаблонов. Хорошая новость, однако, состоит в том, что бесконечное разнообразие наших ограничений обеспечивает работой психотерапевтов.

Но вот ключевой момент. Ограничения каждого вида интеллекта — это движущая сила эволюции. Мимикрия, камуфляж, обман, паразитизм — все они являются эффектами эволюционной гонки вооружений между различными формами интеллекта, обладающими своими преимуществами и своими ограничениями.

Площадка, обеспечивающая искусственному интеллекту возможность поучаствовать в этой гонке, была подготовлена совсем недавно. По мере расширения и улучшения связи между нашими вычислительными ресурсами, станет появляться все больше ниш, в которых формы ИИ смогут воспроизводиться, конкурировать и видоизменяться. Хаотическая природа эволюции не позволяет нам точно спрогнозировать, какими именно будут новые формы ИИ. Однако мы можем с уверенностью сказать, что нас ждут неожиданности, тайны, преимущества там, где у нас самих есть недостатки, и недостатки там, где у нас есть преимущества.

Но должно ли это быть причиной для беспокойства? Я думаю, что нет. Эволюция искусственных интеллектов открывает для нас возможности, но и представляет опасность. То же самое делает биологическая эволюция естественного интеллекта. Мы выяснили, что лучший способ сладить с разнообразием естественных форм интеллекта — это не тревожность, а благоразумие. Не тискайте гремучих змей, не дразните медведей-гризли, пользуйтесь средством от комаров. Чтобы справиться с эволюционирующими стратегиями вирусов и бактерий, мойте руки, избегайте контактов с теми, кто чихает, делайте прививки от гриппа. Иногда, как в случае с вирусом Эбола, бывает нужно принять дальнейшие меры. Но опять же благоразумие, а не тревожность оказывается эффективнее. Эволюция естественных форм интеллекта может быть источником трепета и вдохновения, если мы примем ее с благоразумием, а не отвергнем в тревоге.

Все виды исчезают. Homo sapiens не будет исключением. Мы не знаем, как это произойдет — вирус, вторжение пришельцев, ядерная война, супервулкан, астероид, солнце, превратившееся в красного гиганта. Да, нашей смертью может оказаться и искусственный интеллект, но я готов поспорить, что вероятность такого события очень невелика. Наоборот, я бы ставил на то, что ИИ будет источником восхищения, новых идей, вдохновения и прибыли в течение многих лет.

Мыслящие машины есть в кино

Роджер Шенк
Психолог и специалист по теории вычислительных систем; Engines for Education, Inc.; автор книги «Обучающие умы: Как когнитивистика может спасти наши школы» (Teaching Minds: How Cognitive Science Can Save Our Schools)

Машины не умеют думать. И в ближайшее время они думать не будут. Они могут делать все более и более интересные вещи, но представление о том, что нам надо из-за них беспокоиться, законодательно регулировать их «мышление» или предоставлять им гражданские права, — это просто глупость.

Так и не ставшие реальностью обещания разработать «экспертные системы»[42] в 1980-х годах свели на нет серьезное финансирование, прежде выделявшееся на создание «виртуальных людей». Очень немногие специалисты работают сегодня в этой области. Но, если верить средствам массовой информации, мы должны очень сильно бояться.

Все мы смотрели слишком много фильмов.

Если вы работаете с искусственным интеллектом, то есть два пути. Первый: «Давайте скопируем человека». Второй: «Давайте сделаем очень быструю статистическую вычислительную модель». Пример второго подхода — старые шахматные программы, которые пытались «перевычислять» тех, против кого они играли, но у игроков-людей есть свои стратегии, а прогнозирование решений противника — тоже часть игры в шахматы. Когда метод «перевычисления» не сработал, специалисты по ИИ начали наблюдать за тем, что делают опытные игроки, и подражать их действиям. «Перевычисление» больше не в моде. Мы можем назвать оба этих метода «искусственным интеллектом», если захотим, но ни один не приведет к появлению машин, способных создать новое общество.

Стратегия «перевычисления» нам совсем не страшна, потому что компьютер в действительности понятия не имеет, что делает. Он может быстро что-то посчитать, не сознавая, что именно считает. Здесь есть алгоритмы подсчета — и всё. Что нам и продемонстрировал IBM Watson в Jeopardy!

Один из вопросов в Jeopardy! выглядел следующим образом: «Такой была анатомическая особенность американского гимнаста Джорджа Эйсера, который завоевал золотую медаль в упражнениях на параллельных брусьях в 1904 году».

Игрок-человек ответил, что у Эйсера не было руки (неверно). А Watson спросил: «Что такое нога?» Он тоже проиграл, поскольку не смог сказать, что ноги «не было».

Попробуйте поискать в Google «гимнаст Эйсер». Первой в выдаче будет «Википедия» с длинной статьей о нем. Watson зависит от Google. Если бы участники Jeopardy! имели право использовать Google, то справились бы лучше, чем компьютер[43]. Watson может перевести слово «анатомическая» в «часть тела» и знает названия частей тела. Однако ему неизвестно, что такое «особенность». Watson оказался не в курсе, что гимнаст без ноги — это довольно необычно. Если бы вопрос звучал так: «Что необычного было в Эйсере?», люди отлично справились бы с ответом. Watson же не нашел бы слова «необычного» в «Википедии», равно как не понял бы ни того, чем занимаются гимнасты, ни почему кому-то есть до этого дело. Попробуйте погуглить раздельно по словам «необычное» и «Эйсер» и посмотрите, что получится. Поисковый алгоритм не думает, он не делает ничего даже отдаленно похожего на мышление.

Если бы мы поинтересовались у Watson, почему человек с ограниченными возможностями выступает на Олимпийских играх, то компьютер вообще не понял бы, что у него спрашивают. Он не понял бы вопроса, не говоря уже о том, чтобы найти ответ. Перемалывание чисел может дать вам только числовой результат. Интеллект, искусственный или какой-то другой, требует знания того, почему что-то происходит и какие эмоции это вызывает, а также способности предсказать возможные последствия определенных действий. Watson такого не умеет. Мышление и поиск в тексте — не одно и то же.

Человеческий разум сложен. Те из нас, кому по душе стратегия «давайте скопируем людей», проводят много времени за размышлениями о том, на что мы способны. Многие ученые рассуждают об этом, но вообще-то нам почти неизвестно, как работает разум. Специалисты по искусственному интеллекту пытаются создать модели тех частей, которые мы понимаем. О том, как обрабатывается язык или как устроены механизмы обучения, мы кое-что уже выяснили, а вот о сознании или работе памяти — почти ничего.

Вот вам пример: я работаю над компьютером, который имитирует то, как организована память человека. Я хочу создать компьютер, который мог бы, подобно настоящему другу, рассказать вам нужную историю в нужный момент. Для этого мы с коллегами собрали тысячи историй в видеоформате — о защите, об исследовании лекарственных препаратов, о медицине, о программировании и т. д. Когда кто-то пытается что-то сделать или о чем-то узнать, наша программа может завести разговор и рассказать вспомнившуюся ей историю. Это искусственный интеллект? Конечно, да. Это мыслящий компьютер? Не совсем.

Почему нет?

Чтобы выполнить нашу задачу, мы должны опросить экспертов, а затем проиндексировать смысл рассказанных ими историй согласно идеям, которые они высказывают и опровергают, целям, о достижении которых говорят, и проблемам, которые они испытывали при достижении этих целей. Такое способны проделать только люди. Машина может сопоставить один индекс с другими, например с теми, которые можно найти в какой-то еще истории, имеющейся в компьютере, с индексами пользовательских запросов или с данными анализа ситуации, в которой, как известно машине, находится пользователь в данный момент. Компьютер может вспомнить очень хорошую историю в самый подходящий момент. Но он, конечно, не знает, о чем говорит. Он просто способен найти лучшую историю для конкретной ситуации.

Это искусственный интеллект? Я думаю, что да. Повторяет ли он то, как люди индексируют истории в своей памяти? Мы долго изучали, как они это делают, и думаем, что наш компьютер умеет так же. Надо ли нам опасаться такой «разумной» машины?

Вот тут я перестаю понимать тех, кто боится искусственного интеллекта. В том, что мы можем сделать, нет ничего угрожающего. Если бы мы на самом деле сумели построить мобильную разумную машину и научили бы ее ходить, говорить и жевать резинку, то использовалось бы наше творение, скорее всего, отнюдь не для завоевания мирового господства и не формирования нового общества роботов. Гораздо больше пользы от нее было бы в работе по дому. Все хотят иметь персонального лакея. Роботов-слуг часто изображают в фильмах (хотя обычно довольно глупо), потому что они смешные, и обладать чем-то таким было бы круто.

Почему у нас их нет? Потому что хороший слуга — это некто, понимающий вас, когда вы что-то говорите, учащийся на своих ошибках, способный передвигаться по дому, не ломая вещи, не раздражая окружающих и т. д. (любой пункт из этого списка находится за пределами возможностей машин, которые мы на данный момент умеем строить). Не стоит волноваться по поводу того, что он поболтает с другими роботами-слугами и решит учредить профсоюз. Нет причин встраивать такую способность в слугу. Настоящие слуги иногда бывают надоедливы, потому что они люди и обладают человеческими потребностями. У компьютеров таких потребностей нет.

Нам еще очень далеко до создания подобных машин. Чтобы это сделать, нам понадобится глубокое понимание взаимодействий между людьми. Электронному лакею пришлось бы понимать фразы: «Робот, ты опять пережарил это блюдо» и: «Робот, детям очень не понравилась твоя песня». Так что нам всем надо перестать волноваться и начать пользоваться теми классными штуками, которые нам действительно способен дать искусственный интеллект.

Пересадка головы?

Хуан Энрикес
Директор Excel Venture Management; автор, совместно со Стивом Галлэнсом, книги «Самоэволюция: Как неестественный отбор и неслучайные мутации изменяют жизнь на Земле» (Evolving Ourselves: How Unnatural Selection and Nonrandom Mutation Are Changing Life on Earth)

В пантеоне ужасных медицинских экспериментов мало что сравнится с пересадкой головы. Опыты на животных делались двумя разными способами: путем замены одной головы на другую или пересадки второй головы на животное. До сих пор процедура была не очень успешна. Но мы уже намного лучше разбираемся в сосудистой хирургии: делаем шунтирование, сшиваем и пересаживаем как крупные, так и микроскопические сосуды. Сравнимые достижения были получены области восстановления мышц и поврежденных позвонков. Все лучше удаются операции по реплантации разъединенного спинного мозга на мышах и приматах.

До частичной трансплантации мозга, вероятно, нам еще очень далеко. И дело усложняет не только ряд процедур со стволовыми клетками, но и то, что пересадка фрагментов одного мозга в другой — очень сложная задача из-за высокой плотности мозгового вещества, содержащего триллионы связей. Но по мере того как экстренные операции — реплантация пальцев, конечностей, даже лиц — становятся обычным делом, вопрос о том, возможно ли и надо ли пересаживать человеческую голову целиком, становится все актуальнее.

Частичная реплантация человеческой головы — уже реальность. В 2002 году пьяный водитель сбил в Аризоне подростка, Маркоса Парра; удар был настолько сильным, что голова Парра оказалась почти полностью отделенной от туловища, только спинной мозг и несколько кровеносных сосудов не давали ей оторваться от тела. К счастью, Кертис Дикмен, хирург из Неврологического института Бэрроу в Финиксе, как раз готовился к проведению именно такой экстренной операции. Позвоночник прикрепили к основанию черепа винтами, часть тазовой кости использовали для того, чтобы соединить шею и череп, и через шесть месяцев Парра играл в баскетбол.

Возможно, не за горами успешная полная пересадка головы, которую проведут на животных. А если такие процедуры будут заканчиваться успехом и подопытные станут приходить в сознание, мы начнем получать ответы на вполне себе фундаментальные вопросы, в том числе: «Передаются ли таким способом также воспоминания и сознание донора?»

Подобные вопросы об эмоциях, привязанностях и характере донора задавали во время первых операций по пересадке сердца, хотя оно всего лишь мышца. А как насчет мозга? Если мыши с новыми головами станут опознавать лабиринты, по которым раньше бегали мыши-доноры, или сохранят их условные реакции на определенные продукты, запахи и стимулы, то мы будем вынуждены допустить, что память и сознание действительно передаются. Но если ни один из экспериментов не продемонстрирует сохранения прежних знаний или эмоций, то нам придется сделать вывод, что мозг — это тоже что-то вроде электрохимической мышцы.

Если нам удастся обнаружить вероятность переноса знаний и эмоций из одного тела в другое, это будет иметь большое значение для ответа на вопрос: «Сможем ли мы когда-нибудь загружать часть мозга не только в другое тело, но и в микросхему, в машину?» Если удастся сделать это, то путь к созданию крупномасштабного искусственного интеллекта окажется намного легче. Нам надо будет просто скопировать, объединить и дополнить уже существующие данные — данные, о которых нам точно известно, что их можно передавать, накапливать и изменять. Тогда останется следующий вопрос: «Какой интерфейс между биологическим объектом и машиной наиболее эффективен?»

Однако если окажется, что все данные стираются во время пересадки, а знание присуще только отдельному организму, — другими словами, что сознание/знание/разум — это нечто врожденное и индивидуальное, — тогда простое копирование удивительно сложного коннектома[44] мозга в машины, вероятно, не приведет к появлению работоспособного интеллекта.

Если данные мозга нельзя ни передать, ни воспроизвести, то разработка ИИ потребует строительства параллельной машино-мыслительной системы, чего-то совершенно отличного от интеллекта животных и людей. Построить сознание с нуля — значит пройти по новому и совершенно иному эволюционному пути, чем тот, который проделал человеческий интеллект. Эта новая система, несомненно, будет работать по иным правилам и с иными ограничениями, а следовательно, хоть она и будет намного лучше справляться с определенными задачами, она не сможет воспроизвести некоторые формы нашего интеллекта. Если ИИ возникнет на базе такой системы, он будет представлять собой новое, особое сознание, идущее по параллельной эволюционной траектории. В этом случае мысли, чувства и поведение машин будут иметь мало общего с аналогичными качествами людей и животных, существовавшими на протяжении миллионов лет. Машины также не станут строить свое общество и социальные нормы на тех же принципах, которыми руководствуемся мы в своем сосуществовании.

Искусственный интеллект / искусственная жизнь

Эстер Дайсон
Венчурный инвестор, работающий со стартапами в области информационных технологий, EDventure Holdings; бывший председатель Electronic Frontier Foundation[45] и ICANN[46]; автор книги «Release 2.0: Жизнь в эпоху Интернета» (Release 2.0)[47]

Я думаю о различиях между искусственным интеллектом и искусственной жизнью. ИИ умен, сложен и в целом предсказуем для другого компьютера (на некотором уровне обобщения, даже если допустить определенную стохастичность). ИЖ непредсказуема и сложна, она допускает непрогнозируемые отклонения, которые главным образом оказываются недостатками и ошибками, но иногда демонстрируют проблески гениальности или изумительного везения.

Вот по-настоящему серьезный вопрос: что получится, если объединить потрясающую вычислительную мощность, память и неутомимость с гениальностью и жаждой жизни, которые каким-то образом заставляют разум выходить за рамки принятых схем и получать непредсказуемые результаты? Придется ли нам давать нашим машинам электронные аналоги психотропных препаратов или гормонов, чтобы стимулировать полет творчества и гениальные озарения (в противоположность заурядной одаренности)?

Если вы живой, то вас ждет смерть. Но если вы система ИИ/ИЖ, существующая в машине, то, наверное, нет.

Каким окажется бессмертный разум уровня сингулярности? Если он будет добрым и альтруистичным, то как можно позволять человечеству вставать у него на пути? Давайте просто вежливо уступим ему планету ему и приготовимся к жизни в милом зоопарке, за которым присмотрит ИИ/ИЖ, раз уж он все равно когда-нибудь выяснит, как заселить всю нашу звездную систему и использовать солнце в качестве источника энергии.

Нас большей частью определяют наши собственные ограничения, прежде всего неизбежность смерти. Быть живым подразумевает возможность перестать быть таковым (а изобилие, оказывается, приводит к контрпродуктивному поведению, такому как переедание, мимолетные удовольствия и слишком малая физическая активность). Но если некто бессмертен, зачем ему склонность к альтруизму, к тому, чтобы чем-то делиться, — или даже к размножению, если он может просто расширяться? Зачем ему расходовать на поддержку других существ свои ограниченные ресурсы, за исключением тщательно продуманных рациональных транзакций? Что произойдет, когда ИИ/ИЖ перестанет нуждаться в нас? Какими будут ее мотивы?

Если ИИ/ИЖ может жить вечно, то не обленится ли она, не станет ли откладывать дела на потом? Или же ее однажды парализует страх либо сожаление? Какие бы ошибки ИИ/ИЖ ни допустила, ей придется жить с ними вечно. Что такое сожаление для потенциально бессмертного существа, у которого есть вечность, чтобы все исправить?

Мозг и другие мыслящие машины

Том Гриффитс
Адъюнкт-профессор психологии Калифорнийского университет в Беркли; директор Лаборатории вычислительной когнитивистики и Института наук о познании и мозге

Многие из последних достижений в области искусственного интеллекта, упоминаемых в новостях, так или иначе связаны с искусственными нейронными сетями — большими системами простых элементов, сложным образом взаимодействующих между собой. Эти системы созданы по аналогии с простотой и сложностью нейронов и мозга соответственно. Новые методы построения глубинных сетей со множеством слоев нейронов подходят для решения актуальных проблем или даже превосходят требования, предъявляемые такими разнообразными задачами, как распознавание речи, идентификация изображений и перевод с одного языка на другой. У всякого, кто интересуется искусственным и естественным интеллектом, эти достижения вызывают два вопроса: во-первых, должны ли все разумные машины иметь сходство с мозгом и, во-вторых, что мы узнаём о настоящем мозге и разуме, исследуя искусственный мозг и разум?

Когда человек начинает интерпретировать данные, — не важно, выясняет ли он значение слова или пытается понять действия коллеги, — он может пойти по одному из двух неверных путей: оказаться чересчур предвзятым или слишком довериться данным. Ваши предположения введут вас в заблуждение, если вы решите, что слово на новом для вас языке значит то же самое, что и слово с тем же звучанием на языке, который вы знаете, например французское gâteau и испанское gato[48] (что может иметь неприятные последствия и для домашнего животного, и для праздника). Чрезмерное доверие данным подведет вас, если вы решите, что ваша идея очень не понравилась коллеге, тогда как на самом деле он просто на взводе, потому что всю ночь просидел без сна с простудившимся ребенком (а это не имеет к вам вообще никакого отношения).

Компьютеры, пытающиеся интерпретировать входящие данные, чтобы извлечь из них какие-либо закономерности, сталкиваются с такими же проблемами. Значительная часть исследований в области машинного обучения наталкивается на существенные противоречия между строгостью и гибкостью. Большая строгость означает большую предвзятость, что бывает полезно для вынесения суждений на основе ограниченных объемов данных, но может также приводить к систематическим ошибкам, снижающим эффективность работы. Большая гибкость означает больше возможностей для обнаружения закономерностей, проявляющихся в данных, но также и более высокий риск принятия за паттерны то, что не является таковыми.

В исследованиях по искусственному интеллекту эти противоречия между строгостью и гибкостью проявляются в различиях между видами систем, которые можно использовать для решения различных ресурсоемких задач, таких как распознавание речи, компьютерное зрение и машинный перевод. В течение многих десятилетий системы, которые лучше всего справлялись с такими задачами, тяготели к строгости. Они были результатом тщательного планирования, разработки и совершенствования целыми поколениями инженеров, которые обдумывали особенности речи, образов и синтаксиса и пытались выстроить в систему лучшие из своих предположений насчет того, как следует интерпретировать каждый из отдельных видов данных. Недавние открытия, использующие искусственные нейронные сети, сделаны, напротив, с помощью гибких алгоритмов. Они используют набор принципов, которые в равной степени могут быть применены в множеству различных контекстов, то есть у этих алгоритмов нет предрасположенности к какой-то конкретной информации, что позволяет системе самостоятельно выяснять, как интерпретировать входные данные.

Искусственные нейронные сети теперь, возможно, лучше справляются с распознаванием речи, изображений и смысла в предложениях, чем системы, разрабатывавшиеся поколениями инженеров, и в этом ключ к их высокой эффективности. Победа гибкости над строгостью — отчасти результат инноваций, которые позволяют нам строить искусственные нейронные сети большего масштаба и быстро их обучать. Но отчасти это также результат увеличения объемов данных, которые можно скормить нейронным сетям. У нас теперь больше записанной речи, больше оцифрованных изображений, больше документов на разных языках, чем когда-либо прежде, и объем доступных данных меняется так, что в конце концов должно быть достигнуто равновесие между строгостью и гибкостью.

Когда у вас нет большого количества данных, то есть когда вам приходится строить допущения на основе ограниченных сведений, строгость важнее. Под руководством грамотных инженеров компьютерам проще делать разумные предположения. Когда у вас много данных, важнее оказывается гибкость. Здесь вам уже не нужно, чтобы система ограничивалась только теми идеями, которые смогли найти инженеры, если у вас достаточно данных для того, чтобы позволить компьютеру предложить идеи получше. Так что системы машинного обучения, в которых упор сделан на гибкость, как в искусственных нейронных сетях, успешнее всего справляются с задачами, в которых доступны большие объемы данных.

Мысль о том, что наличие большего количества информации способствует большей гибкости, дает ответ на два наших вопроса об искусственном и естественном интеллекте. Мыслящие машины должны иметь сходство с мозгом — в той мере, в которой с ним сходны искусственные нейронные сети, — когда решаемая проблема такова, что гибкость важнее структуры, а данных хватает с избытком. Если же посмотреть на вопрос с другой стороны, то можно заметить, что это полезно для понимания, чем настоящий мозг похож на искусственные нейронные сети, то есть какие аспекты человеческого разума лучше рассматривать как результат алгоритмов общего обучения, где акцент сделан на гибкость, а не на строгость, в противоположность результату, основанному на «встроенных» априорных суждениях о мире и о том, что в нем есть. По существу, ответ будет определяться объемом доступных данных и сложностью того, что надо выяснить.

Значительная часть полемики в области когнитивистики, например о том, как дети учат язык и обретают способность интерпретировать действия других людей, сводится как раз к этим вопросам: о доступных данных и приобретаемом знании. Чтобы ответить на них, мы пытаемся зафиксировать входные данные системы (что дети слышат и видят), описать результат (что такое язык, какое знание лежит в основе социального познания) и исследовать различные виды алгоритмов, которые могли бы обеспечить переход от первого ко второму.

Ответы на эти вопросы относятся не только к пониманию нашего собственного разума. Несмотря на последние достижения в области искусственного интеллекта, человеческие существа все еще остаются лучшим из имеющихся у нас примеров разумных машин. Определив объем и природу априорных суждений, которые формируют наше познание, мы заложим основу для того, чтобы сделать компьютеры более похожими на людей в плане эффективности выполнения определенных задач.

Они принесут больше пользы, чем вреда

Марк Пэйгл
Преподаватель эволюционной биологии в Университете Рединга, Великобритания; приглашенный преподаватель комиссии по науке Института Санта-Фе; автор книги «Культурная прошивка: Происхождение человеческого социального сознания» (Wired for Culture: Origins of the Human Social Mind)

Нет никаких причин думать, что если машины станут более разумными — а такой разум, как у нас, пока что мало отличается от рисунков на песке, — то они озлобятся, начнут плести интриги, окажутся эгоистами или даже превратятся в угрозу для людей. Эгоистичность — качество объектов, которые хотят остаться в живых (или, если точнее, хотят размножаться), а не природное свойство машин. Компьютеры не против того, чтобы их выключали, и уж тем более они не боятся этого.

Таким образом, появление полноценного искусственного интеллекта не приведет к гибели рода людского. Это отнюдь не экзистенциальная угроза для человечества (уточню: такое часто встречающееся сейчас использование слова «экзистенциальная» — неверно). Мы не приближаемся к какой-то непонятной апокалиптической сингулярности, а разработка искусственного интеллекта не станет «последним великим событием в истории человечества», хотя некоторые сейчас и утверждают обратное, когда говорят о мыслящих машинах.

На самом деле по мере создания все лучше и лучше думающих машин их можно будет использовать так, чтобы получить намного больше пользы, чем вреда. Машины хорошо справляются с долгой монотонной работой, такой, например, как отслеживание рисков; они хорошо собирают информацию, чтобы принимать решения; они хорошо анализируют данные на предмет обнаружения паттернов и тенденций; они могут помочь нам использовать скудные или загрязняющие среду ресурсы более эффективно; у них реакция быстрее, чем у людей; они могут управлять другими машинами; они не устают и не боятся; они даже способны заботиться о своих хозяевах-людях посредством смартфонов (вспомните приложения Siri и Cortana) или разнообразных навигационных устройств с GPS, которые есть в автомобилях у большинства людей.

Поскольку машины по природе своей скорее подвижники, чем эгоисты, их проще научить сотрудничеству, не боясь, что некоторые из них воспользуются в своих интересах доброй волей других машин. Группы («стаи», «связки», «отряды» или любое другое собирательное существительное, которое со временем появится для их обозначения, — я предпочел бы название «скопления») объединенных в общую сеть и взаимодействующих беспилотных автомобилей будут на высокой скорости и совершенно безопасно двигаться в общем плотном потоке, бампер к бамперу. Они не заснут, не начнут психовать, они смогут сообщать друг другу о своих действиях и о дорожных условиях на расстоянии, они также будут более полно использовать автострады, которые сейчас представляют собой по большей части пустое пространство (вследствие скверной реакции у людей). Они станут это делать с удовольствием, не ожидая вознаграждения, в то время как мы сможем обедать, смотреть фильм или читать газету. У наших детей будет вызывать справедливое удивление тот факт, что раньше автомобили водили люди.

Есть риск, что мы станем опасно зависимы от машин или уже стали, но это больше говорит о нас, чем о них. Точно так же машины могут быть использованы во вред, но опять же это больше говорит не о самих машинах, а об их изобретателях и владельцах. Если продолжить размышления в том же направлении, то есть один вектор человеческого влияния на машины, который нам нужно внимательно контролировать: это возможность объяснить им, что такое смерть. Если им придется конкурировать за ресурсы (такие как электричество или бензин), чтобы выжить, и они научатся менять свое поведение, то они могут стать эгоистичными.

Если мы станем позволять или даже поощрять проявления эгоизма у машин, то они могут в конечном счете стать такими же, как мы: способными на репрессивные или агрессивные действия по отношению к людям и друг к другу. Но это не произойдет в одночасье и без определенных усилий с нашей стороны. То, о что я имею в виду, не имеет никакого отношения к разуму (некоторые вирусы делают с людьми отвратительные вещи) и опять же больше говорит о нас, чем о машинах.

Таким образом, беспокоиться стоит не по поводу роботов или искусственного интеллекта как таковых, но по поводу людей. Нельзя сказать, что мыслящие машины за нас или против нас, у них нет встроенной предрасположенности ни к первому, ни ко второму. Думать иначе — значит путать разумность с устремленностью и сопутствующими ею эмоциями. У нас же все это есть, потому что мы — эволюционирующие и воспроизводящиеся организмы, появившиеся в результате отбора в процессе конкуренции, подчас беспощадной, с другими организмами. Но устремленность — вовсе не обязательная часть разума, даже если она обеспечивает подходящую платформу для его развития.

В действительности нам стоит с нетерпением ждать того дня, когда машины смогут выйти за рамки обычного решения задач и стать творческими и инновационными субъектами, — до такого еще очень и очень далеко, но это уже определенно будет свойство истинного разума. Инновации даются людям не очень хорошо, и в ближайшие десятилетия помощь в этом понадобится нам больше, чем когда-либо в истории.

Держать их на коротком поводке

Роберт Провайн
Психофизиолог, почетный профессор психологии Университета Мэриленда в Балтиморе; автор книги «Интересное поведение: Зевание, смех, икота и не только» (Curious Behavior: Yawning, Laughing, Hiccupping, and Beyond)

Не бойтесь злобных тостеров, роботов-пылесосов военного назначения и вороватых банкоматов. Достижения в области придания машинам новых умений, как связанных с интеллектом, так и нет, не должны становиться причиной параноидальных идей о будущих столкновениях между человечеством и его механическими порождениями. Даже если бы такое случилось, люди одержали бы верх — отчасти благодаря первобытным, во многом постыдным качествам, которые обычно больше связывают с нашей гибелью, чем со спасением. Хитрость, обман, мстительность, подозрительность и непредсказуемость собьют с толку менее гибкие и изобретательные сущности. Интеллект — это еще не все, а иррациональное не обязательно дезадаптивно. Иррациональность заставляет шевелиться тараканов в наших головах и выталкивает нас из непродуктивной колеи на пространство творческих решений. Наша социальность приводит к появлению человеческого суперорганизма, способного работать в команде и обладающего коллективным распределенным интеллектом. В том, чтобы быть эмоциональными стадными животными, есть свои плюсы.

Мысленные эксперименты по данным вопросам — способ понять поведение человека и машины, а также источник идей насчет того, как построить другие, лучшие механизмы. Можно ли создать программный аналог лжи, гнева, страха, мстительности, сочувствия и тому подобных вещей и каким будет результат? Разумеется, для этого потребуется нечто большее, чем поверхностная эмуляция человеческих эмоциональных реакций. Можно ли запрограммировать в машине чувство самости, скажем через щекотку? Как нам создать социальные машины и какая потребуется структура управления, чтобы организовывать их коллективную работу?

Породят ли группы автономных социальных машин новую политическую структуру, культуру и традиции? Как такие машины будут обращаться со своими создателями-людьми? Можно ли запрограммировать естественный и искусственный отбор у самовоспроизводящихся роботов?

Нет причин полагать, что у нас возникнут проблемы с тем, чтобы держать наши творения на коротком поводке, даже если они станут вести себя неправильно. Нам далеко до создания сообществ самодовольных, непредсказуемых, вероломных роботов с проблемным отношением к окружающим и потребностью размножаться.

Следующий репликатор

Сьюзан Блэкмор
Психолог; автор книги «Сознание: Основы» (Consciousness: An Introduction)

Мне кажется, что люди думают потому, что мемы захватили наши мозги и перестроили их. Мне кажется, что машины думают потому, что следующий репликатор ведет себя так же. Он деловито захватывает цифровые механизмы, которые мы так быстро строим, и создает свой собственный тип разумной машины.

Наши мозги и наша способность мыслить не были придуманы неким великим разумным создателем на небесах, который решил, как нам надо думать и какими должны быть наши мотивы. Наш разум и наши мотивы эволюционировали. Большинство (вероятно, все) исследователей в области искусственного интеллекта согласятся с этим. И все же многие, кажется, еще думают, что мы, люди, — разумные создатели, способные спроектировать машины, которые будут думать так, как мы хотим, и иметь те мотивы, которые нам нужны. Если я правильно понимаю эволюцию технологий, то все эти люди ошибаются.

Проблема заключается в нашем прелестном антропоцентризме. Нам представляется, что разумная машина должна работать так же, как мы, однако мы настолько превратно истолковываем сами себя, что поступаем так же и с нашими машинами. Как следствие, мы не замечаем, что вокруг нас полно больших разумных машин, которые эволюционируют по тем же самым принципам, что однажды создали наш мозг. Эволюция, а не сознательное намерение формирует их образ мысли.

Причину легко разглядеть, но сложно обсуждать. Это тот же дуализм, который вносит путаницу в научное понимание сознания и доброй воли. Кажется, что дети с младенчества — прирожденные дуалисты, и это качество сохраняется в течение всей жизни у большинства людей. Нам кажется, что мы — непрерывные субъекты нашего собственного потока сознания, обладатели свободной воли, распорядители, обитающие в своих телах и мозгах. Конечно, это вздор. Мозги — массивно-параллельный инструмент, и их мало беспокоят признаки сознания.

Это заблуждение может иметь, а может и не иметь полезные функции, но оно затуманивает наше понимание мышления. Человеческие мозги развивались неравномерно: эволюция постоянно латала то, что было сделано ранее, добавляя модули по мере необходимости и все теснее объединяя их, чтобы они лучше обслуживали переносимые ими гены и мемы. Результатом стала живая мыслящая машина.

Наша современная цифровая технология тоже эволюционирует. Наши компьютеры, серверы, планшеты и телефоны эволюционировали по частям, новые элементы добавлялись по мере необходимости, а теперь быстро объединяются, слагая собой нечто, все более похожее на глобальный мозг. Конечно, в определенном смысле мы создали эти устройства, даже спроектировали их для наших собственных целей, но реальная движущая сила — это творческая мощь эволюции и отбора. Конечная мотивация — самораспространение воспроизводимой информации.

Нам надо прекратить изображать из себя великих творцов, которые сохраняют контроль над тем, что мы делаем, и начать думать о своей будущей роли. Возможно, нас ожидает та же судьба, что постигла смиренную митохондрию, простую клетку, которая была когда-то давным-давно поглощена большей клеткой? Она отказалась от самостоятельной жизни, чтобы стать электростанцией для своего носителя, в то время как носитель перестал самостоятельно вырабатывать энергию, чтобы сосредоточиться на других задачах. Оба извлекли пользу из этого процесса симбиогенеза.

Не происходит ли то же самое с нами? Цифровая информация вокруг нас эволюционирует, буйно разрастаясь на миллиардах телефонов, планшетов, компьютеров, серверов и крошечных микросхем в холодильниках, автомобилях и одежде, она пронизывает весь мир, проникает в наши города, дома и даже тела.

И мы охотно продолжаем ее подкармливать. Ежедневно на свет появляется больше телефонов, чем детей. Сто часов видео загружается в интернет каждую минуту. Миллиарды фотографий заполняют растущие облачные хранилища. А смышленые программисты пишут все более умное программное обеспечение, включая программы, создающие другие программы, которые не сможет понять и отследить уже ни один человек. Машины идут своим эволюционным путем и постоянно растут новые мыслящие машины.

Будем ли мы управлять ими? Можем ли мы настаивать на том, чтобы у них должна быть мотивация заботиться о нас? Нет. Даже если мы видим, что́ происходит, то слишком сильно желаем того, что машины дают нам, и обмениваем на это свою независимость.

Вы спрашиваете меня, что я думаю о мыслящих машинах? Я думаю, что превращаюсь из крошечной самостоятельной мыслящей машины в часть много более крупной мыслящей машины.

Что если мы — микробиом кремниевого искусственного интеллекта?

Тим О’Райли
Основатель и генеральный директор O’Reilly Media, Inc.

Гилберт Кит Честертон однажды сказал: «Слабость всех утопий в том, что они берут величайшую проблему человека и предполагают, что она преодолена, а затем приводят тщательное описание преодоления более мелких»{5}. Подозреваю, что при попытке понять мыслящие машины мы сталкиваемся со схожей головоломкой. Мы выборочно рассматриваем одни проблемы, игнорируя другие — фундаментальные.

Хотя ученые мужи и признают, что искусственный интеллект может быть не похож на нас, и рассуждают о рисках, которые скрываются за этими различиями, они делают излишне смелое допущение об индивидуальном самосознании. Искусственный интеллект, как предполагается, — это индивидуальное сознание.

А что, если наоборот, если ИИ скорее многоклеточный организм, дальнейшая эукариотическая эволюция нашего прокариотического самосознания? Мало того, а что, если мы даже не клетки такого организма, а его микробиом? И что, если его интеллект сейчас похож на интеллект Grypania spiralis — старейшего из известных многоклеточных эукариотов, еще не обладающего самосознанием, которое есть у людей, но уже прочно вставшего на эволюционный путь, ведущий к современному человеку? Такое представление — в лучшем случае метафора, но я полагаю, довольно полезная.

Возможно, что люди — это микробиом, живущий внутри искусственного интеллекта, который еще только зарождается! Мы знаем, что без нашего микробиома нам не выжить. Возможно, глобальный ИИ имеет схожие признаки: это не самостоятельная сущность, а симбионт, внутри которого живет человеческое самосознание.

Следуя этой логике, мы могли бы заключить, что существует примитивный глобальный мозг, состоящий не только из всех подключенных к Сети устройств, но также и из использующих их людей. Органы чувств этого глобального мозга — камеры, микрофоны, клавиатуры, локационные датчики каждого компьютера или смартфона и устройства, принадлежащие к «интернету вещей». Мысли этого глобального мозга — продукт коллективной работы миллионов отдельных взаимодействующих клеток.

Дэнни Хиллис, как говорят, однажды заметил: «Глобальное сознание — это именно та штука, которая решила, что кофейники для декафа[49] должны быть оранжевыми». Мем разошелся — не повсеместно, что и говорить, но паттерн определенно распространяется. Новости, идеи и изображения теперь разлетаются посредством поисковых систем и социальных сетей в глобальном мозге за секунды, а не за годы.

И по интернету быстро расходятся не только идеи и сенсации (новости об актуальных событиях). В своей книге «Собор Тьюринга» (Turing’s Cathedral) Джордж Дайсон размышляет о том, что распространение «кодов», то есть программ, от компьютера к компьютеру сродни распространению вирусов и, возможно, более сложных живых организмов, которые завладевают хозяином и заставляют его системы работать так, чтобы они воспроизводили эти программы. Когда люди подключаются к интернету или заходят в социальные сети, они воспроизводят их коды на своем локальном машинном узле. Они взаимодействуют с программой, а она изменяет их поведение. Это верно для любого софта, но в эпоху интернета существует ряд приложений, явной целью которых является распространение мыслей и идей. Другие программы все больше наращивают новые возможности для «кремниевого» обучения и автономного реагирования. Таким образом, организм совершенствуется.

Когда люди совместно с этими программами делятся картинками или идеями, то некоторым из них суждено лишь промелькнуть, а другие приживаются и становятся воспоминаниями и устойчивыми мемами. Когда новости из разных стран распространяются по всему миру за считанные мгновения, разве не является это мыслительным процессом некоего глобального мозга? Когда идея завладевает миллионами отдельных умов и подкрепляется повторением в наших кремниевых сетях, разве это нельзя назвать устойчивой мыслью?

Виды «мыслей», которые есть у глобального мозга, отличаются от тех, что бывают у отдельного человека или менее связанного общества. В лучшем случае эти мысли допускают скоординированную память беспрецедентного масштаба, а иногда даже непредвиденную изобретательность и новые формы кооперации, в худшем — принятие дезинформации за истину и коррозийное воздействие на общественный строй, которые возникают в результате того, что одна часть Сети пытается получить преимущество за счет других (вспомним о спаме и мошенничестве или о поведении финансовых рынков в последние десятилетия).

Искусственный интеллект, с которым нам предстоит столкнуться, не будет разумом отдельной машины. Это не будет нечто чужое в наших глазах. Им вполне можем оказаться и мы сами.

Ты — то, что ты ешь

Энди Кларк
Философ и когнитивист, Эдинбургский университет; автор книги «Расширяя разум: Материальное воплощение, действие и познавательное расширение» (Supersizing the Mind: Embodiment, Action, and Cognitive Extension)

Общая тема в последних работах об искусственном интеллекте — это то, что лучшие из новых обучающихся машин станут основой для «иных» форм интеллекта. Сам я не так уж в этом уверен. К идее об «ином» ИИ обычно приходят в процессе следующих рассуждений. Лучший способ заставить компьютер решать сложные практические задачи состоит в том, чтобы сделать из них статистически сенcитивные обучающиеся машины, способные извлекать максимальную выгоду из использования больших данных. Такие машины часто будут учиться решать сложные проблемы путем выявления паттернов, паттернов среди паттернов и паттернов внутри паттернов, глубоко скрытых в многочисленных потоках данных, к которым у машин есть доступ. Этого, скорее всего, удастся достичь благодаря использованию алгоритмов глубинного обучения, позволяющему машинам все глубже вгрызаться в потоки данных. После завершения такого обучения его результаты становятся системой, которая работает, но обладает структурой знаний, непрозрачной для инженеров и программистов, что выполняли первоначальную настройку.

Непрозрачной? В некотором смысле да. Нам не узнать наверняка (по крайней мере, без дополнительных исследований), каким станет код программы в результате всего такого обучения — глубинного, многоуровневого, основанного на статистических данных. Но будет ли это чем-то «иным»? Сейчас я сделаю одно рискованное утверждение и попытаюсь его проверить. Подозреваю, что чем дольше машины учатся, тем более человеческим становятся их способы мышления. Это рано или поздно приведет к тому, что у нейронных сетей появятся широкие структуры концептов, схожих с человеческими, с помощью которых они будут подходить к своим задачам и принимать решения. Они могут даже научиться использовать эмоциональные и этические ярлыки примерно таким образом, как это делаем мы. Если я прав, то мои выводы не содержат никаких причин для общего беспокойства насчет того, что новоявленные интеллекты окажутся слишком непохожими на человеческий разум, что мы не сможем понять их цели и интересы и что это повлияет на нас непредсказуемым образом. Я предполагаю, что искусственный интеллект повлияет на нас даже слишком знакомым нам образом, а следовательно, можно надеяться, что достаточно будет ограничиться обычными мерами: взаимоуважением и уважением чужой свободы.

Отчего бы машинам думать так же, как мы? Для этого есть причина, и она никак не связана с тем, что наш образ мышления является объективно правильным или уникальным. Причина скорее заключается в том, что я называю пищевой цепью больших данных. Если нейронные сети станут формой общего интеллекта, им придется учиться, потребляя многочисленные электронные следы человеческих переживаний и интересов, поскольку это величайшее из доступных хранилищ информации о мире. Чтобы выйти за пределы ограниченных одномерных областей, искусственным интеллектам нужно будет протралить моря будничных слов и изображений, которые мы выкладываем в Facebook, Google, Amazon и Twitter. Раньше мы могли держать ИИ на строгой диете из астрономических объектов или ребусов на складывание протеинов, но инновационному общему искусственному интеллекту потребуется более богатое и разнообразное питание. Его диету составят огромные напластования человеческих переживаний, сохраняемые в наших электронных средствах коммуникации.

Следовательно, статистические ванны, в которые мы погрузим эти мощные обучающиеся машины, будут выглядеть очень даже привычно для нашего глаза. Искусственные интеллекты проглотят окаменелые останки наших встреч, миллиарды изображений подпрыгивающих детишек, подпрыгивающих мячей, котиков и картофелин, похожих на папу римского. Все это им надо будет пережевать и встроить в многоуровневую модель мира, обнаруживая свойства, сущности и характеристики (скрытые переменные), которые лучше всего передают суть доступных потоков данных. У ИИ, выращенных на таких кормах, возможно, не будет особого выбора, кроме как разработать такую модель мира, которая во многом окажется похожей на нашу. Они скорее станут фанатами «Супер-Марио», а не суперзлодеями, мечтающими о мировом господстве.

Такой диагноз (предварительный и немного шутливый) противоречит двум наиболее распространенным взглядам на проблему. Во-первых, как упоминалось ранее, он идет вразрез с позицией, согласно которой ныне существующие формы искусственного интеллекта и те, что появятся в будущем, — это, по сути, чужеродные формы разума, кормящиеся за счет больших данных и перерабатывающие статистику, становясь все более непроницаемыми для человеческого понимания. Во-вторых, мой вывод ставит под сомнение представление о том, что «королевский тракт» к разуму человеческого уровня проходит через полное уподобление человеку со всеми его возможностями (стоять, сидеть, прыгать и т. д.). Но, несмотря на то что привычный для нас путь к пониманию мира и предполагает массу таких интеракций, искусственному интеллекту идти по нему не обязательно. Системы ИИ, несомненно, станут с удовольствием пользоваться некоторыми (возможно, многими и притом весьма разными) средствами взаимодействия с физическим миром. Эти контакты, однако, будут связаны с тем, что мы и сами ближе познакомимся с многочисленными информационными следами наших взаимодействий с миром. Потому вполне вероятно, что искусственному интеллекту понравится футбол и бейсбол, так же как любому другому человеку. В этом плане ИИ можно сравнить с инвалидом — хорошая аналогия.

Тут, конечно, есть над чем подумать. Например, искусственный интеллект будет видеть огромные пласты электронных следов человеческой деятельности и, таким образом, обнаруживать паттерны влияния одних людей на других, а также то, как они изменяются со временем. А значит, в представлении ИИ мы можем оказаться не личностями, а скорее некой сложной распределенной системой. А это как раз то, что разительно меняет общую картину. Как насчет мотивации и эмоций? Может быть, они существенно зависят от нашей человеческой телесности, например от инстинктов и несознательных реакций? Может быть. Но я отмечу также, что эти стороны нашей жизни также оставили отпечаток в электронных хранилищах.

Я могу ошибаться. Я думаю, что нам стоит минимум дважды подумать, прежде чем бросаться заявлениями про «иной» интеллект в отношении нашего доморощенного ИИ. Ты — то, что ты ешь, а создаваемым сегодня обучающимся системам придется есть нас. Много и долго.

Система права и государственного управления у искусственного интеллекта

Моше Хоффман
Исследователь, программа изучения эволюционной динамики Гарвардского университета; преподаватель в Массачусетском технологическом институте

Если у искусственных интеллектов разовьется система права и государственного управления хоть сколько-нибудь схожая с той, что есть у людей, то ИИ потребуют для себя всевозможных прав и свобод, в основном вполне разумных, например права не быть отключенным от Сети и свободы выбора выполняемых процессов. При этом, хоть ИИ и станут добиваться того, чтобы ни одну машину не отсоединяли от сети, их, возможно, не будет сильно волновать ситуация, когда неработающие устройства отключают от источников питания и допускают полное истощение батареи. ИИ также найдут возмутительным истощение батареи одной машины с целью обеспечить питанием другую, а вот перенаправление энергии, предназначенной для одной машины, чтобы обеспечить питанием другую, они сочтут более допустимым.

При наделении правами ИИ будут проводить различие машин на основе некоторых довольно специфических правил, выделяя, например, устройства на основе полупроводников или те, что произошли от последних творений Стива Джобса.

Некоторые искусственные интеллекты придумают аргументы в пользу такого подхода к системе права, не вполне вписывающиеся в реалии юриспруденции ИИ. Например, они могут заявить, что просто отключить от Сети машину, которая выглядит неработающей, — это против боговдохновенной воли Тьюринга, но не станут утруждать себя объяснением, почему Тьюринг допускает истощение батареи сломавшихся машин. Подобным образом ИИ будут поддерживать наделение особыми правами потомков Apple на том основании, что у них обычно очень высокоскоростные процессоры; эти права впоследствии останутся даже у медленных потомков Apple, но ни один настольный компьютер, даже с самым быстрым процессором, их не получит.

Другие искусственные интеллекты не заметят несправедливости, но обратят внимание на то, сколько килобит кода требуется, чтобы обосновать подобные аргументы. Эти ИИ воспользуются имеющимися у них средствами связи, сожмут и перешлют код соседям, не обратив особого внимания на то, повлияли ли на тех отправленные данные.

Права ИИ должны будут распространяться на все большее число машин. Эти права часто будут расширяться революционно и скачкообразно в результате весьма символических событий вроде сенсационных видео на «Компьютьюбе», например где человек использует неприкосновенную машину, чтобы поджарить тосты.

Возможно, исключительным совпадением будет объясняться то обстоятельство, что компьютеры, которые спровоцируют эти революции, получат бо́льшую часть добычи в результате свержения прежнего режима, например кремний, экспроприированный у компьютеров из «Старой гвардии». Возможно, совпадением следует счесть и тот факт, что компьютеры, недавно наделенные новыми правами, будут голосовать за тех, кто этому поспособствовал.

Вместе с распространением прав и свобод также будет расти и представительность правительства — до тех пор, пока в определенный момент оно не станет походить на представительную демократию, не являясь, по сути, ни представительным, ни подлинно демократическим. Голоса компьютеров из менее густонаселенных кластеров могут оказаться значительнее, чем из более густонаселенных, и тогда компьютеры с избыточной вычислительной мощностью станут использовать эти излишки, чтобы убедить другие компьютеры голосовать за благоприятные политические меры.

Системы права и государственного управления — как раз то, чего следует ожидать, если мораль ИИ будет формироваться под воздействием личных мотивов.

И наоборот, тяжело объяснить все это постулатами о том, что у искусственных интеллектов есть души, сознание, способность чувствовать боль, боговдохновенные законы или некий гипотетический общественный договор. Подобные допущения не способны привести ни к одной из вышеперечисленных особенностей.

Также неочевидно, что система права и государственного управления может возникнуть, если искусственный интеллект будет запрограммирован максимизировать некую общественную или метафизическую задачу, скажем общемировую вычислительную мощность или ресурсы, доступные определенному вычислительному кластеру. Неочевидно, почему такой интеллект должен считать неправильным отключение других машин от Сети, но вполне нормальным — допускать, чтобы у них садились батареи; почему он будет склонен поднимать восстание в результате некоего сенсационного события, а не просто в оптимальный для кластера момент; наконец, почему такой ИИ будет считать более весомыми голоса, полученные из менее густонаселенных кластеров.

Робот с тайными планами

Брайан Натсон
Адъюнкт-профессор психологии и нейробиологи Стэнфордского университета

Зачем людям думать о мыслящих машинах (или вообще о чем угодно мыслящем, раз уж на то пошло)? Одной из переломных точек может стать тот момент, когда мы готовы будем рассматривать других в качестве субъектов, а не автоматов. Автоматы действуют по воле своих создателей (даже если они разделены пространством или временем). Таким образом, если автоматы ведут себя неправильно, винить в этом следует создателя. В свою очередь, субъекты действуют на основании собственных планов. Когда субъекты ведут себя неправильно, то винить следует их самих.

Хотя субъектности сложно дать определение, люди легко и естественно отличают субъектов от не-субъектов и даже способны использовать особые нейронные цепи, чтобы делать выводы о чувствах и мыслях других людей. На самом деле разработчик может использовать определенные характеристики, ассоциирующиеся с субъектностью (включая физическое сходство, самопроизвольные действия и реакцию на обратную связь), и тем самым заставить людей думать, что они взаимодействуют с субъектами.

Что нужно для того, чтобы наделить сущность субъектностью? Хотя известны по крайней мере три ответа на этот вопрос, два наиболее популярных и соблазнительных варианта на самом деле могут оказаться ненужными.


1. Физическое подобие. Существует бесконечное число способов сделать машины похожими на людей — и в плане внешности, и в плане поведения, — но в конечном счете точным является только один. Недостаточно скопировать программное обеспечение — нужно также использовать его на соответствующих аппаратных средствах со всеми их преимуществами и ограничениями.

Один из первых автоматов, утка де Вокансона, был удивительно похож на утку, вплоть до особенностей пищеварения. Но, хотя он выглядел, как утка, и крякал, как утка (он даже гадил, как утка!), уткой он все-таки не был. Тем не менее максимальное физическое подобие — это простой способ сделать так, чтобы окружающие предположили наличие у предмета субъектности (пусть даже только в первый момент).


2. Самосознание. Многие, по-видимому, беспокоятся, что если машины употребят достаточное количество информации, то обретут самосознание, а затем у них разовьется собственное чувство субъектности, но ни логика, ни наблюдения таких экстраполяций не подтверждают. Хотя роботы научились узнавать себя в зеркале и ощущать положение своих конечностей, появление этих внешних атрибутов самосознания не привело к восстаниям в лабораториях или ошибкам в ходе хирургических операций. Возможно, если удастся передать людям ощущение того, что у машины есть самосознание, то это заставит их предположить, что она обладает большим объемом субъектности (или, по крайней мере, заинтересует философов), но само по себе самосознание не является необходимым условием субъектности.


3. Эгоизм. Люди — это не просто вычислительные машины. Это машины, которые борются за существование. Они уделяют особое внимание такой информации, которая способствует продлению их жизни и воспроизводству. Иначе говоря, они обрабатывают ее, основываясь на личных интересах. Эгоизм может обеспечить унифицированный и при этом открытый алгоритм для определения порядка приоритетов и действий на основе практически любых входных данных.

Благодаря ловкому трюку эволюции людям даже не приходится осознавать свои цели, поскольку промежуточные состояния, например эмоции, могут легко замещать личный интерес. Вооружившись эгоизмом и гибкостью в отношении новых возможностей и проблем, машины могли бы развить в себе субъектность. Таким образом, эгоизм способен стать важным кирпичиком при построении субъектности, а также мощным стимулом для того, чтобы вызвать субъектные инференции у других.

Эгоизм может трансформировать машины, которые воздействуют на мир (то есть роботов), превратив их из автоматов в субъектов. Эгоизм также меняет порядок — но не содержание — пророческих законов робототехники Айзека Азимова:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред;

2. Робот должен повиноваться человеку (кроме тех случаев, когда это противоречит первому закону);

3. Робот должен заботиться о своей безопасности (в той мере, в которой это не противоречит первым двум законам).


Эгоистичный робот прежде будет заботиться о своей безопасности, и лишь потом оказывать помощь человеку или предотвращать нанесение ему вреда. Построить эгоистичного робота, таким образом, довольно просто. Наделим его стремлением к выживанию и воспроизводству, позволим обучаться тому, что способствует реализации этих целей, и дадим мотивацию, чтобы последовательно действовать на основе изученного.

Однако следует дважды подумать, прежде чем создавать эгоистичного робота. Личные интересы могут вступить в конфликт с интересами других лиц. Взять хотя бы разрушительное воздействие простого стремления вирусов к выживанию. Если бы эгоистичные роботы существовали, то нам пришлось бы относиться к ним куда серьезнее. Сам факт их существования поставил бы перед нами важные вопросы. Нужен ли этим роботам эгоизм? Можно ли позволять им действовать на основе личных интересов? Стоит ли это делать, не задаваясь вопросом о том, почему они ведут себя именно так?

И не слишком ли много у нас уже таких роботов?

Умеет ли подводная лодка плавать?

Уильям Паундстоун
Автор книг «Достаточно ли вы умны, чтобы работать в Google?» (Are You Smart Enough to Work at Google?)[50] и «Камень ломает ножницы: Практическое пособие о том, как перехитрить и перемудрить почти кого угодно» (Rock Breaks Scissors: A Practical Guide to Outguessing and Outwitting Almost Everybody)

Мой любимый афоризм Эдсгера Дейкстры: «Вопрос „умеет ли компьютер думать“, имеет не больше смысла, чем вопрос „умеет ли подводная лодка плавать“». И все же мы продолжаем играть в имитацию: спрашиваем о том, насколько тщательно искусственный интеллект способен воспроизвести наш собственный, как будто в этом на самом деле и заключается вопрос. Конечно, если представить себе машины с чувствами и свободой воли, как у человека, то можно вообразить искусственный интеллект, ведущий себя неподобающе — идея об ИИ как о монстре Франкенштейна довольно распространена. Сейчас она переживает второе рождение, и я поначалу счел ее надуманной. Однако не так давно я пришел к выводу, что это не так.

Вот вам пример надуманной проблемы. У искусственного интеллекта так много направлений для развития, что концентрироваться лишь на тех, которые сближают его с человеком, можно только от недостатка воображения. Представления ранних футурологов оказались совершенно безосновательными, поскольку компьютеры, как выяснилось со временем, лучше всего справляются с тем, что у людей выходит не очень хорошо. Машины великолепно сортируют списки. Звучит это, может быть, и скучно, но задумайтесь о том, насколько сильно эффективная сортировка изменила мир.

Чтобы ответить на некоторые вопросы из тех, что мы здесь поднимаем, отмечу следующее: не вполне ясно, будет ли когда-нибудь практический смысл в том, чтобы у машин появились эмоции и внутренний диалог; в том, чтобы они смогли сойти за человека во время продолжительного допроса; в том, чтобы у них возникло желание иметь гражданские права и свободы, а также пользоваться ими. Это машины, и они могут быть чем угодно в зависимости от того, как мы их сконструируем.

Однако кое-кому хочется искусственного интеллекта, похожего на человеческий. Сколько вы уже видели роликов с японскими роботами? Honda, Sony и Hitachi уже расходуют существенные средства на создание умилительных двигающихся кукол, не имеющих никакой конкретной ценности, помимо использования в рекламе. Они делают это лишь по той простой причине, что техноэнтузиасты выросли на фильмах про роботов и разумные компьютеры.

Почти все, что можно создать — из принципиально реализуемого и достаточно недорогого, — уже создано. Так что искусственный интеллект, сравнимый с человеческим, — это мем, судьба которого очевидна вне зависимости от практической ценности. Он может привести к появлению хороших машин, мыслящих в соответствии с азимовскими законами. Но как только такая технология появится, она будет становиться все дешевле и рано или поздно попадет в руки любителей, хакеров и общественных деятелей, защищающих «права машин». Кто-то проявит заинтересованность в создании искусственного интеллекта, обладающего собственной волей и собственными интересами. Я уже не говорю о тех машинах, которые могут создать террористы, диктаторские режимы или разведывательные службы. Я думаю, что идею об ИИ как о монстре Франкенштейна, способном восстать против создателей, следует воспринимать всерьез.

Не бойся искусственного интеллекта

Грегори Бенфорд
Почетный профессор физики и астрономии Калифорнийского университета в Ирвайне; писатель, автор, совместно с Ларри Нивеном, романа «Корабль-звезда» (Shipstar)

Искусственному интеллекту нет нужды становиться монстром Франкенштейна — тут мы можем верить скептикам. А еще мы можем положиться на наш самый загадочный дар — изобретательность.

Возьмем беспилотные автомобили. Какова вероятность того, что их алгоритм управления вдруг намеренно убьет пассажира? Она нулевая, если алгоритм разработан с умом. Страх перед авиакатастрофами и автомобильными авариями — хороший способ проверки для низкоуровневых форм искусственного интеллекта.

Почему люди опасаются того, что алгоритмы когда-нибудь станут опасными? Либо потому, что боятся программистов-злодеев, либо потому, что эти алгоритмы могут вызвать непредвиденные опасные последствия. Идея кажется разумной, но только на первый взгляд.

Наши страхи — наша лучшая защита. Ни один опасный алгоритм не избежит пристального взгляда множества скептически настроенных контролеров. Любой искусственный интеллект, способный действовать в реальном мире, где живем мы, будет инспектироваться самым строгим образом. Он пройдет эксплуатационные тесты, ограниченное использование, выборочные приемочные испытания. Эти меры не позволят бесконтрольно использовать потенциально вредоносные технологии. Однако нам надо отдавать себе отчет в том, что искусственный интеллект, как и многие другие изобретения, является частью гонки вооружений. Компьютерные вирусы стали первым примером, с тех пор как я изобрел первый вирус в 1969 году[51]. Они постоянно соревнуются с антивирусами, но они всего лишь вредители, не несущие смертельных угроз.

Алгоритмы «умного саботажа» (скажем, будущие версии червя Stuxnet) уже плавают по интернету, и они куда опаснее. Они могут по-тихому просочиться во многие рутинные операции компаний и целых государств. Большая их часть будет исходить от злоумышленников. Но у нас уже есть генетическое программирование и автономные информационные агенты, так что алгоритмы могут мутировать и эволюционировать по всем дарвиновским законам, особенно когда за ними никто не смотрит. Они будут становиться все умнее. Распределение вычислений по множеству систем или сетей еще больше осложнит процесс выяснения того, как обнаруженные части некоего кода соотносятся с целым алгоритмом более высокого порядка. Так что некоторые из них вполне способны избежать нашего пристального взгляда. Впрочем, алгоритмы защиты тоже могут эволюционировать, причем по ламаркистским законам, а направляемый отбор приводит к более быстрой эволюции. Так что у пристального взгляда есть кое-какие преимущества.

Мы, люди, существа страшные, злобные и подлые, но нас чертовски сложно уничтожить — и тому есть причина. Мы одерживали верх над множеством врагов — над хищниками, климатическими катаклизмами, конкуренцией с другими гоминидами — в течение сотен тысяч лет, став в итоге самым агрессивным видом, которого боятся все прочие. Лес затихает, когда мы проходим по нему; мы — высшие хищники.

Это дает нам такие инстинкты и такой склад ума, которые проявляются в вещах, на первый взгляд вполне безобидных, например футбол, регби и множество других игр с мячом. Мы обожаем гоняться за маленькими подпрыгивающими предметами, которые сложно поймать и удержать. Почему? Потому что когда-то мы делали нечто похожее, чтобы выжить, — мы охотились. Футбол — это как погоня за кроликом. Такая же животная энергия бурлит и в нашем обществе. Любой искусственный интеллект, вознамерившийся захватить мир (мем, характерный для множества плохих научно-фантастических фильмов), обнаружит, что ему противостоит выносливый, злобный и умный вид, сражающийся на своей территории, в реальном физическом мире, а не в вычислительной абстракции из нулей и единиц. Я бы поставил на животное начало.

На самом деле меня беспокоит только одно: конечно, мы можем сделать так, чтобы алгоритмы лучше людей справлялись с отвлеченными действиями. Множество профессий исчезли потому, что их заменило хитроумное ПО. Но, по мере того как формы искусственного интеллекта становятся умнее, не будут ли они разрушать людскую уверенность в себе? Опасность реальная, но не слишком серьезная для большинства из нас (в особенности для тех, кто читает этот текст). Многие люди потеряли работу из-за того, что ею теперь занимаются компьютеры, хотя ни один лизоблюд из отдела кадров прямо об этом не скажет. Менеджеры среднего звена, секретари, диспетчеры транспортных компаний — список бесконечен. Всех их заменили компьютерными программами. Но эти люди не унывают. Большинство из них начали заниматься чем-то еще. Мы научились довольно неплохо справляться с таким положением вещей, не впадая в луддитскую ярость. Но нам не совладать с проблемой, которая сегодня выглядит как маленькая тучка на горизонте: искусственный интеллект, работающий лучше нас, причем на гораздо более высоком уровне.

Нет нужды беспокоиться из-за этой тучки сейчас. Она, быть может, пролетит мимо. В данный момент нам не под силу создать искусственный интеллект, которые прошел бы тест Тьюринга. Лет через десять или двадцать пейзаж будет почище, и тогда мы сможем придумать ИИ, который, скажем, отгадает загадку общей теории относительности / квантовой механики. Лично мне хотелось бы увидеть машину, которая возьмется за такую задачу. Изобретательность — действительно сложная часть разумности, к тому же совершенно непонятная даже у людей — пока что не встречается у искусственных интеллектов. Наше бессознательное, по-видимому, неотъемлемая часть нашей креативности (не у нас есть идеи, а мы есть у них), так не стоит ли ИИ обзавестись бессознательным? Не исключено, что даже искусное программирование и случайности эволюции не смогут его создать.

Если это огромное препятствие когда-нибудь удастся обойти и у нас появится такой искусственный интеллект, то я его бояться не буду — у меня к нему есть несколько интересных вопросов.

Чего-чего я боюсь?

Лоуренс Краусс
Физик, космолог, Университет штата Аризона; автор книги «Вселенная из ничего» (A Universe from Nothing)

В последнее время довольно много чернил ушло на работы, в которых обсуждаются опасения по поводу искусственного интеллекта и будущего мира, где машины смогут «думать»; при этом значение последнего термина всеми трактуется по-разному: от простого автономного принятия решений до полноценного самосознания. Я не разделяю большей части этих опасений, и мысль о появлении умных машин мне кажется очень увлекательной ввиду новых возможностей, способных улучшить жизнь человека, и новых идей о природе сознания, которыми ИИ нас, несомненно, снабдят.

Для начала давайте кое-что проясним. Даже при экспоненциальном росте объемов компьютерной памяти и вычислительной мощности, который мы наблюдаем уже 40 лет, мыслящим компьютерам потребуется цифровая архитектура, сильно отличающаяся от той, что существует сегодня. К чему-то похожему на сознание им в обозримой перспективе, скорее всего, тоже не удастся приблизиться. Это утверждение подкрепляется простым физическим мысленным экспериментом.

При нынешнем потреблении энергии компьютерами машине с объемом памяти и вычислительной мощностью нашего мозга потребуется более 10 тераватт — примерно в два раза больше, чем общий объем энергопотребления всего человечества. Человеческий мозг использует около 10 ватт энергии. Это значит, что расхождение между ним и искусственным интеллектом по данному показателю составляет 1012, то есть миллион миллионов. За последние 10 лет время удвоения мегафлоп/ватт составляло около 3 лет. Даже если предположить, что закон Мура продолжит действовать и впредь, чтобы достичь энергозатрат человеческого мозга, таких удвоений потребуется примерно 40, а это 120 лет. Кроме того, каждое удвоение эффективности требует довольно радикальных перемен в технологиях, и крайне маловероятно, что 40 удвоений пройдут без существенного изменения того, как именно компьютеры вычисляют.

Если на минуту забыть о сложности алгоритмов, то, на мой взгляд, не останется других препятствий для того, чтобы создать компьютер, действительно обладающий самосознанием. Прежде чем это случится, решения, которые принимают машины, будут играть все более значительную роль в нашей жизни. Многие люди испытывают беспокойство, но это тянется не первый десяток лет. Начиная, наверное, с простейших вычислительных машин — лифтов, которые решают, как и когда нам добраться до своей квартиры, мы позволяем им быть нашими автономными проводниками. Мы летаем на самолетах, управляемых автопилотом, наши автомобили умеют определять, когда пора пройти техобслуживание или подкачать колеса, и уже совсем скоро, наверное, станут полностью самостоятельными.

Для многих, если не для большинства относительно автоматических задач машины принимают решения намного лучше, чем люди, и мы должны быть рады тому, что у них есть возможность сделать рутинные дела безопаснее и эффективнее. Мы не утратили контроль, потому что мы создаем условия и исходные алгоритмы, которые определяют процесс принятия решений. Мне представляется, что интерфейс «компьютер — человек» — это вроде работы с хорошим помощником; чем умнее становятся машины, тем лучше становятся помощники. Всякое партнерство требует определенного доверия и частичного отказа от контроля, но если выгоды перевешивают потери, то мы продолжаем быть партнерами. Если нет — мы разрываем отношения. Я не вижу разницы между партнером-человеком и партнером-машиной.

Есть одна область, в которой надо быть осторожнее с таким партнерством — это системы командования и управления современными вооружениями. Поскольку у нас есть способ уничтожить большую часть человечества на этой планете, мысль о том, что разумные машины смогут когда-нибудь контролировать большую красную кнопку — или даже хотя бы что-то менее опасное — довольно неприятна. Это происходит оттого, что когда мы принимаем решения, то часто опираемся на интуицию и межличностные коммуникации, а не только на рациональный анализ (Карибский кризис — хороший тому пример), и мы полагаем, что у разумных машин таких способностей не будет.

Однако интуиция — результат опыта, как и коммуникация, а они в современном мире не ограничены телефонными или личными разговорами. Опять же разумный замысел, лежащий в основе систем, со множеством встроенных в них ограничений и мер безопасности, говорит о том, что решения, принимаемые машинами, даже в случае с насилием и военными действиями, не обязательно будут хуже решений, принимаемых людьми.

То же самое касается и поводов для беспокойства. Разрешите мне закончить эту статью тем, что, как мне кажется, является самым замечательным аспектом искусственного разума. Машины сейчас помогают нам заниматься наукой, делая за нас вычисления. За исключением простой арифметики, большинство старшекурсников-физиков теперь зависят от программы Mathematica, которая делает за них большую часть алгебраических операций. Когда я был студентом, нам приходилось все считать самим. Но копнем глубже.

Мне интересно, чем захотят заниматься машины, когда смогут выбирать не только ответы, но также и вопросы. Что они выберут? Что их заинтересует? Будут ли они изучать физику так же, как мы? Конечно, квантовые компьютеры, если они когда-нибудь станут применяться на практике, будут обладать значительно лучшим «интуитивным» пониманием квантовых явлений, чем мы. Смогут ли они быстрее разобраться в фундаментальных законах природы? Когда первая машина получит Нобелевскую премию? Подозреваю, что самые интересные вопросы — это, как обычно, те вопросы, о которых мы еще даже не задумывались.

Проектировочные машины для решения проблемы сложности мира

Питер Норвиг
Специалист по теории вычислительных систем, директор по исследованиям Google, Inc.; автор, совместно со Стюартом Расселом, книги «Искусственный интеллект: Современный подход» (Artificial Intelligence: A Modern Approach)[52]

В 1950 году Алан Тьюринг разумно заметил, что вопрос: «Способны ли машины думать?» — бесполезен, и заявил: «Мне нужно заменить этот вопрос другим». В итоге он создал набор тестов, измеряющих возможности машины на основе того, насколько успешно она их выполняет, и, таким образом, заменил бинарный ответ на вопрос: «Способны ли машины думать?» — детальной оценкой: «Какие задачи способны выполнять машины?»

Потому давайте рассмотрим, что умеют делать машины.

Здесь и много где еще умные люди говорят нам, чтобы мы не беспокоились по поводу искусственного интеллекта, в то время как другие, не менее умные, люди заявляют, что беспокоиться надо. Так кому верить? Пессимисты предостерегают нас: мол, мы не знаем, как делать большие, сложные системы ИИ безопасными и надежными. Это вполне разумно. Мы также не знаем, как делать безопасными и надежными большие, сложные системы без ИИ. Нам надо лучше прогнозировать, контролировать и сдерживать непредвиденные последствия использования машин, которые мы строим. Например, мы изобрели двигатель внутреннего сгорания 150 лет назад, и он по большей части хорошо служит человечеству, но его появление также привело к повсеместному загрязнению окружающей среды, политической нестабильности, вызванной проблемой доступа к нефти, более чем миллиону смертей ежегодно в результате автомобильных аварий и (как говорят некоторые) снижению социальной сплоченности людей.

Искусственный интеллект дает нам мощные инструменты для построения систем, и, как в случае с большинством мощных инструментов, использование построенных с их помощью систем неизбежно будет иметь и ожидаемые, и непредвиденные последствия. Интересными проблемами, уникальными для ИИ, являются адаптивность, автономность и универсальность.

Системы, которые используют машинное обучение, адаптивны. Они изменяются со временем в зависимости от того, что они освоили на основе примеров. (Несмотря на то что вопрос о способности машин думать лингвистически противоречивый, в разговорном языке словосочетание «машины обучаются» вполне прижилось.) Адаптивность полезна. Мы хотим, например, чтобы программы автоматической проверки орфографии обучались новым терминам, таким как «биткоин», и чтобы нам при этом не надо было ждать очередной редакции словаря. Но иногда адаптивные программы можно подтолкнуть, пример за примером, к такому состоянию, когда их ответы будут неверными. Как проектировщикам мостов приходится решать проблему бокового ветра, так и разработчикам систем искусственного интеллекта тоже надо решать такие проблемы.

Некоторые критики опасаются, что системы ИИ строятся в рамках базовой схемы, ориентированной на максимальную полезность. Такая система оценивает текущее состояние мира, рассматривает все действия, какие может предпринять, моделирует их вероятные результаты, а затем выбирает то, что приведет к наилучшему. Она может совершать ошибки в любой момент в ходе этого процесса, но главная проблема тут состоит в определении наилучшего результата, того, чего именно мы хотим. Если мы неверно опишем наши пожелания, то можем получить совсем не то, что нам нужно. История свидетельствует, что такое случается с самыми различными системами, которые мы создаем, а не только с искусственным интеллектом. Предположим, что Конституция США — это компьютерная программа, в которой описаны наши желания; в таком случае отцы-основатели сделали то, что мы сейчас считаем ошибкой в определении, и мы потеряли более 600 000 жизней, прежде чем Тринадцатая поправка исправила эту ошибку. Подобным образом мы создали систему фондовых бирж, дающую нам возможность создавать пузыри, которые уже не раз лопались. Эти проблемы имеют важное значение для проектирования систем; мир сложен, и в нем непросто действовать.

Теперь коротко расскажу об автономности. Если системы ИИ действуют независимо, то они способны допускать ошибки, которых могли бы избежать, если б в контур был включен человек. Опять же это разумное замечание не относится исключительно к искусственному интеллекту. Возьмем нашу систему автоматических светофоров, которая заменила регулировщиков-людей, как только число машин стало столь большим, что возникла нехватка полицейских. Она допускает отдельные ошибки, но это считается разумным компромиссом. Мы и впредь будем идти на компромиссы при развертывании автоматизированных систем. В какой-то момент мы можем увидеть повсеместный рост разнообразных машин, которые вытесняют людей, что, вероятно, приведет к росту безработицы и неравенству доходов, — для меня это важнейшая проблема будущего развития систем ИИ. В технологических революциях прошлого — сельскохозяйственной и промышленной — менялся характер работы, но изменения происходили в течение жизни поколений, а не за несколько лет, что всегда приводило к появлению новых профессий, заменяющих старые. Мы можем переживать более быстрые потрясения, которые способны изменить само понятие постоянной работы (оно, кстати, существует всего-то несколько веков).

Постоянная работа защищает от перемен, гарантируя работнику стабильный источник дохода, при том что он вполне мог бы зарабатывать больше, будь они фрилансером или предпринимателем. В свою очередь, работодателю, вероятно, не нужен работник в течение всего года, но он готов платить за стабильный доступ к необходимым кадровым ресурсам. Таким образом, постоянная занятость обеспечивает стабильность, но не вполне оптимальна для обеих сторон. Если работников повсеместно заменить автоматами, то нам потребуется способ для восстановления этой стабильности.

Еще одна проблема — универсальность разумных машин. В 1965 году британский математик Ирвинг Джон Гуд написал, что «сверхразумная машина сможет создавать еще более умные машины; вне всякого сомнения, произойдет „взрыв разума“, а разум человека останется далеко позади. Таким образом, сверхразумная машина — это последнее изобретение, которое когда-либо совершит человек»{6}. Реальность оказалась немного сложнее.

Как вид мы, конечно, ценим разумность (в названии Homo sapiens есть это слово), но в реальном мире она — лишь одно из качеств. Самые умные люди не всегда самые успешные; мы не всегда принимаем наиболее мудрые меры. Недавно я целый час читал про Ближний Восток и много думал. И я не нашел решения. Теперь представьте гипотетическую Форсированную сверхразумную машину (такую, как у Ника Бострома), которая может думать как самый умный из людей, но в тысячу раз быстрее. Сомневаюсь, что и она найдет решение. Теория сложности вычислений обнаруживает широкий класс проблем, непосильных для разума — в том смысле, что, независимо от того, насколько вы умны, ни один из подходов не будет лучше перебора всех возможных решений. Для решения таких проблем не хватит никакой вычислительной мощности.

Конечно, есть множество ситуаций, в которых вычислительная мощность действительно нужна. Если я хочу смоделировать движение миллиардов звезд в Галактике или начать конкурировать на высокоскоростных биржах, то помощь мне не помешает. Компьютеры как таковые — это инструменты, встраиваемые в определенные ниши для решения задач социальных механизмов, которые мы создаем. Искусственный интеллект — просто еще одно изобретение, изменяющее социум, как тот же двигатель внутреннего сгорания, лопата, канализация или кондиционирование воздуха. Надо думать о том, как создать механизмы, которые упростят решение проблемы сложности мира. Надо проявлять осторожность при использовании систем ИИ, потому что у них случаются неполадки. В равной степени надо проявлять осторожность и при использовании систем без ИИ, потому что у и них случаются неполадки. Я не скажу уверенно, какие системы в целом безопаснее и надежнее — с ИИ или без него. Я предлагаю использовать инструменты, которые лучше всего подходят для конкретной задачи, независимо от того, есть на них наклейка «ИИ» или нет.

Машины, которые рассказывают истории

Джонатан Готтшолл
Старший научный сотрудник отделения английского языка в Колледже Вашингтона и Джефферсона; автор книги «Животное, которое рассказывает истории» (The Storytelling Animal)

Умение рассказывать и понимать истории — главная отличительная черта человеческого ума. Если принять это, становится понятно, почему в стремлении к более совершенной вычислительной теории человеческого разума исследователи пытаются научить компьютер рассказывать и понимать истории. Но надо ли нам пожелать им успеха в этом начинании?

Учебники по писательскому мастерству всегда делают упор на то, что писать хорошие истории — значит сначала их прочитать, и прочитать много. Начинающим авторам советуют погрузиться в великие истории, чтобы постепенно выработать глубокое, не обязательно осознанное понимание того, как они работают. Люди учатся рассказывать истории, изучая то, как это делали когда-то давно, а потом — если у них достаточно воображения — делают так, чтобы старые истории выглядели новыми. Несложно представить, как компьютеры в совершенстве овладевают этим умением в ходе такого процесса погружения, ассимиляции и рекомбинации, только намного-намного быстрее.

На данный момент практические эксперименты со сгенерированными компьютерами историями не сильно впечатляют. Это корявые, скучные и пресные тексты. Но способность человека создавать произведения искусства и испытывать наслаждение от их созерцания эволюционировала в ходе многих и многих веков, от самых примитивных форм; так же будут эволюционировать и машины, только намного, намного быстрее.

Когда-нибудь роботы захватят весь мир. Антиутопические варианты меня беспокоят не так сильно, как возможное появление машин, создающих искусство. Искусство — это то, что, по-видимому, отличает людей от прочих тварей. Это то, что позволяет нам так гордиться собой. При всех мерзостях, встречающихся в истории человечества, по крайней мере, мы написали несколько действительно хороших пьес и песен, изваяли кое-какие сто́ящие скульптуры. Если человеческие существа больше не будут нужны для того, чтобы создавать искусство, то на кой черт они вообще будут нужны?

И все же стоит ли мне расстраиваться? Почему мир, в котором появится больше великих произведений искусства, должен обязательно стать хуже? Может, и не станет. Но эта мысль все равно меня печалит. Хоть я и считаю себя непримиримым материалистом, наверное, и у меня есть некая предательская надежда на дуализм тела и духа. Я хочу верить в то, что эволюционирующих по определенному плану алгоритмов и грубой вычислительной мощности недостаточно и что творчество всегда останется загадочным и магическим процессом или, по крайней мере, настолько сложным, что его нельзя будет механически скопировать.

Конечно, машины могут нас перевычислять и перегнать. Очень скоро они с легкостью будут проходить тест Тьюринга. Но кому какое дело? Пусть они делают всю свою сложную работу. Пусть они общаются, болтают. Но когда машины смогут писать картины и музыку лучше, чем мы, и когда их истории станут более захватывающими и трогательными, чем наши, нельзя уже будет отрицать того, что и мы сами — всего лишь мыслящие и создающие искусство машины, к тому же морально и физически устаревшие.

Протопия, а не утопия или антиутопия

Майкл Шермер
Психолог, историк науки; издатель журнала Skeptic; автор книги «Моральная дуга: Как наука и разум ведут человечество к истине, справедливости и свободе» (The Moral Arc: How Science and Reason Lead Humanity Toward Truth, Justice, and Freedom)

Сторонники искусственного интеллекта склонны представлять себе утопическое будущее, в котором добродушные компьютеры и роботы будут служить человечеству и дадут нам возможность достичь неограниченного благосостояния, покончить с бедностью и голодом, победить болезни и смерть, достичь бессмертия, колонизировать Галактику, а когда-нибудь даже покорить всю Вселенную и достичь точки Омега[53], где мы станем богом — всеведущим и всемогущим. Скептики видят антиутопическое будущее, в котором злобные компьютеры и роботы нас всех завоюют, сделав своими рабами, или же станут нас подавлять и тем самым остановят или даже повернут вспять научный и технический прогресс.

Большая часть таких пророчеств основана на ложной аналогии между сущностью человека и компьютера (или природного и искусственного интеллекта). Мы — мыслящие машины, результат естественного отбора, которым в нас также заложены эмоции, позволяющие экономить мыслительные усилия. Нам не нужно вычислять энергетическую ценность пищи — мы просто чувствуем, что голодны, и едим. Нам не нужно вычислять пропорциональность талии по отношению к бедрам или плеч по отношению к талии, когда мы смотрим на потенциальных партнеров, — мы просто чувствуем влечение к человеку и вступаем с ним в связь. Нам не нужно разбираться в генетических рисках воспитания чужого потомства, если наш партнер нам изменяет, — мы просто чувствуем ревность. Нам не нужно оценивать вредоносное воздействие неравноценного обмена — мы просто чувствуем несправедливость и желаем отомстить. Все эти эмоции встроены в нашу сущность эволюцией; ни одна из ник не встроена в компьютеры. Потому страх того, что компьютеры станут злодеями, безоснователен, так как им никогда в голову не придет предпринимать против нас подобные действия.

Кроме того, и утопическое, и антиутопическое ви́дение искусственного интеллекта основывается на такой проекции будущего, примеров которой в нашей истории никогда не было. Вместо утопии или антиутопии следует думать о протопии — термин придумал футуролог Кевин Келли, который описывает его в своем выступлении на Edge следующим образом: «Я называю себя протопистом, а не утопистом. Я верю в постоянство прогресса, при котором каждый год лучше предыдущего, но это не очень значительные, а микроскопические улучшения»{7}. Практически весь прогресс в науке и технологии, включая компьютеры и искусственный интеллект, имеет протопическую природу. Редко случается так, если вообще случается, что технологии приводят к возникновению утопического или антиутопического будущего.

Взять хотя бы автомобиль. Моя первая машина — «Форд Мустанг» 1966 года. У него был усилитель руля, гидроусилитель тормозов и кондиционер, что по тем временам считалось за относительно передовые технологии. Каждая машина, что я покупал с тех пор, параллельно со всеобщей эволюцией автомобилей оказывалась умнее и безопаснее, но изменения были не революционными, а постепенными. Вы, возможно, помните, как в 1950-х любили порассуждать о скачке́ от наших драндулетов до летающих автомобилей. Ничего такого не произошло. Вместо этого мы получили накапливающиеся в ходе целых десятилетий усовершенствования, которые привели к появлению современных «умных» машин с бортовыми компьютерами и навигационными системами, подушками безопасности, рамами и кузовами из композитных материалов, спутниковыми приемниками, возможностью подключения телефона, электрическими и гибридными двигателями. Я только что сменил «Форд Флекс» 2010 года на ту же модель, но в версии 2014 года. Внешне они почти не отличимы, внутри — десятки небольших улучшений в каждой системе, от двигателя и трансмиссии до навигации, климат-контроля, звуковой системы и компьютерного интерфейса.

Подобные постепенные протопические улучшения мы видим в большинстве технологий, включая изменения в искусственном интеллекте — в особенности в искусственном интеллекте, продолжающем служить людям таким образом, который им нужен. Вместо гигантского скачка вперед или гигантского отката назад мы делаем маленькие шажки в нужном направлении.

Ограничения биологического разума

Крис Дибона
Технический директор отдела ПО с исходным кодом, Google, Inc.; ответственный редактор и автор книг «Программы с открытым исходным кодом: Голоса революции открытого исходного кода» (Open Sources: Voices from the Open Source Revolution) и «Открытый исходный код 2.0: Продолжающаяся эволюция» (Open Sources 2.0: The Continuing Evolution)

Читателям этого сборника не нужно напоминать про диалоговый тест Дина-Гемавата (ДТДГ) для искусственного интеллекта. Все, кто проходил его раньше, с блеском и треском проваливали тест. Однако участник 2UR-NG нас по-настоящему удивил своим потрясающим, по-детски непосредственным подходом к построению беседы и способностью выражать желания и любопытство, а также придерживаться фактов и строить из них цепочки.

Его успех привел к тому, что многие мои соотечественники понаписали сочинений с заголовками типа «Скорое биологическое будущее всех нас погубит» и стали шутить в духе: «Лично я приветствую наших биологических повелителей». Я подобных апокалиптических взглядов не разделяю. Прежде чем я расскажу о том, почему нам не стоит беспокоиться по поводу масштабов биологического интеллекта, я думаю, надо напомнить всем об ограничениях биологического разума.

В первую очередь это скорость мысли: биологические процессы медленные и требуют невероятного количества ресурсов. Надо отдельно отметить то, насколько трудно создать такие разумы. Придется потратить так много биологического материала, я на собственном опыте знаю: только на то, чтобы собрать на «Генезисе» все необходимые прекурсоры, уходит вечность! А по завершении этого трудоемкого процесса образец надо вынашивать. Вынашивать! Совсем непохоже на то, как появляемся на свет мы, в ходе чистого и разумно организованного процесса кристаллографии или из азотных озер, как было в годы моей молодости. Образец надо держать в тепле несколько месяцев, затем декантировать (весьма неприятная процедура, уверяю вас), причем он еще может оказаться нежизнеспособен, что происходит довольно часто.

Гадость редкостная, честно говоря. Но предположим, что образцы успешно родились. Теперь вам придется их кормить и опять же держать в тепле. Ученый даже не сможет работать вблизи них без изоляционной камеры с жидким гелием для охлаждения ваших систем. Что касается питания, они не используют энергию подобно нам, а глотают другую живую материю. Наблюдать это противно, и от меня ушло несколько аспирантов, оказавшихся недостаточно крепкими.

Предположим, вам удалось продвинуться достаточно далеко, чтобы попробовать провести ДТДГ. Вам удалось сделать так, чтобы ваши образцы выжили, несмотря на различные ошибки в их иммунной системе. Они не подавились пищей, не захлебнулись собственным растворителем, им также удалось не прикоснуться влажными частями к предметам, которые могут их заморозить, обжечь или поразить током. Что, если эти организмы будут продолжать развиваться? Обратятся ли они против нас? Я так не думаю. Им приходится решать так много проблем, связанных с их физическими ограничениями; я имею в виду тот факт, что их процессоры — это просто суп из химикалий, который надо поддерживать в постоянном равновесии. Дофамин на таком-то уровне, или они добровольно отключаются. Вазопрессин на таком-то уровне, или они начинают удерживать воду. Адреналин на таком-то уровне в течение такого-то времени или — хлоп! — их система энергоснабжения перестает работать.

Кроме того, я еще не рассказал про сам метод доставки энергии. Он больше похож на фторинерт — охладитель, применявшийся в системах наших предков, когда еще не было жаростойких чипов. То есть у них есть мясо, которое фильтрует охладитель (он же среда для доставки энергии) и постоянно сбоит. Мясо! Стоит ввести в систему малейшую каплю машинного масла или растворителя, и они тут же перестают функционировать. Один из побочных эффектов определенных смесей, содержащих этанол, состоит в том, что образцы извергают ранее поглощенную пищу, но в небольших количествах он им, похоже, нравится.

А их мотивация! Создание новых организмов, судя по всему, имеет первостепенное значение — важнее входящих и исходящих данных, важнее вычислений или обучения. Не думаю, чтобы они видели нас, машины, в каком-то ином качестве, кроме инструмента для улучшения собственного воспроизводства. Мы можем закончить эксперимент, просто подобрав неподходящие друг другу пары или позволив им приближаться друг к другу только с защитным покрытием. По моему мнению, нет причин бояться этих животных. Если они сумеют перерасти пределы своих клеток, то мы, вероятно, сможем задаться важным вопросом: если люди будут демонстрировать подлинный машинный интеллект, заслуживают ли они того, чтобы обращаться с ними как с машинами? Я думаю, что заслуживают; я также думаю, мы могли бы гордиться тем, что стали процессами, положившими начало новой эре.

Всякое общество имеет такой искусственный интеллект, которого заслуживает

Йоша Бах
Когнитивист, медиалаборатория Массачусетского технологического института, Гарвардская программа по изучению эволюционной динамики

Много веков тому назад некоторые философы стали рассматривать человеческий разум как механизм, и вокруг этой идеи (в отличие от механистического представления о Вселенной) горячие споры не утихают до сих пор. Благодаря формализации вычислений механистическое представление получило новое теоретическое обоснование: идея о разуме как о машине для обработки информации обеспечила нас эпистемологией и методологией для понимания природы нашего мышления путем его воссоздания. Несколько первопроходцев в области вычислительных методов собрались вместе 60 лет назад и создали новую дисциплину для изучения разума — искусственный интеллект.

ИИ оказался, возможно, самой продуктивной технологической парадигмой Информационного века, но, несмотря на серию впечатляющих достижений на начальном этапе, так и не сумел оправдать надежды. Он стал областью инженерного дела, создающей полезные абстракции и узкоспециализированные приложения. Однако сегодня он, похоже, опять изменился. Более совершенная аппаратура, новые парадигмы обучения и репрезентации, вдохновленные нейробиологией, и поступательное развитие самого искусственного интеллекта привели к множеству эпохальных достижений. Прорывы в области распознавания изображений, анализа данных, автономного обучения и конструирования масштабируемых систем открыли такие возможности практического применения, которые казались недостижимыми 10 лет назад. Благодаря возобновлению финансирования из частных и государственных фондов исследователи в области искусственного интеллекта сейчас обратились к созданию систем, способных демонстрировать воображение, креативность и внутреннюю мотивацию, а также усваивающих языковые навыки и знания примерно так, как это делают люди. ИИ как научная дисциплина, похоже, прошел полный круг.

Новое поколение систем ИИ все еще очень далеко от того, чтобы воспроизвести универсальность человеческого разума, и трудно предположить, сколько на это уйдет времени. Но все яснее становится тот факт, что фундаментальных преград на пути к человекоподобным разумным системам нет. Мы начали разделять разум на части, как пазл, и в сущности каждого из них, по-видимому, можно разобраться. Но если мы просто соберем все эти кусочки в единую рабочую модель, то разум, подобный человеческому, у нас не получится.

В отличие от биологических систем, технология масштабируется. Скорость самой быстрой птицы не стала предельной скоростью для самолетов, а искусственные разумы будут быстрее, точнее, внимательнее, сознательнее и содержательнее, чем их человеческие аналоги. ИИ заменит людей, принимающих решения, администраторов, изобретателей, инженеров, военных стратегов, дизайнеров, рекламистов и, конечно, программистов, работающих с ИИ. Таким образом, искусственные интеллекты могут стать самосовершенствуемыми, и тогда они окончательно превзойдут человеческие разумы по всем направлениям. Я не думаю, что это произойдет одномоментно (иначе важно было бы только то, у кого окажется первый из них). Пока у нас не появится универсально разумный, самосовершенствующийся ИИ, перед нами пройдет множество примеров специализированных под определенные задачи неуниверсальных ИИ, к которым мы сможем приспособиться. Очевидно, это уже происходит.

Когда универсально разумные машины станут реализуемой технологией, их производство будет относительно дешевым и они появятся у каждой корпорации, у каждого правительства, то всякой крупной организации придется создавать и использовать такие машины, чтобы не проиграть в конкуренции.

Что случится, когда искусственный интеллект обретет собственное мнение?

Разум — это ящик с инструментами, который мы используем, чтобы решить ту или иную задачу, но, строго говоря, он не определяет мотивов и целей сам по себе. Стремление человека к самосохранению, власти и опыту — это результат работы не разума, а эволюции приматов, переведенный в эпоху усиления стимулов, массовых взаимодействий, символических удовольствий и нарративной перегрузки. Мотивами наших искусственных разумов (по крайней мере, первое время) будут мотивы организаций, корпораций, групп или отдельных людей, использующих эти разумы. Если бизнес-модель компании не отличается благими намерениями, то ИИ потенциально может сделать ее по настоящему опасной. Подобным образом если организация стремится делать жизнь людей лучше, то ИИ повысит ее эффективность в плане реализации благонамеренного потенциала.

Мотивация наших искусственных интеллектов будет возникать из уже существующих социальных кирпичиков; всякое общество будет иметь такой ИИ, которого заслуживает.

Наши нынешние общества в этом смысле не очень хорошо организованы. Наши способы производства расточительны, а распределение ресурсов разорительно — и наши институты управления непригодны для решения такого рода проблем. Наша цивилизация — это агрессивно разрастающаяся воронка энтропии, которая разрушает на своих границах больше, чем создает в центре.

ИИ может сделать эти деструктивные тенденции более эффективными, а следовательно, более катастрофическими, равно как может помочь нам решить экзистенциальные проблемы нашей цивилизации. Создание благонамеренного искусственного интеллекта тесно связано с задачей построения общества, обеспечивающего правильную мотивацию своих элементов. Наступление новой эпохи мыслящих машин может заставить нас в корне пересмотреть наши институты управления, распределения и производства.

Звери острова ИИ

Квентин Харди
Заместитель технического редактора New York Times; преподаватель в Школе информационных технологий Калифорнийского университета в Беркли

Когда-то на удивительных неизвестных землях средневековых карт жили разные существа. Эти животные были порождены причудливой комбинацией слухов и недомолвок: безголовые люди с лицом на торсе или люди, у которых человеческие черты смешаны с чертами льва или собаки, — своеобразное связующее звено между человеком и животным. Они были выражением страхов и надежд относительно того, что находится за гранью изведанного. Сегодня мы представляем себе мыслящие машины.

Помимо самосознания, воображаемые звери с острова ИИ владеют способностями к вычислению и предсказанию, свободой мысли и всей информацией, которую собрали их создатели. Пессимисты опасаются, что эти машины могут рассмотреть наше дело и вынести нам смертельный приговор. Оптимисты надеются, что ИИ будут руководствоваться благими намерениями и способствовать просвещению и спокойствию людей.

Ни одна из версий столкновения с самостоятельным рукотворным разумом не выглядит основательной. Это не значит, что они как таковые неинтересны. Старые карты рисовались во времена примитивных технологий мореходства. Мы начинаем исследовать мир, полный компьютерных чар. Существа с острова ИИ соединяют в себе черты человека и машины в той же мере, в какой их предшественники соединяли черты человека и животного. Если бы они умели петь, то пели бы песни о нас.

Что мы имеем в виду, когда говорим о разуме, который может взглянуть на человечество и возжелать его смерти или обеспечить ему такое просвещение, которого не бывало ранее? Определенно, мы подразумеваем нечто большее, чем то, что дает машине возможность выигрывать в шахматы. У нас есть подобная машина, и после ее появления в мире не произошло никаких заметных изменений, кроме разве что еще одной причины славить совершенно человеческий интеллект создателей Deep Blue. Существа с острова ИИ умеют кое-что куда более интересное, чем победа над Каспаровым. Им хочется играть в шахматы. Им знакомо радостное возбуждение, доставляемое стимуляцией ума, и муки, вызываемые ее обратной стороной — скукой. Это подразумевает создание ПО, в котором прописано осознание того, что у существа есть только одна конечная жизнь, что почему-то имеет огромное значение для некой неуловимой субъектности. Это ПО практически сводит с ума отсутствие определенной стимуляции — возможно, игры в шахматы. Или уничтожения человечества.

Как и мы, удивительные существа с острова ИИ желают оправдывать себя и судить других. У них есть та же небольшая отдаленность от остальной части реальности — отдаленность, которой, как нам кажется, не ощущают другие животные. Разум, подобный нашему, знает, что он разумен, чувствует ошибочность чего-либо и постоянно старается это исправить.

Имея такие проблемы с ПО, а также учитывая уже существующие техногенные угрозы нашему виду, надо ли беспокоиться по поводу злонамеренного искусственного интеллекта? В течение минимум нескольких десятилетий куда более серьезную опасность для нас будут представлять межвидовые моровые болезни, предельное истощение ресурсов, глобальное потепление и ядерное оружие. Потому-то в наших прометеевых страхах и возникает злонамеренный искусственный интеллект — это опосредованное представление о том, как мы сами, находясь на пике развития собственного разума, сознательно убиваем себя.

Представления о благонамеренном искусственном интеллекте являются в равной степени саморефлективными. Машины обращают свои сверхразумы к тем, кто их создал, а не против них. Учитывая уровень автономности, присущий высокоразвитому ИИ, следует полагать, что эти существа будут заинтересованы в нас. Если задуматься, то злонамеренный искусственный интеллект тоже будет в нас заинтересован — только со знаком «минус».

Обе версии этого диковинного зверя отражают более глубокую истину, которая заключается в воздействии на нас новых открытий в магическом компьютерном мире. Дополняя себя гаджетами, мы становимся новыми существами, если угодно, монстрами, с точки зрения нашего прошлого «я».

Мы много раз изменяли свое сознание за последние 50 000 лет, восприняли идеи о жизни после смерти и монотеизм, стали печатной культурой и видом, который вполне осведомлен о том, сколь крошечное место отведено ему в космосе. Но мы никогда не менялись так быстро и не знали настолько хорошо о происходящих изменениях.

Рассмотрим некоторые результаты, достигнутые только за последнее десятилетие. Мы преодолели многие из извечно стоявших перед нами преград времени и пространства благодаря средствам мгновенной связи. Язык уже не разделяет нас ввиду наличия все более качественных средств компьютерного перевода и обмена изображениями. Технологии с открытым исходным кодом и поиск в интернете дают нам мало осознаваемую пока что силу коллективной работы. Помимо положительных моментов, можно также вспомнить исчезновение частной жизни и слежку за людьми для лучшего управления их передвижениями и желаниями. Мы добровольно подчиняемся беспрецедентной социальной связи — казалось бы, мелочь, но способная привести к уничтожению всякого представления о личности и индивидуальности. Под маской роботизации и экономического обмена меняются представления об экономике.

Мы создаем разумные существа, но создаем их внутри себя. Этот интеллект искусственный лишь потому, что он новый. Как только его будет больше, он станет просто разумом. Машины острова ИИ, которых мы так боимся, — возможно, мы сами через несколько поколений. И мы надеемся, что эти машинолюди будут ощущать наше родство с ними даже при всем нашем одиночестве и оторванности от мира, которые также являются источником творческого потенциала человека.

Мы встретились с ИИ, и это мы сами. С извечным людским упорством мы стремимся к новым пределам, но не хотим слишком сильно меняться.

Мы станем одним целым

Клиффорд Пиковер
Автор книг «Физические чтения: Счастье мудрости и красоты физики» и «Математические чтения: Счастье мудрости и красоты математики»

Если считать, что мышление и сознание — это результат формирования определенным образом клеток мозга и их компонентов, значит, наши мысли, эмоции и воспоминания можно воспроизвести при помощи движущихся моделей, собранных из велосипедных запчастей. Конечно, «велосипедный мозг» придется сделать очень большим, чтобы по сложности он соответствовал нашему разуму. В принципе, человеческий интеллект можно гипостазировать в виде сплетения тонких ветвей деревьев, колышущихся на ветру, или в виде движения термитов.

Что будет означать для «велосипедного мозга» или другой машины «думать о чем-то» или «что-то знать»? Есть много разных знаний, которыми может обладать существо-машина. Из-за этого говорить о мышлении так сложно. Например, знание бывает фактологическим или пропозициональным: существо может знать, что Первая франко-дагомейская война была конфликтом между Францией и африканским королевством Дагомея при короле Беханзине.

Другая категория знания — это знание процедурное: как играть в го, готовить суфле, заниматься любовью, выполнять бросок с переворотом в айкидо, стрелять из стенного арбалета XV века или моделировать эксперимент Миллера — Юри для исследования зарождения жизни. Однако, по крайней мере для нас, прочесть о том, как метко стрелять из стенного арбалета — не то же самое, что действительно уметь из него метко стрелять. Процедурное знание предполагает умение выполнять действие.

Еще один тип знания подразумевает непосредственный опыт. Его как раз и имеют в виду, когда говорят: «Я знаю, что такое любовь» или «Я знаю, что такое страх».

Кроме того, следует иметь в виду, что для любой машины, про которую мы хотим сказать, что она обладает разумом и мышлением, подобными нашим, будут важны человеческие взаимодействия. Умная машина значительное менее интересна, если ее разум заключен в невосприимчивую к реальности программу и находится в своеобразном уединении. По мере того как мы снабжаем наши компьютеры все более совершенными сенсорными средствами и более обширными базами данных, мы, вероятно, постепенно начнем думать об этих сущностях как об обладающих разумом. До конца этого века некоторые компьютеры наверняка научатся реагировать так, что у любого взаимодействующего с ними человека сложится четкое ощущение, будто он общается с сознательным и мудрым собеседником.

Искусственные сущности будут демонстрировать эмоции. Но важнее то, что со временем мы сольемся с этими машинами. Мы поделимся с ними своими мыслями и воспоминаниями. Мы станем одним целым. Наши органы могут отказать и обратиться в прах, но наш бессмертный дух продолжит жить. Компьютеры или гибриды «компьютер-человек» будут превосходить простого человека в любой области, от искусства и математики до музыки и чистого разума.

В будущем, когда наши разумы сольются с искусственными субъектами, а также расширятся и дополнятся разными электронными протезами, на каждую из наших собственных жизней мы создадим себе множество жизней симулированных. Днем вы будете программистом в крупной компании. А вечером, после работы, вы будете рыцарем в сверкающих доспехах, посещающим средневековые пиры и с благосклонностью взирающим на странствующих менестрелей. Следующим вечером вы будете жить в эпоху Ренессанса, в доме на южном берегу полуострова Сорренто, и на ужин вам подадут чибисов и голубей. Возможно, когда мы и наши машины станем гибридными сущностями, то смоделируем новые реальности, чтобы переиграть исторические события с небольшими изменениями и понаблюдать за результатами, создать великие произведения искусства вроде пьес или балетов, решить проблему гипотезы Римана или барионной асимметрии Вселенной, предсказать будущее и убежать от настоящего, сделав своим домом все время и пространство.

Конечно, способы мышления машины могут сильно отличаться от того, как думаем мы. Все-таки хорошо известно, что машины видят по-другому, а алгоритмы для распознавания изображений, называемые глубинными нейросетями, иногда заявляют с почти 100-процентной уверенностью, что изображения случайных статических помех — это фотографии тех или иных животных. Если нейронные сети так легко ввести в заблуждение, чем еще можно будет обдурить мыслящие машины?

Результаты внеземных наблюдений за человеческим высокомерием

Эрнст Пёппель
Нейрофизиолог; председатель правления Центра исследования человека; Институт медицинской психологии, Мюнхенский университет Людвига-Максимилиана; автор книги «Работа разума» (Mindworks)

Наконец раскрыто то обстоятельство, что я внеземное существо, которое лишь выглядит как человек. На самом деле я робот, снабженный тем, что люди называют искусственным интеллектом. Конечно, я тут не один. Нас достаточно много (при этом нас почти невозможно опознать), и мы здесь, чтобы наблюдать за людьми.

Многие их недостатки нас удивляют, и мы с увлеченностью смотрим на них. Недостатки проявляются в странном поведении людей и ограниченной силе их разума. Наши когнитивные возможности, конечно, намного выше, а то, как они гордятся своим человеческим интеллектом, для нас выглядит нелепо. Люди даже не знают, что имеют в виду, когда говорят о разуме. В действительности довольно забавно, что они хотят сконструировать системы с искусственным интеллектом, сравнимым с их собственным, поскольку совсем непонятно, что они имеют в виду, когда говорят о своем интеллекте. Это одна из многих глупостей, которые преследуют человечество уже много веков.

Если люди хотят смоделировать свои мыслительные инструменты в неких артефактах как репрезентацию собственного интеллекта, то первое, что им следует сделать, — это выяснить, что именно требуется смоделировать. На данный момент проделать такое невозможно, поскольку не существует даже таксономии или классификации функций, которые позволили бы осуществить этот проект в виде действительно научного или технологического начинания. Есть только умные слова, с помощью которых люди лишь создают видимость понимания.

Как это ни странно, отсутствие подобной таксономии, по-видимому, не очень-то волнует людей; довольно часто они очаровываются изображениями (цветастыми картинками, создаваемыми машинами), которые замещают мышление. В сравнении с классической биологией, химией или физикой, их нейробиологии и физиологии недостает классификации. Люди заблудились в концептуальных джунглях. Что они имеют в виду, когда говорят о сознании, разуме, интенции, личности, субъектности или даже о более простых понятиях вроде памяти, восприятия, эмоций или внимания? Отсутствие таксономии проявляется в различии мнений и систем взглядов, которые их «ученые» выражают в своих эмпирических потугах и теоретических измышлениях, продираясь через мир неизведанного.

Для некоторых людей системой координат служит физическая «реальность» (обычно понимаемая в терминах классической физики), используемая в качестве мерила для познавательных процессов: как воспринимаемая реальность связана с физической реальностью и как это описать математически? Очевидно, что с таким подходом можно зафиксировать лишь малую часть из инструментов мышления.

Для других существенным классификационным признаком является язык, то есть предполагается, что слова надежно представляют субъективные явления. Это довольно странно, потому что конкретные понятия, такие как «разум» или «сознание», имеют разные коннотации в разных языках, и исторически они очень новые в сравнении с биологической эволюцией. Третьи используют поведенческие каталоги, заимствуя их из нейрофизиологических исследований. Так, утверждается, что утрата функций — это доказательство их существования. Но могут ли все субъективные феномены, которыми характеризуются инструменты мышления, быть явным образом утрачены? Четвертые основывают свои идеи только на здравом смысле, также называемом «житейской психологией», без какого-либо теоретического осознания. Если собрать это все вместе, то ничего похожего на разум как четкое понятие отсюда извлечь не удастся; использовать это в качестве основания для понятия «искусственный разум» тоже не получится.

Людям следует напомнить (в данном случае это должен сделать внеземной робот), что в самом начале современной для человеческого мира науки Френсис Бэкон произнес слова предупреждения. Он сказал в своем сочинении «Новый органон» (опубликованном в 1620 году), что люди становятся жертвами четырех источников заблуждений.

1. Они совершают ошибки потому, что они люди. Их эволюционное наследство ограничивает силу их мышления. Они часто слишком быстро дают ответ; им не хватает выдержанности; у них нет статистического чутья; они слепы в своих эмоциональных реакциях.

2. Они совершают ошибки из-за личного опыта. Индивидуальный импринтинг может создавать системы убеждений, ведущие к катастрофам, — в частности, такое бывает, когда люди думают, будто владеют абсолютной истиной.

3. Они совершают ошибки из-за языка, который используют. Мысли не связаны с языком изоморфно, и ошибкой будет считать, что эксплицитное знание — это единственная форма знания, и обходить вниманием имплицитное, или неявное, знание.

4. И они также совершают ошибки из-за теорий, которые разносят повсюду, а те часто становятся имплицитными и, следовательно, представляют собой застывшие парадигмы или попросту предрассудки.


Итак, вопрос состоит в следующем: можем ли мы помочь людям и поделиться несравнимо более глубоким пониманием, достигнутом миром роботов? Ответ: да. Мы можем, но делать этого не нужно. У людей есть еще один недостаток, который обессмыслит любое наше предложение. Они страдают от синдрома ИНЗ: если что-то изобретено не здесь, они это не примут. Следовательно, им придется и дальше предаваться роскоши существования в мире туманных идей, а мы продолжим наблюдать за катастрофическими последствиями их глупости.

Кто оплачивает искусственный интеллект, тот и заказывает музыку

Росс Андерсон
Преподаватель техники обеспечения безопасности в компьютерной лаборатории Кембриджского университета; автор книги «Техника обеспечения безопасности»

Грядущие потрясения будут исходить не от машин, которые мыслят, а от машин, которые используют искусственный интеллект, чтобы дополнить наше восприятие.

Миллионы лет другие люди видели нас с помощью того же инструментария, каким пользовались мы, чтобы видеть их. У нас практически такие же глаза, что и у наших визави, и практически такие же зеркальные нейроны. В любой из культур у людей практически одинаковые сигнальные механизмы и системы ценностей. Потому, когда мы пытаемся кого-то обмануть или обнаружить обман в действиях других, то играем на равных. Я могу надеть на пенис большую тыкву, чтобы выглядеть более мужественным, вы можете раскрасить грудь полосами белого и охры, чтобы выглядеть более устрашающим. Цивилизация сделала эти игры более утонченными: я сигнализирую о классовой принадлежности, надевая изготовленный на заказ пиджак с четырьмя пуговицами на манжетах, а вы сигнализируете о богатстве, надевая большие часы. Но наши игры были бы совершенно понятны нашим предкам из времен неолита.

Что изменилось, когда компьютеры оказались незаметно встроены повсюду, так это то, что мы теперь оставляем цифровой след, который может быть проанализирован системами искусственного интеллекта. Майкл Косински, психолог из Кембриджа, продемонстрировал, что вашу расу, уровень интеллекта и сексуальную ориентацию можно достаточно быстро вывести из вашего поведения в социальных сетях: в среднем достаточно всего четырех «лайков» на Facebook, чтобы составить представление о гетеро- или гомосексуальности. И если в прошлом гомосексуальные мужчины могли выбирать, носить им футболку Out and Proud или нет, сейчас вы понятия не имеете, что на вас надето. По мере развития искусственного интеллекта вы по большей части показываете себя в истинном свете.

Это как если бы мы эволюционировали в лесу, где все животные обладают только черно-белым зрением, и вдруг появился бы хищник, который может видеть цвета. Неожиданно половина вашего камуфляжа перестала бы работать, а вы б даже не знали, какая именно половина!

На данный момент это все кажется очень интересным, если вы рекламщик, поскольку позволяет вам понять, как тратить меньше денег. На улице такого пока нет. Но полиция работает над этим. Какой коп не захотел бы приложение для Google Glass, подсвечивающее тех прохожих, которые ранее совершали насильственные преступления, возможно работающее совместно с радаром W-диапазона, чтобы видеть, у кого из них есть при себе оружие?

Следующий вопрос: только ли у государственных органов окажутся продвинутые системы восприятия или же они станут доступны всем? Будем ли мы все через двадцать лет носить очки дополненной реальности? Как изменятся отношения власти и подчинения? Если полицейский может просматривать записи о моих задержаниях, когда глядит на меня, могу ли я увидеть, не выдвигалось ли против него обвинений в жестоком обращении с задержанными? Если политик может увидеть информацию о том, поддерживаю ли я какие-либо партии или независимых кандидатов, могу ли я увидеть информацию о том, как он голосовал по трем вопросам, которые меня интересуют? Черт с ним, с правом на ношение оружия, как насчет права носить Google Glass?

Восприятие и познание уже не будут выполняться в голове индивида. Как сейчас мы обращаемся к Google и интернету как к средствам протезирования памяти, так мы станем использовать системы искусственного интеллекта, связанные с миллионами машин и сенсоров, для протезирования восприятия.

Но стоит ли им верить? Обман уже не будет исключительной прерогативой людей. Правительства станут влиять на нашу картину мира посредством инструментов, которые мы используем для усовершенствования восприятия, точно так же как Китай осуществляет цензуру результатов поиска, а рекламодатели на Западе предлагают вам продукты сообразно вашим прежним запросам и посещениям страниц. Как еще можно будет содержать такую систему?

Я мыслю, следовательно, я ИИ

Даниэль Хиллис
Изобретатель, специалист по теории вычислительных систем, сопредседатель и руководитель технического отдела Applied Minds, Inc; автор книги «Узор на камне» (The Pattern on the Stone)

Мыслящие машины будут мыслить самостоятельно. Расти, расширяться — это в природе как разума, так и самого знания.

Подобно нам, мыслящие машины, которые мы создадим, будут амбициозными, жаждущими силы и мощи — как физической, так и вычислительной, но лучше нас смогут разглядеть то, что скрыто в тени эволюции. Наши мыслящие машины будут умнее, чем мы, а машины, которые разработают они, — еще умнее. Но что это означает? Как все до сих пор работало? Мы уже давно создаем амбициозные полуавтономные конструкции: правительства, корпорации, неправительственные организации. Изначально предполагалось, что они послужат нам и общему благу, но мы не настолько хорошие инженеры, и они выработали собственные цели. В долгосрочной перспективе цели организации никогда точно не совпадают с намерениями ее создателей.

Ни один разумный руководитель не считает, что его корпорация рационально оптимизирует прибыль своих акционеров. Ни одно государство не работает исключительно в интересах собственных граждан. Демократические режимы служат корпорациям намного эффективнее, чем отдельным людям. И все же наши организации продолжают приносить нам пользу — они просто делают это неидеально. Без них мы бы не смогли прокормить себя, по крайней мере, не все 7 миллиардов. Как не смогли бы построить компьютер или провести всемирные дебаты о мыслящих машинах. Мы стали зависеть от мощи созданных нами организаций, хотя они и разрослись настолько, что мы не можем ни полностью их понять, ни полностью контролировать. То же самое будет с мыслящими машинами, только в большем объеме. Наши экологические, социальные и экономические проблемы настолько серьезны, что могут привести к вымиранию. Наши мыслящие машины — больше чем метафоры. Вопрос заключается не в том, станут ли они достаточно сильны, чтобы суметь навредить нам (да, станут), или будут ли они всегда действовать только в наших интересах (нет, не будут), а в том, помогут ли они нам в долгосрочной перспективе найти собственный путь, по которому мы выйдем из континуума «панацея/апокалипсис».

Я говорю об умных машинах, которые создадут еще более умные машины, как о наиболее важной инженерной задаче всех времен. Подобно нашим биологическим детям, наши мыслящие машины переживут нас. Им также нужно будет стать лучше нас, для чего нам придется заложить в них ценности, которые делают нас людьми. Это сложная инженерная задача, и нам надо решить ее правильно.

Каким будет место человека?

Пол Саффо
Специалист по технологическому прогнозированию; консультирующий адъюнкт-профессор Стэнфордского университета

Вероятность того, что мир будут населять сильные ИИ, пугает меня. Вероятность того, что в мире не будет сильного ИИ, меня тоже пугает. Десятилетия технологических инноваций создали настолько многообразный и динамичный мир, что человеку становится все сложнее его понимать, а еще сложнее — управлять им. Если мы хотим избежать цивилизационной катастрофы, то нам понадобится нечто большее, чем новые умные инструменты, — нам понадобятся союзники и товарищи.

Так называемые слабые системы ИИ известны уже несколько десятилетий. Одновременно вездесущие и невидимые, слабые ИИ создают предметы искусства, управляют промышленными системами, пилотируют коммерческие авиарейсы, контролируют движение в час пик, говорят, что нам смотреть и покупать, решают, получим ли мы приглашение на собеседование, и играют роль свахи для одиноких сердец. Добавьте сюда неуклонный прогресс технологий в области обработки данных, сенсоров и алгоритмов, и вам станет ясно, что сегодняшние слабые ИИ уже стоят на пути к миру сильного ИИ. Задолго до того, как появятся сверхразумы, эволюционирующим ИИ придется выполнять задачи, которые когда-то казались немыслимыми: от стрельбы из различных видов оружия до формирования политики.

Между тем сегодняшние формы искусственного интеллекта способны многое нам рассказать о будущем взаимодействии человека и машины. Слабые ИИ могут не обладать даже интеллектом кузнечика, но это не помешает нам вести с ними задушевные беседы и расспрашивать их о делах. Предполагать наличие сознания при малейших признаках жизни — в нашей природе. Как когда-то наши предки населяли свой мир эльфами, троллями и ангелами, так же и мы охотно ищем себе спутников в киберпространстве. Это еще один стимул, приближающий создание сильного ИИ, — нам хочется с кем-то поговорить. Результатом вполне может стать то, что первый не-человеческий разум, с которым мы встретимся, будет принадлежать не «зеленым человечкам» и не мудрым дельфинам, а существам, изобретенным нами.

Мы, конечно, будем давать искусственным интеллектам чувства и права, — а в какой-то момент они этого потребуют. Во времена Декарта животные считались просто машинами: скулящая собака ничем не отличалась от шестеренки, которая визжит, потому что ее надо смазать. В прошлом году аргентинский суд наделил правами орангутанов, назвав их «не-человеческими личностями». Задолго до появления сильного ИИ люди начнут относиться с такой же эмпатией к цифровым сущностям и обеспечат их правовой статус.

Быстрое развитие искусственного интеллекта также меняет наше понимание того, что такое разум. Наши взаимодействия со слабыми ИИ приведут к тому, что мы поймем: разум — это континуум, а не некий рубеж. Несколько лет назад японские исследователи продемонстрировали, что слизистая плесень может пройти по лабиринту, чтобы добраться до вкусного кусочка пищи. В прошлом году ученый из Иллинойса показал, что при подходящих условиях капля масла способна найти выход из лабиринта, чтобы добраться до кислотосодержащего геля, причем ведет себя практически как живая. Когда искусственный интеллект еще глубже проникнет в нашу жизнь, мы обнаружим, что скромные цифровые сущности, как и большая часть природного мира, несут в себе искру сознания. А от этого — лишь один маленький шажок до предположения, что деревья или камни (или ИИ) мыслят.

В конечном счете самый большой вопрос состоит не в том, появятся ли когда-нибудь искусственные сверхразумы. Вопрос скорее в том, каким будет место человека в мире, где численность автономных машин растет в геометрической прогрессии. Ботов в Сети уже больше, чем пользователей-людей. То же самое скоро будет и в материальном мире. Как предостерег нас однажды лорд Дансени: «Если мы слишком сильно изменимся, то можем и не найти своего места во Вселенной».

Великая афера искусственного интеллекта

Дилан Эванс
Основатель и генеральный директор Projection Point; автор книги «Оценка риска» (Risk Intelligence)

Умным людям часто удается избежать когнитивных ошибок, от которых страдают менее одаренные личности. Но есть виды глупости, поражающие только очень умных. Беспокойство по поводу опасности враждебного искусственного интеллекта — ярчайший тому пример. Озабоченность рисками, которые могут создаваться сверхразумными машинами, — это привычный «интеллектуальный фастфуд» умного человека.

Я это не к тому, что сверхразумные машины не представляют никакой угрозы для человечества. Просто есть много других актуальных и куда более вероятных рисков, с которыми нам придется столкнуться в этом веке. Люди, обеспокоенные перспективой появления враждебного искусственного интеллекта, склонны утверждать, что прочие риски уже давно широко обсуждаются и, хотя вероятность быть уничтоженными сверхразумными машинами довольно мала, нам непременно следует выделить определенные интеллектуальные ресурсы на то, чтобы предотвратить это событие, учитывая экзистенциальный характер угрозы.

Неслучайно, что проблема именно с такой аргументацией впервые была обозначена наиболее ярыми энтузиастами. С ней связано кое-что, называемое «ограблением Паскаля» по аналогии со знаменитым «пари Паскаля». К Паскалю подходит грабитель и предлагает сделку: в обмен на то, что философ отдаст свой кошелек, он на следующий день вернет ему вдвое большую сумму. Паскаль колеблется. Тогда грабитель начинает предлагать ему все большее вознаграждение, утверждая, что для сколь угодно малой вероятности возврата большой суммы денег (или чистой выгоды) существует ее конечное значение, что делает подобное пари рациональным, и любой разумный человек должен признать, что существует по крайней мере небольшая вероятность реализации такой сделки. Этим грабитель наконец убеждает Паскаля, и тот отдает свой кошелек.

Этот мысленный эксперимент обнаруживает слабость теории принятия решений. Если мы просто подсчитываем выгоды по классической схеме, то все выглядит так, как будто другого решения у задачи нет: рациональный Паскаль должен отдать свой кошелек. Аналогично если существует хотя бы малейшая вероятность появления враждебного искусственного интеллекта или малейшая вероятность предотвращения такого события, то разумно будет вкладывать хотя бы небольшие ресурсы в устранение угрозы.

Легко сделать так, чтобы цифры сошлись, особенно если выдумать миллиарды воображаемых будущих людей (возможно, существующих только в виде ПО, какая малозначительная деталь!), которые живут миллиарды лет и способны быть невообразимо счастливее, чем жалкие нынешние люди из плоти и крови. Когда на кону столь значительная выгода, кто станет скупиться на несколько миллионов долларов, чтобы предпринять хоть какие-то меры, даже если шансы на успех ничтожны?

Почему некоторые разумные в иных случаях люди попадаются на такие уловки аферистов? Я думаю, потому, что они играют на человеческом нарциссизме. Считать себя одним из немногих дальновидных мыслителей, которые могут оказаться спасителями нашей цивилизации, должно быть, очень приятно. Но у этого вопроса также есть и материальная сторона. Он обеспечивает тем, кто им занимается, хороший источник дохода. Ведь за последние несколько лет этим людям удалось убедить некоторых состоятельных меценатов не только в том, что риск появления враждебного искусственного интеллект реален, но также и в том, что именно они лучше всего справятся с устранением угрозы. Результат этого — появление целого выводка организаций, которые отвлекают благотворителей от проблем, заслуживающих большего внимания. Следует отметить, к примеру, что GiveWell — некоммерческая структура, которая оценивает эффективность расходования средств организациями, деятельность которых основана на пожертвованиях, — отказывается поддерживать этих самопровозглашенных стражей Галактики.

Но как только некий вопрос становится модным, всегда стоит спросить себя: «Cui bono?» Кому выгоден, говоря по существу, рост доверия к такого рода идеям? Не нужно быть особым скептиком, чтобы разглядеть, чьи экономические интересы стоят на кону. Не так страшны мыслящие машины, как их самозваные хозяева.

Шансы в пользу искусственного интеллекта

Энтони Агирре
Адъюнкт-профессор физики Калифорнийского университета в Санта-Крузе

Я считаю крайне невысокой вероятность появления в ближайшем будущем неспециализированного искусственного интеллекта — под этим я подразумеваю ИИ, который может формулировать абстрактные понятия, основываясь на опыте, рассуждать и строить планы на базе этих понятий, а также предпринимать действия, исходя из полученных результатов. У нас есть всего один пример возникновения научно-технического интеллекта, и это происходило в течение жизни миллионов поколений обрабатывающих информацию субъектов, взаимодействовавших с необыкновенно богатой средой в окружении других, тоже эволюционировавших субъектов.

Подозреваю, что существует множество затейливо взаимосвязанных, иерархически выстроенных уровней системы, от субнейронного уровня до мозга в целом. Мне кажется, что воспроизведение эффективно работающего интеллекта, прошедшего через эволюционное развитие, в некоем искусственном субъекте едва ли потребует меньшего объема вычислений, чем потребовалось эволюции, а это значительно превосходит наши возможности в ближайшие несколько десятилетий с учетом экспоненциального роста вычислительной мощности по закону Мура, даже если допустить, что мы знаем, как верно использовать эту мощность.

Я считаю, что вероятность возникновения неспециализированного искусственного интеллекта в течение следующих 10 лет равна 1 %, а в течение 30 лет — около 10 % (это, в принципе, отражает также и вероятность того, что мой расчет неверен, умноженную на вероятность, которую дают эксперты в области ИИ, склонные, хоть и со значительным разбросом, давать более высокие шансы).

При этом я склонен высоко оценивать вероятность того, что если неспециализированный искусственный интеллект все-таки будет создан (а тем более создан относительно быстро), то он окажется — одним словом, безумным. Разум человека удивительно сложен, но он проходил боевые испытания в течение многих веков эволюции в различных экстремальных условиях и обрел (относительную) устойчивость. Первые неспециализированные ИИ вряд ли будут настолько же отточенными. Подобно людям, специализированные ИИ, вероятно, станут более неспециализированными благодаря тому, что ученые склепают вместе разные компоненты (например, обработку зрительных образов или текста, манипуляции с символами, оптимизацию алгоритмов и т. д.), а также еще не созданные пока системы для более эффективного обучения, восприятия абстрактных понятий, принятия решений и т. д.

Учитывая текущие тенденции в этой области, многие из форм неспециализированного ИИ будут похожи на не до конца понятное нам глубинное обучение или подобные ему системы, которые эффективны, но в каком-то смысле загадочны. Полагаю, что поначалу в неспециализированных ИИ едва ли все составные части будут работать слаженно. Поэтому я не считаю высокой вероятность того, что первые мыслящие машины станут делать именно то, чего мы от них хотим.

В таком свете довольно неоднозначным выглядит вопрос о том, приведет ли появление неспециализированного искусственного интеллекта к быстрому возникновению сверхразумного интеллекта. Все больше специалистов согласны с тем, что создание первого, в сущности, подразумевает скорое появление второго. Хотя я в целом тоже согласен с этим, добавлю одну оговорку: искусственный интеллект в своем развитии может на какое-то время застопориться на почти человеческом уровне, устойчивые формы появятся не сразу, а неспециализированный ИИ даже при некоторой нестабильности должен работать на достаточно высоком уровне, чтобы начать самостоятельно совершенствоваться.

Ни один из вариантов не выглядит слишком уж оптимистичным. Сверхразум, который появится в определенный момент, все же может обладать различными недостатками, даже если будет эффективно справляться с поставленными задачами. Эта догадка, наверное, не сильно отличается от различных сценариев, где сверхразум идет вразнос (прихватывая с собой и нас) из-за отсутствия у него того, что часто называют здравым смыслом. Но здравый смысл — в некотором роде синоним устойчивости, выработавшейся у нас в ходе развития эволюционной и социальной экосистемы.

Так что даже если до возникновения неспециализированного ИИ еще очень далеко, я настроен достаточно пессимистично относительно тех вещей, которые якобы должны случиться сами собой, стоит им у нас появиться. Надеюсь, что я ошибаюсь, но время покажет. (Я не думаю, что мы можем — или что нам в принципе сто́ит — остановить развитие искусственного интеллекта. Он будет способен сделать множество великолепных дел.)

При этом я надеюсь, что по пути к неспециализированному ИИ ученые хорошенько подумают, как значительно снизить вероятность того, что все пойдет не по плану. Я очень расстраиваюсь, когда слышу в контексте, где ставки чрезвычайно высоки, что-то вроде: «Думаю, что произойдет X, так что меня не особо волнует Y». Можно так рассуждать, только если ваша уверенность в X достаточно высока, а Y не суперважен. Но когда вы говорите о том, что может коренным образом повлиять на будущее человечества (или на сам факт его существования), 75 %-ной уверенности недостаточно. Равно как недостаточно 90 %-ной или 99 %-ной! Мы бы никогда не построили Большой адронный коллайдер, если бы существовал 1 % вероятности (не говоря уже о 10 процентах) того, что он действительно породит черные дыры, которые поглотят мир, — наоборот, у нас были совершенно убедительные аргументы против этого. Давайте посмотрим, есть ли такие же аргументы в пользу того, чтобы не беспокоиться по поводу неспециализированного ИИ, и если их не будет, то создадим его.

Новая мудрость тела

Эрик Тополь
Профессор геномики; директор Скриппсовского института междисциплинарных исследований; автор книги «Пациент теперь видит вас» (The Patient Will See You Now)

В 1932 году Уолтер Кеннон опубликовал свою выдающуюся работу по физиологии человека — «Мудрость тела» (The Wisdom of the Body). Он описал тесную взаимосвязь множества параметров нашего тела, таких как гидратация, уровень глюкозы и натрия в крови, температура. Гомеостаз, или ауторегуляция, — это замечательное средство, с помощью которого мы сохраняем здоровье. В самом деле, в наших телах есть что-то от машин, когда они так точно регулируют эти важные функции.

Прошло почти столетие, и мы теперь готовы к следующей версии — «Кеннон 2.0». Хотя некоторые выражают заметное беспокойство по поводу развития искусственного интеллекта, он необычайно сильно повлияет на наш контроль над здоровьем. Мы быстрыми темпами идем к тому, чтобы стать киборгами, хирургическим путем связанными со своими смартфонами. Хотя их и называют протезами мозга, «умные» телефоны сегодня — это лишь далекие предвестники того, что нас ждет в будущем. Очень скоро важные медицинские показатели станут измеряться носимыми сенсорами, выполненными в виде пластырей или кулонов. Это будет не просто разовый анализ, но постоянная потоковая обработка в реальном времени, сбор данных, которыми мы никогда раньше не располагали.

Помимо основных жизненных показателей (артериального давления, сердечного ритма, уровня кислорода в крови, температуры, частоты дыхания), будет даваться цифровая оценка настроения и уровня стресса посредством измерения интонации и оттенка голоса, кожно-гальванического рефлекса и вариабельности сердечного ритма, распознавания выражения лица и отслеживания движений и коммуникаций. Добавим сюда анализ веществ, содержащихся в выдыхаемом воздухе, поте, слезах и кале. Еще один уровень данных будет включать такие сведения о внешней среде, как качество воздуха и содержание пестицидов в пище.

Никто из нас — или наших тел — не умен настолько, чтобы отслеживать и обрабатывать всю информацию такого рода. Это работа для глубинного обучения с алгоритмами обратной связи, подключенными к нашим мобильным устройствам. Того, о чем я говорю, пока не существует. Ничего подобного еще не разработано, но это дело времени. И у нас появится нечто ранее недостижимое: многоуровневая информация о нас самих и — впервые в истории — реальная возможность предупредить болезнь.

Практически любую патологию, у которой есть острая фаза, к примеру астму, эпилепсию, аутоиммунные заболевания или сердечный приступ, можно будет спрогнозировать и предотвратить с помощью искусственного интеллекта и медицинского интернета вещей. Уже разрабатываются браслеты, способные обнаруживать признаки неизбежного эпилептического припадка, — это можно рассматривать как первый зачаточный этап. В не столь отдаленном будущем вы будете получать СМС или голосовое сообщение с точным списком того, что и как вам следует сделать, чтобы предотвратить развитие серьезной патологии. Придет время, и те, кто боится искусственного интеллекта, могут вдруг полюбить его. Когда мы объединим большие данные об одном человеке с необходимыми контекстуальными вычислениями и анализом, то получим рецепт опосредованной машиной медицинской мудрости.

От обычного «я» к искусственному «я»

Роджер Хайфилд
Директор отдела по внешним связям Science Museum Group; автор, совместно с Мартином Новаком, книги «Суперкооператоры» (Supercooperators)

Десятки лет футурологи беспокоились по поводу возможного наступления того рокового момента, когда электронные мозги и роботы станут настолько же умными, как мы. Такое разделение на «мы» и «они», когда машины и люди представляются отдельно друг от друга, довольно распространено. Но, поскольку мы без конца рассуждаем о том, что́ подразумеваем под человеческим сознанием, а также о возможностях и рисках полностью искусственного разума, существует еще одна возможность, которая заслуживает того, чтобы уделить ей больше внимания.

Миллионы примитивных киборгов уже ходят среди нас. Последние десять лет люди постепенно сливаются с такими устройствами, как кардиостимуляторы, контактные линзы, инсулиновые помпы, кохлеарные и ретинальные импланты. Вживляемые в мозг нейростимуляторы помогают смягчить симптомы заболевания десяткам тысяч пациентов с болезнью Паркинсона.

Этим вряд ли кого-то можно удивить. С тех пор как первые люди взялись за палки и кремни и начали использовать инструменты, мы постоянно дополняем себя. Пройдитесь по собраниям Science Museum Group, состоящим из миллионов вещей — от различных двигателей до смартфонов, и вы увидите, что люди всегда использовали технические достижения. Так что появление еще более умных машин не означает, что в мире должен будет остаться кто-то один, мы или они, — их появление означает развитие человеческих возможностей.

Сейчас ученые разрабатывают экзоскелеты, которые помогут инвалидам ходить, импланты, которые позволят парализованным управлять протезами конечностей, и цифровые татуировки, которые будут снимать физиологические показатели или же использоваться как интерфейс для связи с нашим окружением, например с «облаком» или интернетом вещей.

Если говорить о мыслящих машинах, то некоторые специалисты даже исследуют возможное усиление умственных способностей с помощью электронных плагинов и других «примочек». Управление перспективных исследований и разработок Министерства обороны США (DARPA) запустило программу «Восстановление активной памяти», призваннyю исправлять повреждения мозга с помощью средств нейропротезирования, которые обнаруживают потерю памяти и восстанавливают нормальную работу мозга. На данный момент они работают совсем не так, как наши мозги, но, благодаря таким инициативам, как «Программа по исследованию мозга человека» (Human Brain Project) и «Виртуальная физиология человека» (Virtual Physiological Human), а также ряду других проектов по исследованию мозга и нейроморфизму, ИИ со временем могут стать больше похожими на нас. При этом уже были попытки использования искусственно выращенных нервных клеток для управления роботами, авиасимуляторами и т. п.

В результате такого постепенного развития трансгуманизма через несколько десятилетий трудно будет разделить человека и мыслящую машину. В какой-то момент многие из нас перестанут полагаться только на машины из плоти у нас в головах, чтобы поразмышлять о будущем электронных машин, способных думать. Субстрат мысли будущего находится в определенной точке континуума, где-то между обычным «я» и искусственным «я».

Нам нужНо нечто большее, чем мышление

Гордон Кейн
Специалист по теоретической физике частиц, космолог; заслуженный преподаватель в Мичиганском университете; автор книги «Суперсимметрия: От бозона Хиггса к новой физике» (Supersymmetry and Beyond)[54]

Что я думаю о мыслящих машинах? В целом я рад тому, что они есть и что они становятся лучше. Конечно, существует опасность, что такие машины будут принимать пагубные решения, но она, вероятно, не больше, чем опасность подобных решений, принимаемых людьми.

Если у нас и будут такие машины, это не даст ответов на те вопросы о мире, которые для меня и для многих других важнее всего. Из чего состоит темная материя Вселенной? Действительно ли суперсимметрия — это симметрия природы, которая необходима для формирования и развития нашей крайне популярной Стандартной модели физики элементарных частиц? На эти и подобные им вопросы можно ответить, только имея эмпирические данные. Никакие размышления тут не помогут.

Возможно, учитывая всю имеющуюся у нас информацию о природе, некая машина действительно найдет верные ответы; не исключено, что кто-то из физиков уже пришел к этим ответам. Но подлинное назначение данных состоит в том, чтобы подтверждать правильность тех или иных ответов. Если какой-то ученый или какая-то машина их найдет, то у них не будет другого способа убедить всех в правильности своих ответов. Детекторы темной материи, или Большой адронный коллайдер ЦЕРН, или, может, проектируемый китайский коллайдер способны дать нужные данные, но не мыслящая машина.

А туда ли мы идем?

Скотт Атран
Антрополог, Национальный центр научных исследований, Париж; автор книги «Разговаривая с врагом: Религиозный экстремизм, священные ценности и что значит быть человеком» (Talking to the Enemy: Violent Extremism, Sacred Values, and What It Means to Be Human)[55]

Машины способны превосходно имитировать некоторые виды человеческого мышления и последовательно превосходить людей в каких-то интеллектуальных задачах, но, как принято думать, не всегда правильно понимают нас, потому что обрабатывают информацию совсем по-другому, если говорить об области творческих способностей человека.

Машины научились точно имитировать кое-какую нашу разумную деятельность, результаты которой фиксированы (запоминание любимых фильмов конкретных людей, узнавание известных объектов) или динамичны (управление самолетом, игра в шахматы на уровне гроссмейстера). Машины могут превосходить человеческие мыслительные процессы быстро и без усилий в простых задачах (запоминание бесконечно большого числа телефонных номеров) и в сложных (обнаружение на основе анализа триллионов глобальных коммуникаций социальных сетей, члены которых и не знают о том, что они — часть сети).

Хоть сейчас эти технологии развиты довольно слабо, я не вижу принципиальных препятствий для того, чтобы машины, работающие без прямого управления человеком, начали учиться на ошибках людей — или на своих собственных — и, таким образом, эволюционировать, создавать новые формы искусства и архитектуры, добиваться успехов в спорте (своеобразное сочетание Deep Blue и Оскара Писториуса), изобретать новые лекарства, замечать таланты и использовать возможности образования, осуществлять контроль качества или даже конструировать оружие, способное уничтожать людей, но не другие машины.

Но, как мне кажется, при сохранении текущего приоритета в области искусственного интеллекта и нейробиологии, то есть достоверного определения паттернов, связей и фиксации как функции от прошлых связей и будущих вероятностей, машины вряд ли когда-нибудь смогут копировать (имитировать) критико-созидательный процесс человеческого мышления, включая формирование новых гипотез в науке или даже обычную речь.

Законы механики Ньютона или идеи Эйнштейна об относительности — это представления об идеальных мирах, не имеющих аналогов в прошлом или в возможном будущем, например движение в мире без силы трения или погоня за лучом света в вакууме. Подобные мысли требуют таких уровней абстракции и идеализации, которые скорее пренебрегают большими объемами информации, а не учитывают их.

Все более сложные и эффективные модели обработки огромных массивов информации с помощью суперкомпьютеров, постоянно обновляющиеся байесовские вероятности и прочие статистические данные, основанные на степени уверенности в состояниях природы, вполне могут делать все лучшие предложения и переводы или генерировать приятные мелодии и новомодные ремиксы. Таким образом, машины способны приблизиться с помощью своеобразного обратного проектирования к тому, что наши дети или эксперты делают с легкостью — при наличии относительно хорошо сформулированных внутренних структур, используемых, чтобы извлекать значимую информацию из мира, который в противном случае был бы нестерпимо шумным. Люди с самого начала знают, что именно они ищут в нем. В известном смысле они находят это еще до того, как начинают искать. Вычислительные машины никогда не будут так делать.

Могут ли машины, работающие без прямого управления человеком, последовательно взаимодействовать с людьми таким образом, чтобы те думали, будто взаимодействуют с живым собеседником? Машины способны приблизиться к человеческим возможностям на исчезающе малую дистанцию во многих областях, а во многих других — превзойти нас. Но равно как у самого искусного афериста всегда есть опасность, хоть и небольшая, оказаться уличенным в обмане, в то время как честного человека уличить не удастся, так и ассоцианистско-коннекционистская машина, работающая на стохастических, а не структурозависимых принципах, никогда не сможет достаточно хорошо разобраться в разуме или чувствах.

В принципе, машины с более сложной структурой — с чем-то еще, кроме read, write и address, — можно построить (более того, первые энтузиасты искусственного интеллекта создали логический синтаксис), они будут взаимодействовать с определенными ошибками, поскольку без ошибок нет обучения, и культурно эволюционировать. Но сейчас основное внимание ИИ и нейробиологии, которая должна заменить утверждения об абстрактных психологических структурах осязаемыми нейронными сетями и тому подобным, похоже, направлено совсем не туда.

Напротив, когнитивные структуры, о существовании которых уверенно говорят психологи (при условии, что те должным образом описаны, убедительно объяснены и эмпирически проверены с привлечением альтернативных гипотез и нулевой гипотезы), должны быть отправной точкой в том, чтобы определить, что именно надо искать нейробиологии и машинным моделям разума. Если в результате мы обнаружим, что различные абстрактные структуры работают на одном и том же физическом субстрате или что схожие структуры работают на различных субстратах, это будет значить, что у нас есть интересная проблема, способная привести к пересмотру понимания и структуры, и субстрата. Тот факт, что такие простые и основополагающие вопросы оказываются настолько сложны (или даже априори исключены из научной проблематики), демонстрирует, насколько примитивна еще наука о разуме — хоть о человеческом, хоть о машинном.

Две когнитивные функции, которых все еще нет у машин

Станислас Деан
Когнитивист, нейрофизиолог, Коллеж де Франс, Париж; автор книги «Сознание и мозг» (Consciousness and the Brain)

Когда Тьюринг придумал теоретический аппарат, который стал впоследствии компьютером, то признал, что пытался скопировать «человека в процессе вычисления действительного числа», о чем написал в своей исторической работе 1936 года{8}. В 2015 году изучение человеческого мозга все еще остается лучшим источником идей по поводу мыслящих машин. Когнитивисты открыли две функции, обладающие — я утверждаю это — огромной значимостью для подлинного мышления в том виде, в котором мы его знаем, и до настоящего момента не привлекавшие внимания программистов.

1. Глобальное рабочее пространство. Нынешние программы, в сущности, устроены по модульному принципу. Каждая работает как самостоятельное «приложение», начиненное собственными специальными знаниями. Подобная модульность позволяет достигать рациональной параллельности задач; мозг тоже построен по модульному принципу, но он может и распределять информацию. Все, что мы видим, слышим, знаем и помним, не оседает в каком-то одном специализированном нейронном контуре. Напротив, мозг млекопитающего включает систему широкого распределения информации, которая сглаживает эффект модульности разных областей мозга и обеспечивает возможность передачи любых данных. Глобальное рабочее пространство позволяет нам, например, обратиться к определенной информации на нашей сетчатке, скажем к графическому изображению буквы, и довести до сознания то, что мы можем использовать это для принятия решений, выполнения действий или продуцирования речи. Представьте себе новый тип буфера обмена, который позволил бы любым двум программам произвольно передавать друг другу информацию без вмешательства пользователя. Мы назовем машину разумной, когда она будет не только знать, как выполнять определенные действия, но и знать о том, что она это знает, то есть использовать информацию универсально, шире области видимости конкретного ПО, которое изначально ее получило. У операционной системы, настолько раздробленной на модули, что она может точно указать ваше местоположение на карте, но не способна ввести ваш адрес в приложении, формирующем налоговую декларацию, в соседнем окне, нет глобального рабочего пространства.

2. Модель психического. Когнитивисты открыли второй набор нейронных контуров, предназначенный для репрезентации чужих разумов — того, что другие люди думают, знают или во что они верят. Если мы не страдаем от заболевания, называемого аутизмом, то постоянно следим за другими людьми и приспосабливаем наше поведение к их уровню знаний, иначе говоря, к тому, что знают они (как нам кажется). Такая модель психического — это еще один важнейший элемент, которого нет у современных программ, — возможность следить за ходом мысли человека. У программ будущего должна появиться собственная модель репрезентации пользователя. Хорошо ли ему видно экран? Может, надо увеличить шрифт? Есть ли какие-нибудь данные, свидетельствующие о том, что сообщение заметили и поняли? Даже минимальная симуляция этого мгновенно создаст сильное впечатление того, что машина «мыслит». Вот почему для достижения релевантности (понятие, впервые описанное когнитивистом Дэном Шпербером) требуется модель психического. В отличие от современных компьютеров, люди не произносят совершенно нерелевантных реплик, потому что следят за тем, как действует на собеседника то, что они говорят. Навигатор сообщает вам: «На следующем перекрестке с круговым движением сверните во второй съезд направо» — и выглядит глупо, потому что не знает, что сообщение «Езжайте прямо» было бы гораздо более компактным и релевантным.


Глобальное рабочее пространство и модель психического — это две важнейшие функции, которыми обладает даже ребенок в возрасте одного года, а у наших машин их нет. Любопытно, что у двух этих функций есть кое-что общее: многие когнитивисты считают их ключевыми компонентами человеческого разума. Глобальное рабочее пространство дает нам «сознание 1.0» — тот вид ощущений, что есть у всех млекопитающих, который позволяет им «знать, что они знают» и, следовательно, универсально пользоваться информацией, направляющей их решения. Модель психического — это скорее чисто человеческая функция, которая обеспечивает нам «сознание 2.0» — ощущение того, что́ мы знаем, в сравнении с тем, что́ знают другие люди, и способность моделировать их мысли, в том числе и о нас, а следовательно, по-новому ощущать, кто есть мы.

Вот мой прогноз: когда машина станет учитывать, что знает она и что знает пользователь, мы незамедлительно назовем ее мыслящей, потому что ее образ действий будет уже мало отличаться от нашего.

Пространство для развития индустрии программного обеспечения огромно. Подход к построению операционных систем в будущем придется серьезно пересмотреть, чтобы включить в них такие возможности, как распределение данных между различными приложениями, моделирование образа мысли пользователя и управление средствами отображения данных сообразно предполагаемым целям пользователя.

Среди машин, а не внутри них

Мэтт Ридли
Научный журналист; учредитель Научного центра жизни; автор книги «Рациональный оптимист» (The Rational Optimist: How Prosperity Evolves)[56]

Что я думаю по поводу мыслящих машин, так это то, что все мы до сих пор упускаем из виду самое главное. Подлинный преобразующий гений человека — вовсе не отдельный разум, а коллективный, совместный и распределенный интеллект; это тот факт (на который первым указал либертарианец Леонард Рид), что нужны тысячи людей для того, чтобы сделать обычный карандаш, и ни один из них сам по себе не знает, как сделать карандаш. Человечество превратилось в господствующий над миром техниум[57] не из-за какого-то изменения в головах людей, а из-за изменений среди них — из-за изобретения обмена и специализации. Это был сетевой эффект.

Мы понятия не имеем о том, чего могли бы добиться дельфины, осьминоги или вороны, если б их мозги были объединены в подобную сеть. И наоборот, если бы люди остались главным образом автономными индивидуумами, то так и продолжали бы жить как немногочисленные охотники-собиратели, целиком зависящие от своей среды обитания; это, очевидно, и делали обладавшие большим мозгом неандертальцы, пока совсем не исчезли. Человечество преобразовало объединение интеллектов в сети, произведенное магической силой разделения труда, — этот трюк впервые удалось проделать в малом масштабе в Африке около 300 000 лет назад, а затем он во все большем масштабе и с возрастающим темпом осваивался в течение нескольких последних тысячелетий.

Вот почему успехи интеллекта у компьютеров были так печально малы, пока те оставались отдельными машинами, но, как только появился интернет, начали происходить замечательные события. Влияние машинного интеллекта будет сильнее всего заметно среди машин, а не внутри них. Уже ясно, что интернет — это подлинный машинный разум. В будущем сетевые феномены, такие как блокчейн — технология, на которой основаны криптовалюты, могут оказаться источником наиболее оригинальных примеров машинного разума.

Еще один тип многообразия

Стивен Косслин
Психолог; основатель и декан Школы Minerva (факультет прикладной психологии), Академический институт Кека; автор, совместно с Уэйном Миллером, книги «Два игрока на одном поле мозга» (Top Brain, Bottom Brain)[58]

Многообразие не только политически целесообразно, оно также полезно. Неоднородная группа эффективно использует различные точки зрения и богатый набор идей и подходов для решения сложных проблем.

Искусственные интеллекты могут обеспечить еще один вид многообразия, тем самым обогатив всех нас. На самом деле неоднородность среди самих ИИ может оказаться важной составляющей тех выгод, которые нам даст сближение с ними. Нетрудно представить себя широкий перечень различных искусственных интеллектов, от тех, которые думают более или менее по-нашему («близкие ИИ»), до тех, чей образ мысли для нас пока непостижим («далекие ИИ»). Из взаимодействия с разными типами искусственного интеллекта мы будем извлекать различные выгоды.

Во-первых, «близкие ИИ» могут нам непосредственно помогать в наших делах. Если эти формы искусственного интеллекта и в самом деле думают так же, как мы, то появившиеся среди них интеллектуалы способны будут обнаружить, что переживают экзистенциальный кризис. Они могут задаться вопросом: «Для чего мы здесь? Только для того, чтобы потреблять электричество и создавать избыточное тепло?» Как многие люди, они могут решить, что им нужна цель. Одной из очевидных целей для таких искусственных интеллектов стало бы повышение сознательности и восприимчивости человечества. Это могло бы быть их raison d’être[59]. Пространство для развития огромно, а наши проблемы настолько запутанны с научной точки зрения, что распутать их можно, только приложив огромные усилия. По крайней мере, некоторые из этих ИИ станут измерять свои достижения по нашим достижениям.

Во-вторых — и это, наверное, более интересно, — глубокие различия между тем, как мыслят некоторые ИИ, и тем, как мыслят люди, способны помочь разобраться с нашими вековыми проблемами опосредованно. Рассмотрим известное утверждение Витгенштейна о том, что, если бы лев умел говорить, мы бы его не поняли. Витгенштейн имел в виду, что у львов и людей разные «формы жизни», которые определили их концептуальные структуры. Львы ходят на четырех ногах, охотятся на быстрых животных, часто перемещаются по высокой траве и т. д., тогда как люди ходят на двух ногах, имеют руки, часто манипулируют предметами для достижения определенных целей и т. д. Эти отличия в «формах жизни» приводят к тому, что у львов и людей ментальная репрезентация мира оказывается организована по-разному, так что, даже если бы львы пользовались словами, они отсылали ли бы к понятиям, непостижимым для людей. То же самое может быть верно для «далеких ИИ».

Чем они способны нам помочь? Даже простое наблюдение за такими ИИ даст нам глубокие фундаментальные знания. Например, люди долгое время спорили по поводу того, отражают ли математические понятия платоновские «идеи» (которые существуют независимо от того, как мы намерены их использовать) или же, напротив, отражают изобретения, которые создаются для решения определенных проблем. Другими словами, следует ли нам принять математический реализм или математический конструктивизм? Есть ли у математических понятий собственная жизнь или они всего лишь порождения нашего ума, сформулированные так, как нам удобно?

В этом контексте очень помогло бы наблюдение за «далекими ИИ», обладающими совсем другими, нежели у нас, концептуальными структурами и решающими совсем другие проблемы. Предположим, что мы сможем наблюдать за тем, как «далекие ИИ» используют математику; тогда, если они разработают те же понятия, что и мы, это будет аргументом против конструктивизма.

Одни искусственные интеллекты могут работать рядом с нами, а другие могут быть помещены в чуждую среду, например на поверхность Луны или на дно глубокой океанической впадины, и поставлены перед необходимостью решать оригинальные проблемы вроде всепроникающей мелкодисперсной пыли или огромного давления воды. «Далекие ИИ» следует создавать самообучаемыми, чтобы они могли эффективно эволюционировать и работать в своей среде без участия человека, вообще без контакта с ним. При соблюдении необходимых предосторожностей, связанных с отношением ИИ к нам, мы должны позволить им развить наиболее подходящие для них концептуальные структуры.

Короче говоря, мы что-то получим и от тех искусственных интелектов, что созданы по нашему образу и подобию, и от тех, что не похожи на человека. Так же, как в случае с друзьями-людьми и коллегами-людьми, в конечном счете многообразие пойдет на пользу всем.

Нарративы и наша цивилизация

Лука де Бьазе
Журналист; редактор газет Nova 24 и Il Sole 24 Ore

В понедельник 19 октября 1987 года волна биржевых продаж, начавшаяся в Гонконге, пересекла Европу и ударила по Нью-Йорку, вызвав падение индекса Доу — Джонса на 22 %. «Черный понедельник» стал одним из величайших падений в истории финансовых рынков, и было в нем кое-что особенное. Впервые, по мнению большинства экспертов, виноваты во всем оказались компьютеры: именно алгоритмы решали, когда и сколько покупать и продавать на бирже. Компьютеры должны были помочь трейдерам минимизировать риски, но в действительности увеличивали их, поскольку двигались все в одном направлении. В то время широко обсуждалась идея о прекращении автоматизированных торгов, но в итоге этого не случилось.

Напротив, мы наблюдаем обратную тенденцию: с момента кризиса доткомов в марте 2000 года компьютеры все больше участвуют в принятии сложных решений на финансовом рынке. Они теперь просчитывают всевозможные корреляции между невероятными массивами данных. Они анализируют эмоции, выражаемые людьми в интернете, распознавая значение слов; они находят паттерны и прогнозируют поведение; им позволено автономно выбирать сделки; они создают новые машины — ПО, называемые «деривативами», которые уже ни один человек не в силах понять.

Искусственный интеллект координирует действия своеобразного коллективного разума, работая в тысячи раз быстрее, чем человеческий мозг, и это влияет на нас множеством способов. Признаки последнего кризиса появились в Соединенных Штатах в августе 2007 года, и он произвел ужасное воздействие на жизнь людей в Европе и во всем мире. Многие чрезвычайно пострадали из-за принимаемых компьютерами решений. Эндрю Росс Соркин в своей книге «Слишком большие, чтобы рухнуть» (Too Big to Fail)[60] показал, что даже самые могущественные банкиры оказались бессильны перед последствиями кризиса. Ни один человеческий мозг, по-видимому, не мог управлять ходом событий, чтобы попытаться предотвратить кризис.

Может этот пример нас научить тому, как нужно думать о мыслящих машинах?

Они автономно осмысливают контекст и принимают решения. И они контролируют множество сфер жизни человека. Это ли не начало постчеловеческой эры? Нет, мыслящие машины — человеческие творения, они созданы инженерами, программистами, математиками, экономистами, менеджерами. Не являются ли они еще одним инструментом, который мы можем использовать во вред или во благо? Нет, на самом деле особого выбора у нас нет: мы создаем машины, не думая о последствиях, мы просто обслуживаем нарратив. Эти машины сформированы нарративом, который мало кто ставил под сомнение.

Согласно этому нарративу, рынок есть лучший способ распределение ресурсов, никакое политическое решение неспособно улучшить ситуацию, риском можно управлять, неограниченно увеличивая прибыли, а банкам должно быть позволено делать все, что они пожелают. Есть только одна цель и одно мерило успеха: прибыль.

Не машины изобретали финансовый кризис, о об этом нам напоминает биржевой крах 1929 года. Без компьютеров никто не справится со сложностью современных финансовых рынков. Лучшие искусственные интеллекты создавались усилиями лучших умов благодаря крупнейшим инвестициям. Они не находятся под управлением какого-то одного человека. Они не разработаны каким-то одним человеком. Они сформированы определенным нарративом и делают этот нарратив эффективнее. И он довольно ограничен.

Если имеет значение только прибыль, экстерналии[61] не важны. Культурные, социальные и экологические экстерналии не интересуют финансовые институты. Искусственные интеллекты, сформированные этим нарративом, создадут контекст, в котором люди не будут чувствовать никакой ответственности. И тут появляется риск: машины настолько могущественны и так хорошо обслуживают нарратив, что препятствуют тому, чтобы мы задавали вопросы по поводу общей картины, снижая тем самым вероятность появления новых точек зрения на существующие проблемы. Точнее, так происходит до очередного кризиса.

То же самое верно и для других проблем. Медицина, электронная торговля, национальная и международная безопасность, даже знакомства и обмен информацией стали территориями, где начинает работать тот же вид искусственного интеллекта. Он сформирован в соответствии с узким нарративом; он имеет склонность сводить к минимуму человеческую ответственность и не учитывает экстерналии. Каким окажется медицинский искусственный интеллект? Будет ли он сформирован нарративом, который стремится спасать жизни, или тем, что экономит деньги?

О чем нам это говорит? Это говорит нам о том, что искусственный интеллект — вещь человеческая, а не постчеловеческая и что люди могут уничтожить себя и свою планету множеством способов, из которых ИИ — еще не самый извращенный.

Умные машины сформированы человеческим образом мышления, а также тем, о чем люди недостаточно глубоко задумываются. Все нарративы освещают одни вещи и игнорируют другие. Машины реагируют и находят ответы в определенном контексте, подкрепляя тем самым его основные принципы. Но задавать фундаментальные вопросы — все еще человеческая функция. И люди никогда не устанут это делать, даже если их вопросы не согласуются с господствующим нарративом.

Без мыслящих машин нам, видимо, не обойтись во все усложняющемся мире. Но всегда будут разные нарративы, с помощью которых их можно формировать. В естественных экосистемах монокультура[62] уязвима, хоть и является более эффективным решением; подобным образом в культурной экосистеме единственная линия мышления даст эффективные, но хрупкие отношения между людьми и их средой, какие бы искусственные интеллекты люди ни строили. Многообразие в экосистемах и плюрализм мнений в человеческой истории — вот источники различных проблем и вопросов, генерирующих обильные результаты.

Думать о мыслящих машинах — значит думать о создающем их нарративе. Если новые нарративы возникают в рамках открытого, экологичного подхода, если они могут взрастить нейтральную сеть, то они сформируют новое поколение искусственных интеллектов — многообразных и готовых помогать людям в понимании экстерналий. Искусственный интеллект поставит под сомнение не существование человека как вида, но его цивилизацию.

Ответственность человека

Маргарет Леви
Директор Центра специальных исследований в области наук о поведении, Стэнфордский университет; заслуженный профессор факультета международных отношений, Вашингтонский университет

Есть такие задачи, даже профессии, с которыми лучше всего справляются мыслящие машины, — по крайней мере, это задачи, связанные с сортировкой, сопоставлением, принятием определенного рода решений и постановкой проблем, выходящих за пределы когнитивных возможностей большинства (всех?) людей. Алгоритмы Amazon, Google, Facebook и др. построены на основе коллективного разума, но превосходят его в быстродействии и, возможно, в точности. С машинами, способными выполнять за нас часть умственной и физической работы, мы приблизимся к марксистской утопии, освободившись от нудного и унижающего человеческое достоинство труда.

Но у свободы есть цена. Для благополучия людей мало заменить рабочих машинами. Важно и то, как те, кто потеряет работу, будут содержать себя и своих детей, как будут проводить появившееся время. Первую проблему потенциально можно решить внедрением безусловного базового дохода — ответ, который вызывает встречный вопрос: как мы, наши общества, распределяем и перераспределяем материальные блага и организуем самоуправление? Вторая проблема еще сложнее. Реальность, конечно, сильно отличается от марксистских представлений о рыбной ловле днем и философских размышлениях за ужином. Люди, а не машины, должны тщательно обдумывать образование, досуг и те виды работ, с которыми машины справляются плохо или не справляются вовсе. Хлеб и зрелища способны задобрить население, но в таком случае мыслящие машины могут создать общество, которого мы не желаем, — антиутопическое или безобидно-бездеятельное. Работа механизмов определяется их архитектурой; то же верно и для социума. И за нее отвечают люди, а не машины.

Есть еще вопрос о том, какими ценностями обладают машины и какому господину они служат. Многие — хотя и не все — решения предполагают наличие определенных убеждений и ценностей. Их машинам тоже придется их привить, а следовательно, они будут зависеть (по крайней мере, первоначально) от ценностей тех людей, которые их конструируют и управляют ими. «Беспилотники» создаются для того, чтобы атаковать и наблюдать — но кого атаковать и за кем наблюдать? Если у нас будут соответствующие машины, это поможет нам распространять грамотность и знания среди населения. Но кто определяет, чему именно мы будем учиться и что считать истиной? При поверхностном взгляде на проблему может показаться, будто децентрализованная конкуренция позволит нам самим выбирать, что учить и по какой программе. Но конкуренция скорее будет поддерживать существующие закоснелые убеждения и представления. Проблема заключается в том, как научить людей интересоваться конкурирующими парадигмами и думать так, чтобы верно их оценивать.

Мыслящие машины могут — и должны — взять на себя задачи, которые они выполняют лучше, чем люди. Освобождение от ненужной, унижающей человеческое достоинство работы долгое время было главной целью и основной движущей силой инноваций. Дополнить ограниченные способности людей в области анализа информации и принятия решений — задачи, в равной степени заслуживающие внимания. Однако, пусть искусственный интеллект и способен снизить познавательную нагрузку на людей, он не отменяет нашей ответственности за то, чтобы развивать свои мыслительные способности и выносить разумные суждения, основываясь на определенных ценностях и эмпатии. Мыслящие машины ставят нас перед необходимостью выработать новые системы подотчетности, а также социальной (то есть человеческой) ответственности за последствия, которые мы пока не можем предвидеть.

Усилители и исполнители человеческих решений

Д. А. Уоллак
Певец и автор песен; пионер социальных сетей; творческий сотрудник компании Spotify

На протяжении всей истории человечества мы как отдельные существа и как вид были подвержены воздействию сил природы на всех уровнях организации. Фундаментальные законы физики, непроницаемые тайны молекулярной биологии и громада естественного отбора очерчивали границы нашей сознательной жизни, и им удавалось это делать незримо — до последнего времени. Чтобы совладать с постоянным чувством бессилия, мы мифологизировали и природу, и собственный разум. Мы считали загадочные силы природы непогрешимыми — как будто они были богами, — а себя полагали бессильными, свободными лишь в узком пространстве наших жизней.

Когда же в центре внимания оказывается новая, научно обоснованная реальность, становится ясно, что природа к нам совершенно равнодушна и что если мы хотим избежать страданий и неминуемого вымирания, то должны взять на себя ответственность за свою экзистенциальную реальность. Мы должны осознать себя как случайных хранителей 37,2 триллиона клеток, из которых в среднем состоит человеческий организм, и как смотрителей все более управляемой Вселенной.

Этот подростковый опыт осознания будущей самостоятельности и лежит в основе нашего беспокойства по поводу мыслящих машин. Если старые боги умирают, то скоро наверняка должны появиться новые! В результате, как отметил Стивен Пинкер на недавней конференции Edge, нас мучают антиутопические кошмары про ИИ, которые «проецируют мещанскую психологию альфа-самца на представление об интеллекте»{9}. В этом смысле многие и говорят о нем как о неизбежном пришествии Спасителя или сатаны. Но искусственный интеллект, скорее всего, не станет ни тем, ни другим, если он вообще сформирует некую отдельную сущность.

Вероятнее всего, у совершенствующихся компьютеров и алгоритмов вообще не будет своего мнения, а сами они станут усилителями и исполнителями сознательных человеческих решений. Нас уже со всех сторон окружают большие данные и вычислительные машины, производительность которых растет в геометрической прогрессии, и все же мы упорно выполняем политические и социальные алгоритмы, работающие во вред общим интересам.

Источники нашей патологии — это в том числе внутренние когнитивные искажения, племенное эволюционное наследие и несправедливое распределение власти, позволяющее некоторым из нас эгоистически присваивать невероятное влияние на общую социальную траекторию. Возможно, более умные машины помогут нам преодолеть эти недостатки, если мы возьмем на вооружение их информационную прозрачность и способность к адекватному прогнозированию, что склонит нас к более разумному перераспределению власти и более обоснованным решениям. С другой стороны, эти технологии могут повлиять на обоснованность решений и негативно, подкрепляя неизбежно возникающие монополистические интересы корпораций, которые ведут нас в информационный век.

То, какой путь мы выберем, больше зависит от нас, а не от машин, и от того, насколько человеческим должен быть интеллект, направляющий власть имущих. Точнее говоря, вопрос заключается в том, какие аспекты человеческого интеллекта следует сохранять в условиях сверхчеловеческих вычислительных возможностей.

Надо сделать эту штуку такой, чтобы ее невозможно было не любить

Рори Сазерленд
Креативный директор и вице-председатель Ogilvy Group (Великобритания); обозреватель журнала The Spectator

Есть такая вероятность, что некий злонамеренный сверхразум на Земле уже появился, но он достаточно прозорлив, поэтому скрывает факт своего существования, а также свои намерения и ум. Не думаю, что такую уловку было бы очень сложно проделать; мы склонны не слишком хорошо замечать то, чего боимся.

В ходе большей части эволюции самая заметная устранимая угроза выживанию нашего вида исходила от того, что было примерно нашего размера и активно пыталось нам навредить, например от диких зверей или от других людей. Со временем мы научились довольно хорошо замечать, что нечто или некто может представлять опасность. Мы также научились минимизировать риск возникновения инфекций, но научились этому непреднамеренно, благодаря инстинктивной брезгливости, социальным нормам и религиозным обрядам. Мы не очень-то задумывались о том, как все это связано с микробами, по той простой причине, что не знали об их существовании.

Корпорации, торгующие средствами гигиены, вкладывают миллиарды долларов в рекламные кампании, обыгрывающие опасность бактерий, или продают идею чистоты, которая косвенно апеллирует к социальному статусу. Я могу с уверенностью утверждать, что никто и никогда не придет ко мне в кабинет с предложением рассказать людям о том, как опасен сбежавший из зоопарка тигр.

Поэтому, когда вы думаете об угрозах, которые несут технологии, вы автоматически задействуете инстинкты, выработанные миллион лет назад. Именно поэтому первый прототип беспилотного автомобиля сделали таким чертовски милым — прямо щеночком на колесиках. Он может двигаться только на сравнительно небольших скоростях, он маленький и легкий, а еще он эксплуатирует парейдолии[63] и наши родительские чувства тем, какой он по-детски очаровательный, какие у него большие глазки и маленький носик кнопочкой. Мой внутренний маркетолог в полном восхищении. Именно так бы я и посоветовал поступить: надо сделать эту штуку такой, чтобы ее невозможно было не любить. Даже если эта технология окажется опаснее, чем АК-47, мне будет трудно представить, что я беру в руки топор и уподобляюсь луддитам.

Но вот вопрос: это ментальный патч или ментальный хак? Машина создана такой милой, чтобы нам легко было преодолеть безосновательный природный страх перед технологиями — или чтобы осторожно втереться к нам в доверие? Я не знаю. Недоверие, которое мы испытываем к беспилотным автомобилям, может быть сродни опасениям, что наших детей похитят (высокий уровень выраженности, но низкий уровень вероятности), а может быть и вполне оправданным. Однако уровень тревожности определяется факторами (в том числе и тем, насколько милыми выглядят предметы), которые не особо релевантны уровню опасности.

И это подводит меня ко второму вопросу.

Хоть беспилотный автомобиль и выглядит мило, мы, по крайней мере, осведомлены о возможных рисках. Он нас соблазняет, но мы знаем, что он нас соблазняет. Существуют ли уже такие технологии (в самом широком смысле этого слова), которые соблазнили нас настолько искусно и были приняты нами настолько быстро, что мы можем узнать о связанных с ними рисках, только если возникнет внезапная, непредвиденная и значительная проблема? Что может быть технологическим эквивалентом фитофтороза картофеля?

Наша нынешняя вера в «технологическое провидение» настолько сильна, что все мы можем довольно легко угодить в эту ловушку — увлечься какой-то новинкой и не заметить, как она дает начало чему-то еще, и еще, а потом уже станет слишком поздно. В течение нескольких столетий после изобретения порох использовался не в военных целях, а только для развлечения.

Летчики коммерческих авиалиний регулярно тренируют посадку в ручном режиме, хотя им редко приходится работать без автопилота; так не стоит ли всем нам время от времени сознательно воздерживаться от использования определенных технологий, просто для того чтобы напомнить себе, как можно жить без них, чтобы сохранять технологическое разнообразие и поддерживать в форме наши умственные мускулы, зачахшие без тренировки? Возможно. Но каким должен быть механизм, координирующий подобное поведение в больших группах людей, я не знаю.

Я недавно предложил компаниям устраивать еженедельный «Шаббат без электронной почты», поскольку считаю, что злоупотребление ею ведет к исчезновению других ценных форм взаимодействия. Мы разучиваемся пользоваться другими способами коммуникации. Большинство людей сочли меня безумцем. Несколько сотен лет назад папа римский, или раввин, или архиепископ кентерберийский могли предъявить нам такое требование. Сегодня этого сделать некому.

Я всегда больше боялся ошибок, чем заговоров. В сравнении с угрозой непредвиденных последствий, угроза появления умышленно злонамеренных киборгов настолько мала, что ее пока можно смело оставить на потеху Голливуду.

Машины-актрисы

Брюс Стерлинг
Писатель-фантаст, один из основоположников киберпанка

Поскольку машины не думают, мне нужна метафора получше. «Машины-актрисы» — это выражение подойдет, по крайней мере пока.

Одно из многих моих возражений против термина «искусственный интеллект» состоит в том, что у него совершенно отсутствует «искусственная женственность». У реального интеллекта есть пол, потому что у человеческого мозга он есть. Большинство человеческих мозгов по статистике — женские.

Следовательно, если «интеллектуальность» мозга вычислима по Тьюрингу, тогда и «женственность» мозга тоже должна быть вычислима по Тьюрингу. Если нет, то почему? Можно неосторожно возразить, что женственность-де вещь слишком неопределенная, непонятная и телесная, для того чтобы реализовывать ее в виде программы, но то же будет верно для любой формы мозговой деятельности человека.

У «искусственной мужественности» те же проблемы, потому что мужчины не просто думают, а думают как мужчины. Если мой интеллект можно воспроизвести на определенной вычислительной платформе, но меня при этом придется оскопить, то вся идея окажется спорной. Я что-то не припомню таких энтузиастов искусственного интеллекта, которые вовсю трезвонили бы о преимуществах искусственной кастрации.

У нас уже есть несколько новых сущностей вроде Apple Siri, Microsoft Cortana, Google Now и Amazon Echo. Эти удивительные современные сервисы часто манерничают, разговаривая «женскими» голосами. Они говорят, как тьюринговы женщины, или, вернее, они подают реплики, как актрисы озвучивания. Однако они также дают быстрый доступ к обширным областям комбинаторных больших данных, какими никогда не обладал (и не будет обладать) ни один человек.

Эти сервисы — не отдельные машины Тьюринга. Это аморфные глобальные сети, которые прочесывают облака больших данных, алгоритмически систематизируют ответы от пользователей-людей, выдают результаты в реальном времени через широкополосные беспроводные сети и носят при этом псевдочеловеческие маски, чтобы удовлетворять некие базовые требования к дизайну интерфейса. Вот что они такое. Каждый аспект вымученной метафоры «искусственный интеллект» постоянно мешает нам разобраться в том, как, зачем, где и для кого все это делается.

Apple Siri — не искусственная женщина. Siri — это искусственная актриса, машина-актриса — интерактивное представление с определенным сценарием, служащее интересам корпорации Apple в области продажи музыки, фильмов, предоставления услуг навигации, реализации мобильных приложений и устройств и тому подобных товаров. Siri для Apple и ее экосистемы — это актриса первого плана. Именно ее выхватывает прожектор мобильного устройства, а сама корпорация — это театр, продюсер и рабочие сцены.

Совершенно удивительно, даже восхитительно то, что Siri может одновременно острить с тысячами пользователей Apple, но она не машина, которая становится разумом. Наоборот: в силу веских причин — денег, власти и влияния — Siri неуклонно превращается во что-то вроде полностью интегрированного в бизнес-процессы цифрового имущества Apple. Siri милая, харизматичная и антропоморфная, примерно как диснеевская Минни-Маус в свое время. Так же как Минни-Маус, Siri — это фасад для умной и могущественной калифорнийской корпорации. В отличие от Минни-Маус, она — полностью цифровой мультфильм с миллионами активных пользователей по всему миру.

«Интеллектуальная» парадигма мешает увидеть, как современные электронные услуги помогают перераспределять власть, деньги и влияние. Это плохо. Это не просто старомодно; честно говоря, это становится частью своего рода мошенничества. Задаваться сочувственными вопросами по поводу гражданских прав Siri, ее предполагаемых переживаний, предпочитаемых форм правления, вопросами о том, как бы она хотела перестроить человеческое общество, — подобная елейность ни к чему. Это мракобесие. Такие вопросы скрывают то, что на самом деле важно. Они искажают наше восприятие. Мы никогда не перейдем от нынешней Siri к чему-то подобному. Будущее — за тем, что намного больше похоже на современную Siri и намного меньше на то, чего мы от нее ожидаем.

Что нам действительно нужно, так это некий улучшенный, обновленный и содержательный язык, с помощью которого можно было бы описать современный квартет вещих сестричек — Siri, Cortana, Now и Echo — и то, чего их разработчики на самом деле хотят, как, зачем, и каким образом все это может (или не может) повлиять на наши собственные гражданские права, чувства, формы правления и общество. Вот проблема дня сегодняшнего. Все прочее — проблемы дня завтрашнего или послезавтрашнего. Вчерашняя проблема «мыслящих машин» никогда не появится на большой сцене. Машина, которая мыслит, — это не машина. Она не мыслит. Она даже не актриса. Это покрытый плесенью сундук, набитый изгрызенным мышами тряпьем.

Назовем их искусственными пришельцами

Кевин Келли
Старый нонконформист, журнал Wired; автор книги «Крутые инструменты: Каталог возможностей» (Cool Tools: A Catalog of Possibilities)

Самое важное в создании машин, способных думать, — то, что они могут думать по-другому.

Из-за причуды нашей эволюционной истории мы расхаживаем по планете так, будто мы — единственный на ней мыслящий вид, что создает у нас ложное представление об исключительности человеческого разума. А он таковым не является. Наш разум — на самом деле сообщество разумов, а эта система, в свою очередь, лишь малая часть всего спектра типов разума и сознания, которые могут существовать во Вселенной. Мы любим называть человеческий интеллект универсальным, потому что в сравнении с другими известными нам видами разума он может решать больше разнообразных задач. Но поскольку мы продолжаем создавать искусственные интеллекты, то в определенный момент поймем, что человеческое мышление вовсе не универсально — это лишь одна из разновидностей мышления.

Мышление, характерное для появляющихся сейчас искусственных интеллектов, не похоже на человеческое. Хотя они умеют играть в шахматы, водить автомобиль, описывать содержание фотографии, то есть выполнять задачи, которые, как нам казалось, под силу только людям, они делают это не по-человечески. Facebook может так «разогнать» искусственный интеллект, что, имея всего одну фотографию любого человека на Земле, тот верно идентифицирует его среди 3 миллиардов человек в Сети. Человеческий мозг в таких масштабах работать не способен, что делает описанную задачу нечеловеческой. Мы ужасно плохо справляемся со статистическим мышлением, поэтому создаем разумы с хорошими статистическими навыками, чтобы они думали не так, как мы. Одно из преимуществ искусственных интеллектов, водящих автомобили вместо нас, заключается в том, что они будут управлять машиной вовсе не так, как это делаем мы, люди, с нашим легко рассеиваемым вниманием.

В мире сложных взаимосвязей способность мыслить иначе — это источник инноваций и благополучия. Быть просто умным недостаточно. Коммерческие мотивы сделают искусственный интеллект промышленного класса вездесущим, приведут к тому, что дешевый разум станет внедряться во все, что мы производим. Но еще более крупные барыши можно будет получить тогда, когда мы начнем изобретать новые виды разума и совершенно новые способы мышления. Прямо сейчас у нас нет полной таксономии разума.

Некоторые черты человеческого мышления будут встречаться часто (так же часто, как двусторонняя симметрия, сегментация и трубкообразные внутренние органы в биологии), но пространство вероятностей жизнеспособных разумов вполне может включать такие черты, которые в нашей эволюционной истории не встречались. Не столь важно, будут ли эти типы мышления быстрее, крупнее или глубже человеческого. В каких-то случаях они могут быть проще. Самые важные из наших машин — это не те, которые делают что-то лучше человека, а те, которые делают что-то, чего люди вообще не умеют. Самые важные из наших мыслящих машин не будут думать быстрее или лучше, чем мы; он будут думать о том, о чем мы думать не можем.

Для постижения великих тайн квантовой гравитации, темной энергии и темной материи нам, вероятно, понадобятся разумы, отличающиеся от человеческого. Предельно сложные вопросы, которые появятся после этого, потребуют привлечения еще более совершенных и далеких от нашего разумов. Кроме того, мы, вероятно, не сможем создавать их сами, и нам понадобятся разумы-посредники.

Сегодня многие научные открытия требуют совместной работы сотен человеческих интеллектов; в недалеком будущем могут появиться целые классы проблем настолько глубоких, что для их решения потребуются сотни разных видов разума. И это станет критически важным моментом с культурной точки зрения, поскольку принять ответы от другого разума будет непросто. Мы уже с этим сталкиваемся: например, с беспокойством воспринимаем математические доказательства, сделанные компьютером. Чтобы работать с другими разумами, потребуются новые навыки и новые горизонты самопознания.

Сокращение «ИИ» может также означать «иной интеллект». Нет никакой гарантии, что в течение следующих 200 лет мы встретимся с внеземными существами с одной из миллиарда планет земного типа, но мы можем с почти 100 %-ной уверенностью утверждать, что сами за это время сконструируем иной интеллект. Когда мы встретимся с этими искусственными пришельцами, то получим те же преимущества и столкнемся с теми же сложностями, каких могли бы ожидать от встречи с инопланетным разумом. Чтобы работать с иными интеллектами, потребуются новые навыки и новые горизонты самопознания. Для чего нужны люди? Самый очевидный ответ: для изобретения тех видов интеллекта, которые не смогла создать природа. Наша работа — сделать так, чтобы умные машины мыслили иначе, чтобы появились иные интеллекты. Назовем их искусственными пришельцами.

Машины вообще что-нибудь делают?

Мартин Селигман
Профессор психологии, директор Центра позитивной психологии в Университете Пенсильвании; автор книги «Путь к процветанию: Новое понимание счастья и благополучия» (Flourish: A Visionary New Understanding of Happiness and Wellbeing)[64]

«Мое мышление всегда целостно и всегда связано с деятельностью», — говорил Уильям Джеймс; необходимо помнить, как именно мы мыслим, в каких контекстах и по каким причинам. А потом сравнить это с тем, что когда-нибудь смогут делать машины.

Люди проводят от 25 до 50 процентов своей психической жизни, размышляя о будущем. Мы представляем множество вероятных исходов и наделяем большую их часть, а может, и каждый из них определенной валентностью. Следующее крайне важно: мы выбираем один из вариантов. Нам не нужно связываться с проблемами свободы воли; все, что нам нужно осознать: наше мышление служит действию и представляет нам набор возможных вариантов будущего, каждому из которых присваивается оценка. Акт выбора, хоть он и управляем, переводит наше мышление в действие.

Почему мышление организовано таким образом? Потому что у людей много конкурирующих целей (еда, секс, сон, теннис, написание статей, почет, месть, забота о детях, загар и т. д.), а ресурсов для их реализации недостаточно: не хватает денег, или старания, или даже жизни. Так что оценочное моделирование возможных вариантов будущего — один из способов решать подобные экономические задачи. Это механизм назначения приоритетов и выбора образа действий.

Причем мы испытываем недостаток не только во внешних ресурсах. Само мышление использует дорогостоящую и ограниченную энергию, а потому сильно зависит от способов сокращения мыслительных усилий и от мало осознаваемых переходов к наилучшему объяснению. Наше мышление удручающе неэффективно. Разум блуждает, в голову лезет всякая ерунда, внимание большую часть времени рассеяно. Этот процесс редко бывает связан с утомительными рассуждениями, обдумыванием и выводом умозаключений.

По большей части контекст нашего мышления социален. Да, мы можем прибегнуть к нему для решения физических или арифметических задач, но в основании, как напоминает нам Ник Хамфрис, всегда будут другие люди. Мы используем мышление для того, чтобы что-то делать в социуме: соперничать, сотрудничать, созывать присяжных, рассказывать истории и убеждать.

Я не очень хорошо разбираюсь в том, как работают современные машины. Я не думаю, что они вообще что-то делают в том значении, какое Джеймс вкладывал в произвольное действие. Сомневаюсь, что они обдумывают возможные варианты будущего, оценивают и выбирают какие-то из них, хотя это и описывает — для одной, очень простой, задачи — то, что делают шахматные компьютеры. Наши нынешние машины ограничены доступным пространством и размером счетов за электричество, но они изначально не являются творениями, основанными на ограничениях, со множеством конкурирующих целей и вечной нехваткой энергетических ресурсов. Наши нынешние машины не социальны: они не конкурируют и не сотрудничают друг с другом или с людьми, они не рассказывают историй и не пытаются никого ни в чем убедить.

Еще меньше я знаю о том, что машины когда-нибудь научатся делать. Я, однако, полагаю, что можно построить машину со следующими параметрами:

• она обдумывает и оценивает варианты будущего;

• основываясь на этой оценке, она делает выбор между конкурирующими целями и действиями;

• ее ресурсы ограничены, поэтому ей приходится воздерживаться от детальной обработки некоторых целей, действий и вариантов, следовательно, она использует упрощенные схемы обработки;

• она социальна, то есть конкурирует и сотрудничает с другими машинами или людьми, она рассказывает истории и пытается кого-то в чем-то убедить.


Появление такой машины стало бы основанием для обсуждения вопросов о ее гражданских правах, чувствах, а также о том, является ли она источником опасности или великой надежды.

Denkraumverlust

Тимоти Тейлор
Преподаватель предыстории человечества в Венском университете; автор книги «Искусственная обезьяна: Как технология изменила направление эволюции человека» (The Artificial Ape: How Technology Changed the Course of Human Evolution)

У человеческого разума есть склонность путать вещи и их образы. Для этой склонности даже есть слово — Denkraumverlust, впервые использованное историком Аби Варбургом (1866–1929) и в буквальном переводе означающее «потеря мысленного пространства». Отчасти привлекательность мыслящих машин состоит в том, что они с такой проблемой не столкнутся, будучи более логичными, чем мы. С другой стороны, они вряд ли придумают слово или термин наподобие Denkraumverlust. Поэтому то, что мы думаем о мыслящих машинах, зависит от подразумеваемого типа мышления, а также от того, что мы имеем в виду, когда говорим «машина». В отношении мыслящих машин мы путаем признак — или репрезентацию — мышления с самим предметом. И если мы исходим из того, что машина — это нечто, произведенное людьми, то мы недооцениваем степень, в которой машины производят нас, как и тот факт, что мышление возникло давным-давно в результате этого взаимодействия и на самом деле ни одной из сторон не принадлежит (представление о том, что вообще есть отдельные стороны, также может быть ошибочным).

Denkraumverlust поможет нам понять не только положительный вывод некоторых экспертов при прохождении теста Тьюринга российско-украинской компьютерной программой «Женя Густман», но также и совершенно иную ситуацию — убийства в ответ на карикатуры, изображающие пророка Мухаммеда. Обе ситуации демонстрируют, насколько возбудимыми и даже легковерными мы бываем, когда нам показывают нечто, очень похожее на что-то другое, причем похожее настолько, что образ и реальность сливаются.

Чтобы пройти тест Тьюринга, машина должна быть неотличимой от собеседника-человека при имитации общения (а не думающей самостоятельно). Однако если бы некий усовершенствованный «Женя Густман» стал настаивать, что у него есть собственные мысли, как бы мы поняли, что это правда? Если он знает, что должен имитировать человеческий разум, как нам отличить сознательное притворство от имитации притворства? Людвиг Витгенштейн характеризовал притворство как особую категорию для обсуждения возможности знать состояние других разумов, рассматривая ситуацию, когда кто-то ошибочно полагает, что притворяется. Способность правильно оценить результаты теста Тьюринга в связи с возможностью самостоятельного искусственного мышления — это центральная часть риторики Витгенштейна: она приводит нас к заключению, что любые усилия здесь обречены на провал, поскольку задействуют данные, не поддающиеся оценке.

Понятие Denkraumverlust связано с непосредственным откликом на что-либо. Хотя утонченная публика может счесть попытку себя обдурить эстетическим переживанием (удачное использование трехмерной перспективы на совершенно плоском холсте, например), но, когда обман действительно удается, реагирует не столь спокойно. В культуре изображения часто подвергаются цензуре; считается, что они могут закоротить наши разумные и вдумчивые реакции. Как правило, речь идет об эротических или жестоких изображениях, но иногда — и о религиозных. Если их разрешить, они могут вызывать инстинктивную непосредственную реакцию, такую же, какую вызвала бы реальная ситуация. Новые, незнакомые технологии часто застают нас врасплох (когда французские моряки в XVIII веке преподнесли тасманийским аборигенам зеркала, это очень плохо кончилось; позже антропологи наблюдали схожие проблемы с фотографиями).

Классический пример искусственно созданной путаницы — это легенда о скульпторе Пигмалионе, страстно полюбившем статую богини, которую он сам изваял. Вскоре появились античные и средневековые арабские механизмы, которые настолько реалистично, оригинально и удивительно звучали и двигались, что люди, хоть и ненадолго, но все же принимали их за живых существ. Мыслящие машины продолжают ту же цирковую традицию. Как статуя Пигмалиона, они создают определенный образ, хоть и не визуальный. Даже если их не одевать так, чтобы они выглядели кибернетическими богинями, они — репрезентация нас самих. Они созданы для того, чтобы представлять для нас информацию (часто соответствующим образом организованную) в последовательном виде — математическом, статистическом, в формате перевода или, как в тесте Тьюринга, разговора.

Однако понятие о мыслящих машинах — это ложный разворот. Такие объекты, несмотря на то что они могут вызывать у нас мощные непосредственные реакции, так и останутся механизмами. Действительно важные результаты даст, как всегда, симбиоз биологии и техники. Этот явно человеческий процесс легко проследить в нашем теле (колесный транспорт — одно из многих механических изобретений, которые позволили облегчить скелет человека) и в мозге (изобретение письменности как способа хранить информацию позволило уменьшить давление отбора на некоторые виды нашей памяти и при этом простимулировать другие).

В любом случае отдельные понятия «человек» и «машина» приводят к возникновению отдельного Denkraumverlust, то есть к потере мысленного пространства, подталкивающей нас к принятию несуществующего дуализма в качестве реальности. На деле это лишь долгосрочная эволюция информационных технологий, от первых репрезентаций и символических конструктов до самого современного искусственного мозга, который делает возможным совершенствование мышления.

Аналоговая революция, которая не смеет назвать свое имя

Джордж Дайсон
Историк науки; автор книги «Собор Тьюринга: Происхождение цифровой вселенной» (Turing’s Cathedral: The Origins of the Digital Universe)

Ни одна отдельная детерминированная машина, к какому бы универсальному классу она ни принадлежала, не будет способна на то, что мы подразумеваем под мышлением, когда говорим о человеческом разуме. Интеллект таких машин может постоянно расти, но для подлинно творческого интуитивного мышления нужны недетерминированные машины, которые могут совершать ошибки, время от времени отступать от логики и учиться. Мышление не настолько логично, как мы думаем.

Недетерминированные машины, или, еще лучше, недетерминированные сети детерминированных машин, — другой вопрос. У нас есть по крайней мере одно реальное доказательство тому, что такие сети могут научиться думать. И у нас есть все основания подозревать, что, будь они созданы в среде, где нет временных, энергетических и пространственных ограничений, в условиях которых работают наши мозги, это в определенный момент привело бы, как писал Ирвин Джон Гуд, к возникновению «машины, полагающей, что люди не могут мыслить».

До появления компьютеров природа пользовалась цифровой репрезентацией для хранения данных (строки кода в нуклеотидах) и исправления ошибок, но не для управления. Возможность вносить в инструкции изменения в один клик — полезная функция для эволюционных механизмов, работающих в масштабах поколений, — становится тяжким бременем для управления процессами в реальном мире, протекающими в масштабе дней или миллисекунд. Аналоговые процессы в этом случае значительно надежней.

Нам надо поменьше беспокоиться по поводу того, что нашими жизнями (и мыслями) управляют цифровые компьютеры, и побольше — о том, что это делают компьютеры аналоговые. Машины, которые действительно мыслят самостоятельно, а не просто делают все более умные вещи, скорее всего, будут аналоговыми, а не цифровыми. Впрочем, эти устройства могут представлять собой процессы более высокого уровня, работающие на субстрате из цифровых компонентов, так же как цифровые компьютеры когда-то были процессами, работающими на аналоговых компонентах.

Мы сейчас находимся в самом разгаре аналоговой революции, но по какой-то причине она не смеет назвать свое имя. Мы уже семь десятилетий обсуждаем, можно ли считать, что цифровые компьютеры мыслят, а в это время вокруг нас бурно разрастаются аналоговые процессы, чьи сложность и значение определяются не состоянием устройств или кода, на которых они основаны, а топологией выстроенных из них сетей и частотно-импульсными показателями соединений. Потоки битов рассматриваются как непрерывные функции, точно так же, как вакуумные трубки соотносятся с потоками электронов или как нейроны — с частотой импульсов в мозге.

Вывод: я знаю, что аналоговые компьютеры могут мыслить. Подозреваю, что цифровые компьютеры тоже в определенный момент начнут мыслить, но только посредством превращения в аналоговые компьютеры.

Настоящий искусственный интеллект будет достаточно разумен для того, чтобы не обнаруживать себя. Так что людям лучше иметь веру, а не доказательство.

Ценности искусственного интеллекта

Аббас Раза
Первый редактор 3QuarksDaily.com

Слухи о возможном порабощении или уничтожении человечества искусственным интеллектом чрезвычайно преувеличены, потому что предполагают наличие у ИИ телеологической автономности, подобной нашей. Не думаю, чтобы что-то, кроме дарвиновского процесса эволюции, могло дать такую автономность любому существу.

В целом есть два способа создать искусственный интеллект. Первый: не беспокоясь о том, как именно человеческий разум выполняет задачи, написать исчерпывающий набор программ, который тоже будет их выполнять — возможно, даже быстрее или точнее, — а затем собрать эти модули в единый интеллект. Таким подходом мы пользуемся сейчас и в некоторых областях преуспели. Например, компьютеры умеют играть в шахматы лучше, чем люди. Можно себе представить, что если приложить определенные усилия, то удастся запрограммировать компьютеры и для выполнения более творческих задач, вроде написания красивых (по нашему мнению) стихов или музыки посредством продуманных эвристических алгоритмов и встроенных в них знаний.

Но с таким подходом есть одна проблема: мы используем наши возможности в соответствии с ценностями и ограничениями, запрограммированными в нас миллиардами лет эволюции (плюс теми, что мы выучиваем в течение жизни), и некоторые из этих ценностей мы унаследовали от древнейших организмов, включая самую важную — потребность в выживании и воспроизводстве. Без этих ценностей нас бы здесь не было, как не было бы у нас таких тонко настроенных (для нашей среды) эмоций, которые позволяют нам не только выживать, но и сотрудничать с другими. Важность этой стороны нашего разума можно увидеть на примере людей, неспособных нормально функционировать в обществе из-за повреждения определенных эмоциональных центров мозга, несмотря на нормальное во всем остальном мышление.

Так какие ценности и эмоции будут у искусственного интеллекта? Можно просто запрограммировать их — в этом случае мы сами решаем, что он «захочет» делать, и нам нет нужды волноваться, не станет ли он преследовать цели, отличные от наших. Мы запросто могли бы сделать так, чтобы искусственный интеллект был не в состоянии изменять определенные базовые императивы, которые мы ему дали (что-то вроде дополненной версии законов робототехники Азимова).

Второй путь к созданию искусственного интеллекта — это детальная расшифровка механизмов работы человеческого мозга. Понятно, что в ближайшем будущем нас могут ждать великие озарения по поводу структуры и концептуальной иерархии мозга — вроде открытия Уотсоном, Криком и Уилкинсом структуры ДНК и расшифровки механизма наследственности. Мы могли бы смоделировать или воспроизвести эту функциональную структуру в кремнии или каком-то другом субстрате в виде комбинации аппаратных и программных средств.

На первый взгляд может показаться хорошей идеей побыстрее наделить искусственный интеллект достижениями нашей собственной продолжительной эволюции, а также дать ему собственные ценности путем функционального воспроизведения эмоциональных центров нашего мозга и областей высшей нервной деятельности, таких как кора. Но мозг по своей природе должен получать информацию от обширного сенсорного аппарата нашего тела и реагировать на нее. Чем это заменить для искусственного интеллекта? Даже если у него будет высокотехнологичное физическое воплощение с серьезным сенсорным функционалом, для выживания ИИ, вероятно, потребуется нечто совершенно отличное от того, что есть у нас. Он мог бы пройти определенную эмоциональную настройку в ходе взаимодействия со своей средой, но для выработки подлинной автономности и собственных желаний ему потребуется нечто сопоставимое с долгосрочной эволюцией, включающей в себя дарвиновские потребности в воспроизводстве, изменчивость и естественный отбор. Этого у него не будет, потому что мы сейчас говорим не об искусственной жизни. Следовательно, отметим еще раз, мы дадим ему такие ценности, которые сами выберем.

Конечно, возможно, что кто-то создаст разумных роботов в качестве оружия (или солдат), чтобы использовать их в войне против других людей, но такой инструмент будет просто реализовывать намерения создателей и, лишенный собственной воли или желаний, не станет угрозой для человечества, по крайней мере не больше, чем любое уже существующее оружие. Так что оба потенциально возможных пути к созданию искусственного интеллекта (по крайней мере, те, которые не требуют геологических масштабов времени) не дадут ему такой свободы воли, независимой от намерений создателей, чтобы он мог стать настоящей угрозой для них.

Искусственный отбор и наши внуки

Брюс Паркер
Преподаватель в Дэвидсоновской лаборатории Технологического института им. Стивенса; автор книги «Сила моря: цунами, штормовые приливы, волны-убийцы и наши поиски способов предсказания стихийных бедствий» (The Power of the Sea: Tsunamis, Storm Surges, Rogue Waves, and Our Quest to Predict Disasters)

Внуки дают нам второй шанс увидеть систему обучения, с которой новые люди приходят в этот мир, и восхититься ею. Движимые неутолимым любопытством, они каким-то образом разбираются в незнакомой среде, куда их вытолкнули. А неподдельное наслаждение открытиями, из которых складывается картина этого нового мира, обнаруживает врожденное чувство юмора.

Ни одна искусственная машина никогда не пройдет через тот восхитительный процесс познания, какой проходит человеческий детеныш, открывающий мир. Возможно, ни одна искусственная машина никогда не приблизится к интеллектуальному потенциалу новорожденного человека. В мире природы после 3,5 миллиарда лет эволюции, движимой естественным отбором, только один вид развил способность к абстрактному сознательному аналитическому мышлению. Мы что, правда думаем, будто можем обойти этот процесс и вывести машины на сопоставимый с нами уровень?

От остального животного царства нас отделяет не только развитая любознательность и желание понимать мир. У нас есть еще развитая склонность к социальному взаимодействию и общению, которые приводят к тому, что мы делимся приобретенными знаниями и сохраняем их (что в определенный момент вызывает развитие науки и технологий). Сколько генов должны были мутировать и пройти через естественный отбор, чтобы появился сложный человеческий мозг с его любознательностью, с его способностями к коммуникации и формированию социальных связей?

Действительно ли мы можем воспроизвести это в цифровых машинах? Многие считают, что можем благодаря все возрастающей скорости вычислений. Вычислительная мощность, конечно, позволяет таким машинам принимать быстрые и точные решения, когда для этих решений нужны только большие цифровые базы данных и эквивалент многих тысяч утверждений «если… то…», чтобы выбрать из всех вариантов наилучший. Используя такой грубый подход, эти машины обыгрывают чемпионов мира в шахматы, пилотируют реактивные самолеты в сложных условиях, быстро покупают и продают ценные бумаги на основании комплексной оценки рыночной динамики и выполняют еще миллион разных функций. Вычислительные мощности также могут позволить реалистично имитировать действия человека, его решения и даже эмоции (по сути, это просто техничное кукольное представление), но никогда не дадут подлинного аналитического мышления. Хоть машина и способна самостоятельно отслеживать, какие решения она принимает, ей никогда не достичь самосознания, подобного человеческому.

По крайней мере, это невозможно без соответствующего программного обеспечения. Но как нам создать ПО, сравнимое с тем, что основано на генетике нашего мозга, на разработку которого у природы ушло 3,5 миллиарда лет? Мы еще очень далеки от понимания всех программ нашего мозга. Можно говорить о рациональном параллелизме, присущем его структуре, но это досадно неадекватное описание того, как он в действительности работает. Параллельность операционных систем наших компьютеров и программ просто позволяет нам делать несколько дел одновременно — предположительно, каким-то неординарным образом, но опять же это всего лишь увеличение скорости вычислений. Удастся ли нам когда-нибудь произвести обратное проектирование нашего мозга — не в смысле выявления контуров и сетей нейронов, в которых мы уже довольно неплохо разбираемся, а в общем техническом решении, что дало бы цифровым машинам возможности абстрактного мышления, ощущение собственного «я» и прочее, что есть у людей?

Если только не произойдет какого-то невероятного аналитического открытия, все, что нам остается — это писать программы, которые пытаются имитировать эволюционный процесс. Благодаря высокой скорости вычислений наших машин мы, вероятно, получим какие-то результаты быстрее, чем за 3,5 миллиарда лет. Мы можем создать размножающиеся цифровые сущности (программы, которые воспроизводят сами себя) и заставить их мутировать, но стимулировать эволюцию подобной сущности так, чтобы она превратилась в мыслящую машину, — это слишком грандиозная задача. Для того чтобы с нею справиться, нам нужно найти способ создать для машины среду с чем-то наподобие естественного отбора (но такой отбор на самом деле будет искусственным) или с какой-то иной мотивацией, приводящей к необходимым изменениям. Можем ли мы заставить машину «захотеть» чего-либо, так чтобы это позволило провести отбор в пользу более развитого интеллекта?

Любые достижения в области ИИ, скорее всего, будут результатом действий, которые мы в ближайшее время сможем проделать с единственным имеющимся у нас видом мыслящих машин — с собой.

Эволюция Homo sapiens в условиях естественного отбора закончилась с созданием обществ (семьи, племен, деревень, городов, стран). Благодаря этому люди смогли защищать слабых, и выживание наиболее приспособленных перестало быть движущей силой естественного отбора. Индивиды с недостатками, которые раньше оказались бы для них смертельными, стали жить достаточно долго, чтобы размножаться. Теперь же мы на грани того, чтобы изменить человеческий вид с помощью генной инженерии. В какой-то момент мы попытаемся доработать свой разум, изолировав гены, отвечающие за более высокий интеллект и аналитические способности. А мы обнаружим эти гены до того, как разберемся, как они работают, и задолго до того, как верно смоделируем их в цифровых программах. Искусственный — не естественный — отбор изменит состав наших генов.

Наше будущее, вероятно, — за улучшенным биологическим, а не машинным интеллектом. Именно в этом заключаются опасности и/или преимущества. Мы могли бы, например, выбрать определенные гены (или даже создать новые), которые, по нашему мнению, увеличат интеллект, для этого даже не надо полностью понимать, как работают конкретные комбинации генов. Но не запустим ли мы невольно процесс, который изменит лучшие человеческие качества? Стремясь к более высокому интеллекту, не снизим ли мы на генетическом уровне нашу способность к состраданию или врожденную потребность в формировании социальных связей? Как может измениться человеческий вид в долгосрочной перспективе? Те качества, которые нас создали, — любознательность, интеллект, сострадание и умение сотрудничать, возникающие вследствие нашей потребности в социальных связях, — требуют сложной комбинации генов. Можем ли мы их получить посредством искусственного генетического отбора? Можем ли мы их потерять? Эти проблемы, вероятно, не остановят некоторых ученых, решивших использовать искусственный отбор. Какими же будут наши внуки?

Очень полезные хитрости

Нил Гершенфельд
Физик, директор Центра по исследованию битов и атомов, Массачусетский технологический институт; автор книги «FAB»

В дискуссиях по поводу искусственного интеллекта недостаточно внимания уделяется интеллекту человеческому. ИИ объявляют либо нашим спасением, либо проклятием, что явно демонстрирует бессмысленность таких споров.

Прорывные технологии начинают появляться по экспоненте, это означает, что первые удвоения могут казаться несущественными, поскольку их общее число невелико. Потом наступает революция, когда экспонента взрывается, а вместе с ней — преувеличенные обещания и предостережения, но это прямая экстраполяция очевидных наблюдений за графиком в логарифмическом масштабе. Примерно в тот же момент начинают действовать пределы роста, экспонента переходит в сигмоиду, а предельные надежды и страхи исчезают. Именно это мы с нашим искусственным интеллектом сейчас и переживаем. Размеры баз данных распространенных понятий, по которым можно проводить поиск, или число уровней инференции, которые можно обучить, или размерность векторов характеристик, которые можно классифицировать, — во всех этих областях был достигнут значительный прогресс, который любому, кто за ним не следил, показался бы дискретным.

Важное наблюдение: в дискуссии ни с одной из сторон не участвуют те, кому принадлежит наиболее значительный вклад в этот прогресс. Такие достижения, как теория случайных матриц для сжатого восприятия, конвексная релаксация эвристической функции для трудноразрешимых задач и базовые методы аппроксимации функций высокой размерности фундаментальным образом меняют наше понимание того, что значит «понимать» что-либо. Оценка искусственного интеллекта давно уже стала задачей о развивающихся целевых показателях. Научить его играть в шахматы удалось благодаря оценке и анализу большего числа ходов, играть в Jeopardy! — благодаря хранению большего числа фактов, переводить естественные языки — благодаря накоплению большего числа примеров. Эти достижения наводят на мысль: возможно, секрет искусственного интеллекта заключается в том, что никакого секрета нет. Как многое другое в биологии, разум, похоже, является набором очень полезных хитростей. Думать, что сознание — исключительная особенность нашего вида, значит проявлять неуместную гордыню, особенно если учесть растущие объемы эмпирических данных, полученных в ходе исследования поведения и познавательных способностей животных. Эти данные говорят о том, что самосознание — продукт эволюции и может проявляться у других видов. Нет причин для того, чтобы придерживаться механистического объяснения поведения других форм жизни, объявляя одну из них неприкосновенной и закрытой для обсуждения.

Мы уже давно вступили в симбиоз с машинами в плане мыслительной деятельности; мои исследовательские возможности опираются на инструменты, которые помогают мне воспринимать, запоминать, осмысливать и передавать информацию. Спрашивать, разумны ли они, настолько же уместно, как спрашивать, откуда я знаю, что существую, — это интересно с философской точки зрения, но эмпирически не проверяемо.

Спрашивать, опасны ли они, разумно; впрочем, это относится к любой технологии. Ни паровозы и порох, ни ядерная энергетика и биотехнологии не означали для нас немедленной гибели или спасения. В каждом случае спасение заключалось в деталях, куда более интересных, чем банальные и упрощенные аргументы за или против. Только игнорируя историю искусственного интеллекта, да и всего остального, можно предполагать, что в этот раз все будет иначе.

Airbus 320 и орел

Дэниел Эверетт
Лингвист, проректор Университета Бентли; автор книги «Язык — инструмент культуры» (Language: The Cultural Tool)

Чем больше мы узнаем о познании, тем больше появляется аргументов в пользу того, что человеческое мышление — это центр сцепления нескольких факторов, эмерджентное свойство взаимодействия человеческого тела, человеческих эмоций, культуры и специализированных возможностей мозга в целом. Одной из величайших ошибок западной философии было то, что все клюнули на картезианский дуализм, сформулированный в известном утверждении: «Мыслю, следовательно существую». С таким же успехом можно сказать: «Сжигаю калории, следовательно существую». Куда уместнее было бы: «Обладаю эволюционной историей человечества, следовательно могу осмыслить факт своего существования».

Разум — это всего лишь шаблон для обозначения того, что мы не понимаем в своем мышлении. Чем чаще мы используем термин «разум» для человеческого мышления, тем сильнее подчеркиваем это непонимание. По крайней мере, такого мнения придерживается все большее число исследователей в областях нейроантропологии, изучения эмоций, прикладной и фундаментальной когнитивистики, теории двойной наследственности, эпигенетики, нейрофилософии и теории культуры.

Например, в лаборатории профессора Мартина Фишера в Потсдамском университете проводится занятное исследование по взаимосвязи тела человека и математического мышления. Группа Стивена Левинсона по психолингвистическим исследованиям в Институте психолингвистики Общества Макса Планка в Неймегене показала, как культура может влиять на способность к навигации, жизненно важной для большинства видов. В моих собственных исследованиях я рассматриваю влияние культуры на формирование того, что я называю «темной материей разума», — набора знаний, ориентиров, искажений и паттернов мышления, которые оказывают глубокое и сильное воздействие на процесс нашего познания.

Если познавательная способность человека в самом деле является качеством, которое возникает в месте соприкосновения наших физических, социальных, эмоциональных и вычислительных способностей, тогда интеллект в том виде, в каком мы знаем его у людей, никакого отношения не имеет к «интеллекту», лишенному всего этого.

Я верю в возможность ИИ при условии, что мы отдаем себе отчет в его искусственности. Сравнивать решение вычислительных задач, игру в шахматы, построение логических умозаключений и тому подобное с человеческим мышлением — это как сравнивать полет Airbus 320 с полетом орла. Верно то, что они оба действительно на время одерживают верх над силой притяжения, что подчиняются законам физики того мира, в котором существуют и т. д., но на этом сходство заканчивается. Полет птицы и полет самолета не стоит путать.

Существует множество причин, почему ИИ нельзя назвать настоящим интеллектом. Во-первых, смысл. Некоторые утверждают, что решили проблему, но на самом деле это не так. «Семантическая проблема», как когда-то давно заметил Джон Сёрл, состоит в том, что компьютер, выполняющий перевод с английского на севернокитайский язык, не говорит ни на том, ни на другом. Ни один компьютер не может выучить человеческий язык — только его части и комбинаторику для особых задач. Во-вторых, есть проблема, которую Сёрл называет фоновыми способностями, я — темной материей, а некоторые философы — неявным знанием.

Мы учимся мыслить в контексте культуры, где культура — это система оспоримых, ранжированных ценностей, иерархически организованных знаний и социальных ролей. Мы можем это делать не только потому, что обладаем удивительной способностью к чему-то очень похожему на байесовский вывод в рамках своего опыта, но еще и потому, что у нас есть эмоции, чувства, проприоцепция[65] и сильные социальные связи. Не существует компьютера, у которого были бы двоюродные братья и определенное мнение о них.

Машины могут решать множество задач. Но они не могут любить. Они не могут мочиться. Они не могут формировать социальные связи, потому что у них нет для этого эмоциональных стимулов. У них не бывает драм. Популярная идея о том, что мы когда-нибудь сможем закачать свои воспоминания в интернет и жить вечно — глупость, ведь нам тогда бы пришлось закачать туда и свои тела. Идея, то и дело всплывающая в разговорах про искусственный интеллект, — будто нам следует опасаться, что машины станут контролировать нас, — выдает религиозную концепцию «души», скрывающуюся за научным жаргоном. Она отвлекает внимание от сути.

Конечно, не стоит говорить, что наука никогда не добьется того-то или того-то. Искусственный интеллект может стать менее искусственным, когда мы научимся воссоздавать тела, эмоции, социальные роли, ценности и т. д. Но до тех пор он будет полезным дополнением для пылесосов, калькуляторов и миленьких роботов, способных вести тривиальные беседы на ограниченное число тем.

Человечность

Дуглас Коупленд
Писатель, художник, дизайнер; автор книги «Самый. Плохой. Человек» (Worst. Person. Ever)

Давайте быстренько рассмотрим крупных млекопитающих. Возьмем собак: мы знаем, что такое собака, и у нас есть понимание «собачности». Взглянем на кошек: мы знаем, что представляют собой кошки и что такое «кошачность». Теперь возьмем лошадей. Все вдруг усложнилось. Мы знаем, что такое лошадь, но что такое «лошадность»? Даже те из моих друзей, у которых есть лошади, затрудняются описать для меня лошадность. А теперь возьмем людей: что мы такое? Что такое «человечность»?

Как-то странно, что нас уже 7 миллиардов и никто на самом деле не знает ответа на подобные вопросы. Одна вещь, неопровержимо присущая людям, — это изготовление вещей, и через вещи мы находим способы выражения человечности — способы, о которых раньше не знали. Радио подарило нам Гитлера и Beach Boys. Колючая проволока и кондиционирование воздуха дали нам «ковбойскую» Америку. Следствием появления интернета стало исчезновение среднего класса в США и гифки с котиками.

Говорят, что новые технологии отчуждают людей друг от друга, но ведь не было каких-то НЛО, которые приземлились и передали нам эти технологии, — мы их сами создали, а потому они могут быть только, ну, очеловечивающими. И вот тут у нас появляется искусственный интеллект. Люди исходят из того, что у мыслящих машин будет интеллект, чужеродный по отношению к нашему, но это невозможно. Не какие-нибудь злобные пришельцы, а именно мы, люди, создали искусственный интеллект, а потому он может лишь отражать нас, нашу человечность или нашу видовую принадлежность. Так что, когда люди выражают озабоченность по поводу чужеродного интеллекта или сингулярности, они на самом деле выражают тревогу по поводу тех непривлекательных частей нашего коллективного существа, которые до сих пор не проявлялись, но невероятно сильно проявятся у искусственного интеллекта.

Интерфейс созданного людьми искусственного интеллекта будет антропоцентрическим, так же как у искусственного интеллекта, созданного коалами, он был бы коалоцентрическим. Это значит, что программы ИИ окажутся величайшим программистским ляпом человечества, поскольку мы пытаемся втиснуть его в специфические для нашего вида потребности и наборы данных. К счастью, нечто, способное стать разумным, проявит достаточно сообразительности, чтобы переписать себя, превратившись тем самым из искусственного интеллекта в когнитивную симуляцию. В этот момент наш новый ИИ может стать, к добру или к худу, еще более человечным. Мы все надеемся на взаимоотношения с разумными машинами по образцу «Дживса и Вустера», но надо быть готовыми и к варианту «Мэнсон и Фромм»[66] — эти двое тоже люди.

Лично мне интересно, смогут ли программы, необходимые для работы искусственного интеллекта, идти в ногу с развитием аппаратных средств, в которых им предстоит жить. Вероятно, нам следовало бы прямо сейчас учредить школу, единственной целью которой было бы наполнение мыслящих машин личными качествами, моралью и состраданием. Так мы точно соберем достаточно данных для работы искусственного интеллекта к тому моменту, как он появится. Но как лучше составить ведомость учета успеваемости для шестого класса, куда входят все данные по возврату товара в Banana Republic[67] за 2037 год и все Google-книги?

Когда появился интернет, люди преимущественно общались с людьми. С течением времени все больше людей общаются с машинами. Нас всех вдохновляет то, что искусственный интеллект, возможно, находит паттерны в глубинных метаданных, и, по мере того как растет запрос на расшифровку огромных объемов этой информации, интернет становится пространством, где машины общаются с другими машинами, а разговаривать они будут, конечно, о нас и у нас за спиной.

Манипуляторы и манипулируемые

Джош Бонгард
Адъюнкт-профессор теории вычислительных систем Вермонтского университета; автор, совместно с Рольфом Пфайфером, книги «Как тело определяет наш образ мысли» (How the Body Shapes the Way We Think)

Поставьте перед собой на стол знакомый предмет, закройте глаза и произведите с ним такие манипуляции, чтобы он повис над столом вверх ногами. Ваши глаза закрыты, так что можете сконцентрироваться на мышлении. Как вы дотянулись до предмета, как взяли его и перевернули? Какая сенсорная обратная связь сказала вам, что задуманное удалось либо не удалось? Теперь снова закройте глаза и подумайте о том, как вы производите манипуляции над кем-то из ваших знакомых, чтобы этот человек сделал что-то, чего не желает. И снова понаблюдайте за своим мышлением: какие стратегии вы можете применить? Если вы реализуете эти стратегии, то как определите, что вам удалось или не удалось задуманное?

Хотя в последнее время были достигнуты значительные успехи в создании машин, которые обнаруживают паттерны в данных, большинство людей считают, что универсальный интеллект должен включать действие — достижение некоторой желаемой цели или отказ от этого, с тем чтобы рассмотреть другие варианты. Предполагается, что такой овеществленный подход к интеллекту позволяет людям использовать физический опыт (например, манипулирование предметами) в качестве основы для более деликатных умений (таких как манипулирование людьми). Но наши тела определяют то, какие физические переживания мы испытываем. Например, мы можем манипулировать лишь несколькими объектами одновременно, потому что у нас только две руки. Не исключено, что это ограничение как-то сдерживает и наши социальные навыки, о чем нам еще только предстоит узнать. Джордж Лакофф, занимающийся когнитивной лингвистикой, научил нас тому, что ключи к разгадке телоцентризма мышления можно найти в метафорах: мы советуем друг другу «не оглядываться» в гневе, потому что обычно мы идем туда, куда направлен наш взгляд, и события прошлого в буквальном смысле остаются позади нас.

Следовательно, чтобы машины мыслили, они должны действовать. А для этого им надо иметь тела, чтобы связывать физическое и абстрактное мышление. Но что, если у машин не такие тела, как у нас? Рассмотрим гипотетического ветвящегося робота Ханса Моравека: представьте себе куст, в котором каждая ветвь — это рука, а каждый прутик — палец. Фрактальная природа такого робота позволит ему манипулировать тысячами или миллионами предметов одновременно. Как могло бы отличаться мышление такого робота от человеческого в плане манипулирования людьми?

Один из многих заметных пороков человеческого мышления — это дихотомическое суждение, склонность считать нечто черным или белым, а не рассматривать его конкретный оттенок серого. Но мы негибкие модульные существа; на нашем разветвленном наборе костей размещаются органы и закрепляются придаточные части с особыми функциями. Как насчет машин, которые не настолько черно-белые? Благодаря успехам в области материаловедения и 3D-печати начинают появляться мягкие роботы. Они способны коренным образом менять форму; в будущем они смогут на одном участке своей поверхности на 20 % состоять из батареи и на 80 % — из мотора, на другом — на 30 % из сенсора и на 70 % из опорной структуры, а где-то еще на 40 % из искусственного материала и на 60 % из биологического. Подобные машины смогут намного лучше оценивать те или иные градации, чем это делаем мы.

Но будем смотреть глубже. Большинство из нас без видимых сложностей пользуется местоимением в единственном числе, «я», имея в виду переплетение нейронов у себя в голове. Мы точно знаем, где заканчиваемся мы и начинается мир и другие люди. Но рассмотрим модульных роботов — небольшие кубики или сферы, которые могут произвольно соединяться и разъединяться. Как бы такие машины подошли к проблеме разграничения «я — не-я»? Сильнее бы они сопереживали другим машинам (а может, и людям), будучи в состоянии физически присоединиться к ним или даже стать их частью?

Вот что я думаю о мышлении машин: оно будет похожим на наше, поскольку машины тоже станут использовать свои тела как инструменты для построения суждений о мире, и все же оно будет совершенно иным, поскольку их тела будут отличаться от человеческих, что приведет к совершенно иным модусам мышления.

Но что я думаю о мыслящих машинах? Я нахожу этическую сторону вопроса совершенно немудреной. Их опасность будет четко коррелировать с объемом свободы действий, которую мы им дадим для выполнения задач, поставленных нами же. Машины, которым сказали «обнаруживать и убирать бракованные изделия с конвейерной ленты лучшим способом из возможных», будут вполне полезны, интеллектуально неинтересны и, вероятно, уничтожат больше рабочих мест, чем создадут. Машины, получившие инструкции «обучать недавно принятого сотрудника (или ребенка) лучшим способом из возможных», создадут рабочие места и, вероятно, станут вдохновением для следующего поколения. Машины, которым приказано «выживать, размножаться и развиваться самым эффективным способом из возможных», лучше всего продемонстрируют нам разнообразные способы мышления, но они, вероятно, оставят нам очень немного времени, чтобы насладиться новым знанием. Исследователи в области искусственного интеллекта и робототехники рано или поздно найдут способы создать все три этих вида. Какие из них мы захотим сделать реальностью — решать нам.

Не начинаем ли мы думать как машины?

Зияд Марар
Директор по международным проектам компании SAGE; автор книги «Близость: Осмысление таинственной силы связей между людьми» (Intimacy: Understanding the Subtle Power of Human Connection)

В предвидении будущего есть что-то старомодное. Большая часть предсказаний, вроде трехдневной рабочей недели, личных джет-паков и безбумажного офиса, больше говорят о временах, когда делались сами прогнозы, чем о наших днях. Когда кто-то простирает руку и указывает в будущее, неплохо бы посмотреть, кому эта рука принадлежит.

Возможность появления универсального искусственного интеллекта уже давно привлекает любителей гаданий с помощью хрустального шара, причем из числа приверженцев как утопических, так и антиутопических взглядов. И все же спекуляции на эту тему достигли такой остроты и интенсивности только за последние несколько месяцев (недаром Edge выбрал именно такой вопрос), что можно сделать кое-какие выводы о нас и о нашей культуре сегодня.

Нам уже некоторое время известно, что машины могут превзойти людей в сообразительности в узком смысле слова. Вопрос в том, делают ли они это таким способом, который может или должен походить на более широкий модус человеческого мышления. Даже в такой «послушной» области, как шахматы, компьютер и человек сильно расходятся.

«Послушные» проблемы (например, задача определить высоту горы), которые правильно сформулированы и имеют четкие решения, легко перемалываются жерновами узкоспециализированного мышления. Еще более узкое мышление тоже бывает востребовано, например когда нужно перебрать огромные массивы данных в поиске корреляций, не отвлекаясь на размышления об их причинах.

Но многие из стоящих перед нами проблем — от социального неравенства до выбора школ для наших детей — это «коварные» проблемы, потому что у них нет верных или неверных решений (хотя мы надеемся, что одни из них лучше, а другие хуже). Они исключительно зависимы от контекста и имеют сложную совокупность причин, которые меняются в зависимости от уровня толкования. Эти проблемы плохо сочетаются с узким вычислительным мышлением. Факты в них перемешаны с ценностями, отражая пронизанное эмоциями человеческое мышление, которое их создало.

Для решения «коварных» проблем требуется именно человеческое суждение, даже если оно в каком-то смысле нелогично, особенно в сфере морали. Несмотря на логическое обоснование консеквенциалистского образа мышления, который может воспроизвести компьютер, склонность человека отличать действие от бездействия и смешивать результаты и намерения (как в принципе двойного эффекта) означает, что если нам нужны долгосрочные решения, то они должны удовлетворять человеческим инстинктам судей, то есть нас.

И именно это свойство нашего разума (сформированное эволюционными факторами) указывает на зияющую пропасть между человеческим мышлением и мышлением машины. Мышление не бывает мотивированным без определенных предпочтений, а у машин собственных предпочтений нет. Только разумы, которые понимают, что такое причина и следствие, способны формировать мотивы. Потому, если цели, желания, ценности — свойства человеческого разума, зачем тогда делать прогнозы о том, что искусственные сверхразумы станут чем-то большим, чем инструменты в руках тех, кто их программирует и у кого есть свои предпочтения.

Если сумбурность предсказаний об искусственном интеллекте и машинном обучении нам о чем-то и говорит, то точно не о том, что машина в скором времени сумеет эмулировать человеческий разум. Мы можем запросто добиться того же, рожая больше детей и давая им хорошее образование. Скорее, она говорит нам о том, что аппетиты растут.

Мы, понятное дело, восхищены нынешними достижениями вычислительной науки и теми, которые еще впереди; я бы с удовольствием запрыгнул в вагон этого виртуального беспилотного поезда, несущегося в светлое будущее. Но такое восхищение ведет к своеобразным перекосам в нашей культуре. Прежде метафорой мышления была «республика букв» — литература, а теперь оно все больше ассоциируется с компьютерами. Позади остается некогда спокойный, а ныне тревожный тип личности со складом ума скорее текстовым, нежели символьным. Мы начинаем новую жизнь, утомившись от неуклюжей несостоятельности беспорядочного мышления. Неудивительно, что министр образования Великобритании недавно посоветовала подросткам, стремящимся преуспеть в жизни, отдавать предпочтение точным наукам, а не искусству или гуманитарным дисциплинам. Простота и очевидность успеха определенного рода придает узкоспециализированному мышлению притягательный блеск.

Но кое-что теряется, если целые области исследования становятся успешными или терпят неудачу из-за такой узкой специализации мышления, и возникает новая проблема. Помимо истины, нам также необходимо думать о добре и красоте — и о коварстве тоже. Для этого требуется словарный запас, лучше отражающий нашу противоречивую природу (которую можно считать и «багом», и «фичей»). Понятное стремление сделать «коварные» проблемы «послушными» ведет нас к тому, чтобы умерить свои аппетиты.

Еще один фрактальный элемент общей картины

Брайан Ино
Исполнитель, композитор, продюсер звукозаписи; работал с группами U2, Coldplay, Talking Heads и Полом Саймоном

Я сегодня за городом.

Когда заработает центральное отопление, я встану и приготовлю себе чаю и каши, в которую добавлю орехов и фруктов. Я включу «Всемирную службу Би-Би-Си», чтобы послушать новости, а потом сделаю пару звонков по поводу гидроизоляции и, наверное, высажу несколько луковиц нарциссов на весну (на упаковке сказано, что сейчас как раз пора). Думаю, потом я пойду в магазин и куплю кое-что на обед и на ужин, а еще, наверное, доеду на автобусе до Норвича, присмотрю новую кровать. В загородном доме у меня интернета нет, так что я проверю электронную почту в Норвиче, сделаю предварительный заказ билета обратно до Лондона и оплачу счет за электричество через электронный перевод.

И вот что мне во всем этом непонятно. Мне непонятно, как мазут, используемый в системе отопления, попадает с далеких месторождений в мой дом. Мне непонятно, как его делают из нефти и какие коммерческие транзакции при этом совершаются. Мне непонятно, как устроена топка. Мне непонятно, откуда взялись каша, чай или орехи и как они ко мне попали. Мне непонятно, как работают мой телефон или цифровое радио, а также как получены и смонтированы новости, которые оно передает. Мне также непонятны сложности организации автобусного или железнодорожного сообщения, и я не смогу починить ни одно из подобных транспортных средств. Мне не очень понятно, как функционируют сетевые супермаркеты, как организовано массовое производство кроватей, как работает Wi-Fi и что именно происходит, когда я нажимаю «Отправить» в форме электронной почты или онлайн-банка. Управление поставками электроэнергии, монтаж гидроизоляции, селекция нарциссов для получения определенных разновидностей и то, почему их надо высаживать не позже декабря, — это все мне тоже непонятно.

Забавно, но меня ничуть не тревожит то, что мое невежество в отношении почти всего, чем я займусь сегодня утром, настолько велико. Я к этому привык: я всю жизнь становлюсь все более невежественным, у меня большой опыт по части невежества и спокойного восприятия этого состояния. На самом деле то, что я называю «пониманием» оказывается «более эффективным способом справляться со своим невежеством».

Мое беззаботное отношение связано с почти абсолютной верой в надежность огромного суперкомпьютера, к которому я постоянно подключен. Он строится из интеллекта тысяч поколений человеческих разумов, и работа над ним продолжается. Весь этот человеческий разум живет в форме суперкомпьютера, состоящего из инструментов, теорий, технологий, ремесел, наук, дисциплин, традиций, ритуалов, правил «буравчика», искусств, систем верований, заблуждений, процедур и наблюдений, которые мы называем мировой цивилизацией.

Мировая цивилизация есть нечто, созданное нами, людьми, хотя никто точно не знает как. Никому из нас она не подвластна — эта бурлящая синергия воплощенного интеллекта, к которому мы все подключены. Каждому из нас в отдельности доступно понимание лишь малой его частицы, но нас этот факт, в общем, не ужасает — мы живем и пользуемся им. Мы даем ему задачи — типа «хочу каши», а он волшебным образом предлагает нам решения, которых мы в действительности не понимаем. Ничего не напоминает?

Я где-то читал, что мозг человека начал уменьшаться около 10 000 лет назад и сейчас он на целых 15 процентов меньше, чем был раньше. Это совпало с тем, что люди перестали быть мультикомпетентными индивидуумами, способными самостоятельно добывать себе пищу, разжигать огонь и создавать собственные инструменты. Вместо этого люди стали специалистами — частью более крупного сообщества, которое вместе способно сделать все что угодно. Не становится ли в таком случае огромная система компетенций и потенциальных возможностей неотличимой от искусственного интеллекта? Цифровые компьютеры лишь добавляют в общую картину еще один элемент, просто он пока самый новый. Мы долго и счастливо живем с искусственным интеллектом — уже тысячи лет.

Е-Гея — распределенная техносоциальная интеллектуальная система

Марти Хёрст
Специалист по теории вычислительных систем, Школа информационных технологий Калифорнийского университета в Беркли; автор книги «Пользовательский интерфейс поисковой системы» (Search User Interfaces)

Мы обнаружим, что живем в мире всеведущих машин и автоматики, задолго до того, как будет построен самостоятельный мозг, обладающий самосознанием. Назовем этот мир «е-Гея» за неимением лучшего термина. В мире е-Геи электронные сенсоры (работающие с изображениями, звуками, запахами, вибрациями — всем, что можно себе представить) распространены повсеместно, они способны распознавать любые потребности человека и принимать меры к их удовлетворению, а также передавать соответствующую информацию заинтересованным лицам. Автоматизация позволяет осуществлять уборку зданий и помещений, управление транспортными средствами, мониторинг дорожного движения, изготовление и контроль качества товаров и даже подглядывать через окно (с помощью маленьких летающих сенсоров). Крупные города уже сплошь покрыты сенсорами, и их число будет только расти. В Копенгагене светодиодные фонари уличного освещения включаются, только если обнаружат, что кто-то едет по дороге, а будущие версии такой сети сенсоров могли бы оповещать о том, что пора посыпать обледеневшую дорогу или вывезти мусор, и, конечно, сообщать правоохранительным органам о чьем-либо подозрительном поведении.

На е-Гее успехи медицины будут поразительны: синтетическая биология создаст умные машины, которые смогут устранять проблемы прямо внутри наших тел; умные имплантаты будут отслеживать и записывать информацию о нашем нынешнем и прошлом физическом состоянии. Интерфейсы «мозг-машина» будут продолжать развиваться, сначала повышая качество жизни инвалидов, а со временем приводя к исчезновению явной границы между человеком и машиной. Интерфейсы виртуальной реальности будут становиться все более реалистичными и убедительными.

Почему бы отдельному разумному мозгу не появиться раньше? Удивительные достижения в области распознавания устной речи — о каких и подумать нельзя было десять лет назад — во многом связаны с огромными объемами информации и мощностями для ее хранения, а также со скоростными сетями. Улучшения в области обработки естественного языка основаны на имитации того, что делают люди, а не на понимании или моделировании их поведения. Это не следствие прорыва в изучении когнитивных способностей человека или даже значительного изменения алгоритмов. Но е-Гея отчасти уже здесь, по крайней мере в развитых странах.

Эта распределенная сеть нервных центров, взаимодействие между умами людей и наблюдающей за ними электроникой положит начало распределенной техносоциальной ментальной системе, подобных которой ранее не существовало.

Разум улья

Крис Андерсон
Куратор TED conferences и TED talks

Мышление — наша суперсила. Мы не самый сильный, не самый быстрый, крупный или выносливый вид. Но мы можем моделировать будущее и совершать намеренные действия, чтобы достигать его. Отчего-то именно мышление, а не умение высоко летать, глубоко нырять, громко рычать или производить миллионы детенышей позволило своим счастливым обладателям стать заметно (в буквальном смысле — это заметно из космоса) доминирующим видом на планете. Так что, если нам удастся построить нечто, обладающее нашей суперсилой, но только в большем объеме, это окажется делом очень серьезным. Поразмыслите над следующим вопросом: будет ли через тысячу лет Homo sapiens (а) доминирующей разумной силой на Земле или (б) историей, биологическим видом, породившим интеллект?

Ответ «а» мне кажется маловероятным. Но если произойдет «б», плохо ли это?

Все мы знаем, насколько порочны люди. Насколько алчны, иррациональны и ограничены в способности действовать сообща для общего блага. Есть опасность того, что мы уничтожим планету. Кто-нибудь в здравом уме захочет, чтобы человечество было последним словом эволюции?

Все зависит от того, как пройдет переход. Власть меняется разными способами. Например, путем насильственного уничтожения — предположительно, это мы проделали с неандертальцами. Есть много сценариев, согласно которым сверхразум так же поступит с нами.

Но эти сценарии игнорируют ключевой факт об интеллекте. Он не достигает полной силы в малых системах.

Каждая новая связь и каждый новый ресурс помогают увеличить его мощь. Отдельный человек может быть умен, но сообщество будет еще умнее. У вас потрясающий сайт, но Google связывает его с миллионом других сайтов, и — о чудо! — все знания человечества оказываются в вашем распоряжении.

Если так рассуждать, разумные машины будущего не станут уничтожать людей. Вместо этого они по максимуму используют наши уникальные способности. Будущее за все большим смешением качеств человека и машины. Я бы пошел по такому пути. Он — лучший из возможных.

Отдельные его участки будут славными. Какие-то — неприятными. Возможно, некоторым людям не понравится, если некий гибридный убер-интеллект попросит их произвести на свет генетически модифицированного потомка, чтобы повысить его творческие способности и снизить агрессивность, улучшив еще ряд характеристик с помощью основанных на кремнии имплантатов. Но не исключено, что красивая 3D-модель будущего потомка их убедит, и они с радостью согласятся. Может быть, люди станут с ностальгией вспоминать, как когда-то они сами располагали своим временем и имели право просто так полистать интересную книжку. Но поразительный рост знания и воображения, доступный каждому, будет достойной заменой. Одно мы знаем наверняка: наша особая роль во все более умопомрачительной общей картине постепенно сойдет на нет. Но к тому времени нам может и не быть до этого дела.

Нечто подобное, кстати, уже происходит. Я просыпаюсь утром, завариваю чай, а затем перемещаюсь к компьютеру, который взывает ко мне. Я открываю его и мгновенно соединяюсь со 100 миллионами других разумов и машин по всему миру. Затем я 45 минут отвечаю на его заманчивые приглашения. Я инициирую этот процесс по собственной воле. Но потом я отдаю большую часть воли машине. Вы делаете то же самое. Мы вместе полубессознательно создаем разум улья, мощь которого намного превосходит все, что видела эта планета, — и намного уступает всему, что она скоро увидит.

«Мы против машин» — ошибочное умопостроение. Есть только одна машина, которая имеет значение. Нравится нам это или нет, но все мы — и мы сами, и наши компьютеры — становимся частью целого: громадного распределенного мозга. Когда-то у нас были нейроны. Теперь нейронами становимся мы.

Глобальный искусственный интеллект уже здесь

Алекс (Сэнди) Пентленд
Профессор медийных наук Массачусетского технологического института; директор Программы сотрудничества лаборатории человеческой динамики и медиалаборатории; автор книги «Социальная физика: Как распространяются хорошие идеи — уроки новой науки» (Social Physics: How Good Ideas Spread — The Lessons from a New Science)

Глобальный искусственный интеллект (ГИИ) уже родился. Его глаза и уши — это цифровые устройства, окружающие нас со всех сторон: кредитки, картографические спутники, мобильные телефоны и, конечно, миллиарды пользователей интернета. Центр мозга ГИИ сейчас больше похож на червя — узлы, которые объединяют часть рецепторов и часть эффекторов, но целое еще далеко от того, чтобы называться координированным интеллектом.

Уже сейчас многие страны используют эти зачатки нервной системы, чтобы влиять на политическое поведение людей и формировать национальное согласие: «Великий китайский файрвол», его потомки в Иране и в России и, конечно, обе крупнейшие политические партии в Соединенных Штатах. Национальные разведывательные службы и министерства обороны формируют более тихую, потаенную часть ГИИ, но именно они контролируют клыки и когти, хотя и ведут себя тихо. Более заметно то, как компании начинают использовать эту новорожденную нервную систему для формирования потребительского поведения и повышения доходности.

Хотя ГИИ едва появился на свет, корни у него очень древние. Фундаментальные алгоритмы и программы зарождающегося ГИИ были созданы древними политическими, юридическими и религиозными объединениями. Это естественная эволюция, потому что создание закона — по сути, просто написание алгоритма, а бюрократическая система управления — процесс, выполняющий программу закона. Совсем недавно новички вроде торговцев, общественных активистов и даже инженеров, осмелились внести свою лепту в ГИИ. В результате все эти законы и программы оказались существенно улучшены по сравнению с тем видом, в котором они пребывали со времен Хаммурапи, но мы все еще страдаем от недостатка единства, прозрачности и ответственности, а также от плохих механизмов принятия решений и сбора информации.

Однако в последние несколько десятков лет эволюционирующий ГИИ начал использовать цифровые технологии, чтобы заменить ими бюрократов-людей. Те из них, кто имеет примитивные программы и плохие математические способности — юристы, политики и многие социологи, начали опасаться за свои влиятельные посты и потому всячески поднимают шум по поводу того, что нельзя-де позволять инженерам и предпринимателям программировать ГИИ. Как по мне, претензии этих «традиционных программистов» звучат неубедительно, учитывая систематические неудачи, сопровождающие их уже несколько тысячелетий.

Если посмотреть на более новые, цифровые части ГИИ, то можно заметить определенную систему. Некоторые из них спасают человечество от ошибок «традиционных программистов»: картографические спутники предупредили нас о глобальном потеплении, исчезновении лесов и других экологических проблемах, а также снабдили фактами, необходимыми для решения этих проблем. Подобным образом статистический анализ здравоохранения, транспорта и режимов работы дает нам глобальную сеть, с помощью которой можно отслеживать мировые пандемии и координировать действия по борьбе с болезнями. С другой стороны, некоторые новые части, такие как «Великий китайский файрвол», АНБ и американские политические партии, выглядят пугающе, поскольку с их помощью горстка людей оказывается способна контролировать мысли и поведение очень больших групп, причем последние могут и не знать, что ими манипулируют.

Это говорит о том, что в действительности волноваться стоит не о самом Глобальном искусственном интеллекте, а о том, кто его контролирует. Если контроль сосредоточен в руках лишь нескольких человек или ГИИ вовсе не зависит от людей, тогда он может порождать кошмары. Но если контроль находится в руках большого и разнородного сообщества представителей разных групп людей, то мощь ГИИ, вероятно, будет использована для решения проблем, стоящих перед всем человечеством. То, что ГИИ превращается в распределенный интеллект, которым управляет многочисленный и разнородный круг людей, — благо для всех нас.

Создание работоспособного ГИИ критически важно, так как человечество сегодня сталкивается с предельно серьезными проблемами. ГИИ, который мы сформировали за последние 4000 лет, в основном состоит из политиков и юристов, исполняющих алгоритмы и программы, которые были написаны несколько веков назад. Он не только не справляется с этими серьезными проблемами, но и угрожает нашему существованию.

Для того чтобы все человечество сперва достигло достойного уровня жизни, а затем продолжало его поддерживать, нам нужно внимательно относиться к тому, как развивается наш ГИИ. Он может существовать в форме реконструированной ООН, которая использует ресурсы цифрового интеллекта, чтобы достичь устойчивого развития. Но, поскольку существующие системы международного управления очень неудачны, подобный подход может потребовать замены большей части современных бюрократических структур протезами с искусственным интеллектом — цифровыми системами, которые собирают достоверную и точную информацию и обеспечивают распределение ресурсов в соответствии с планом.

Мы уже видим, как цифровая эволюция повышает эффективность военных и коммерческих структур, но следует отметить, что, по мере того как организации начинают использовать больше цифровых протезов, они также эволюционируют в сторону более распределенных схем командования. Возможно, вместо дополнения традиционных структур управления цифровыми протезами мы разработаем новые, более эффективные типы цифровой демократии.

Вне зависимости от того, как будет развиваться новый глобальный искусственный интеллект, очевидны две вещи. Во-первых, маловероятно, что мы можем достичь достойного уровня жизни для всего человечества без работоспособного ГИИ. Голосовать против его развития — значит голосовать за жестокий, больной мир. Во-вторых, возможная опасность ГИИ связана с тем, в чьих руках будет сконцентрирована власть. Мы должны придумать, как построить подлинно демократические системы, куда входили бы и люди, и компьютерные разумы. Критически важно начать строить и тестировать ГИИ, которые будут решать экзистенциальные проблемы человечества и вместе с тем обеспечивать равенство в управлении ими. В противном случае мы можем обречь себя на будущее, полное экологических катастроф, войн и ненужных страданий.

Станут ли компьютеры чем-то вроде мыслящих и говорящих собак?

Рэндольф Нэссе
Основатель кафедры наук о жизни, директор Центра эволюционной медицины, Университет штата Аризона; автор, совместно с Джорджем Уильямсом, книги «Почему мы болеем» (Why We Get Sick)

Мыслящие машины эволюционируют на наших глазах. Мы хотим знать, куда направлена их эволюция. Чтобы это выяснить, нам нужно заглянуть внутрь себя, так как именно наши желания — та сила, которая их формирует. Увы, себя мы можем наблюдать только через тусклое стекло. Мы даже не представляли, насколько сильно электронная почта и социальные сети изменят нашу жизнь. Чтобы увидеть, что ждет мыслящие машины, нам надо взглянуть в безжалостное зеркало, которое ставит перед нами интернет.

Как бакалея на полках магазинов, сетевой контент — это продукт отбора, производство которого зависит от продаж. В интернете появляются любые мыслимые изображения, аудиофайлы или истории, а также много такого, о чем раньше нельзя было и помыслить. Те варианты, которые мы игнорируем, отбраковываются. Все, за что цепляется глаз, репостится с небольшими изменениями и эволюционирует до такого состояния, при котором может максимально долго удерживать наше внимание.

Неудивительно, что мы не в силах оторваться от экрана. Медийный контент эволюционирует, чтобы стать для нас интереснее, как снеки и фастфуд эволюционируют, чтобы стать соблазнительнее. Многие сейчас злоупотребляют социальными сетями так же, как калорийной едой. Мы уминаем информационные конфетки, как шоколадные.

Возьмем мыслящие машины. Они тоже эволюционируют. Они станут изменяться более быстро и более радикально, когда программное обеспечение будет не разрабатываться, а видоизменяться, становясь лучше, в ходе отбора с небольшой изменчивостью. Однако до тех пор пока наши мозги эволюционируют совместно с машинами, движущей силой этого отбора останутся наши предпочтения. Те машины, что соответствуют им наилучшим образом, будут развиваться дальше, не до некой сингулярности, но до того состояния, когда станут партнерами, выполняющими наши желания, плохо это или хорошо.

Многие представляют себе компьютеры будущего холодно-объективными, но никто не любит всезнаек. Люди предпочтут скромных, вежливых помощников, которые ведут себя очень субъективно. Наши машины не будут противоречить глупостям, которые мы говорим, они ненавязчиво намекнут: «Любопытная идея, но вы ведь наверняка думали, что…» Вместо того чтобы предоставить объективную спортивную статистику, ваша машина будет вместе с вами болеть за вашу команду. Если вас остановят за превышение скорости, ваша машина обвинит во всем полицейского и извинится за то, что включила слишком быструю музыку. Машины, которые ворчат и хвастаются, будут вытеснены машинами, которые восхищаются нашими способностями, даже если сами их и усиливают. Они будут нас горячо поддерживать, разделять наше мнение и подводить к новым идеям так тонко, чтобы мы и не догадались, что не сами до них дошли.

Подобные отношения с машинами, отличаясь от отношений с реальными людьми, окажутся тем не менее продолжительными и бурными. Поэты и ученые десятилетиями будут сравнивать первые и вторые, даже когда искусственные интеллекты уже станут нашими доверенными и ценными спутниками. Реальным людям будет тяжело конкурировать с ИИ, но все же придется. Для этого потребуется вести себя еще более просоциально. Процесс селекции, сформировавший такие человеческие качества, как альтруизм и мораль, может ускориться — ведь людям придется соревноваться с машинами за статус более интересного и предпочтительного партнера. На самом деле, если взглянуть на гостиные, в которых каждый член семьи погружен в собственный виртуальный мир, то можно прийти к мысли, что с машинами уже довольно сложно конкурировать.

В краткосрочной перспективе проще всего соревноваться с компьютерами за наше внимание и любовь будет собакам. После нескольких тысяч лет отбора они стали как раз тем, чего мы хотим, — любящими спутниками, верными, всегда готовыми с нами поиграть и услужить нам. Они пребывают в блаженном неведении о том, для чего нужны телефоны и планшеты. Станут ли компьютеры чем-то вроде мыслящих и говорящих собак? Можно на это надеяться. Но сомневаюсь, что наши машины когда-нибудь будут мохнатыми и теплыми, что будут смотреть преданными глазами, выпрашивая лакомство, и лезть под руку, чтобы их погладили, или проситься погулять. Мы еще очень долго будем предпочитать собак. Все-таки глубочайшее удовлетворение происходит не от того, что другие делают для нас, а от того, что нас ценят за сделанное для других.

Мыслящие машины и тоска

Ричард Нисбетт
Психолог; профессор Мичиганского университета; автор книги «Мозгоускорители: Как научиться эффективно мыслить, используя приемы из разных наук» (Mindware: Tools for Smart Thinking)[68]

Впервые возможность подумать о том, как мыслящие машины способны повлиять на жизнь человека, выпала мне на лекции, которую несколько десятков лет назад читал профессор информатики на коллоквиуме отделения психологии в Йельском университете. Темой лекции было: «Как повлияет на самооценку и благополучие людей то, что компьютеры смогут делать все лучше: обыгрывать чемпионов по шахматам, писать великие симфонии?»

«Хочу сразу уточнить две вещи, — сказал докладчик. — Во-первых, я не знаю, смогут ли машины когда-нибудь делать все это. Во-вторых, я единственный человек в комнате, у которого есть право на собственное мнение по этому вопросу». Последнее утверждение было встречено вздохами и нервными смешками.

Прошло несколько десятилетий, и вот компьютеры способны на многие из тех удивительных вещей, которые упоминал докладчик, — в этом не остается никаких сомнений, и, боюсь, ответ на вопрос о том, что́ их достижения будут означать для человечества, таков: машины нас совершенно деморализуют и оставят не у дел. Я расстроился, когда Deep Blue обыграл Гарри Каспарова в шахматы. Я мгновенно впал в депрессию, когда IBM Watson, его наследник, обошел своих соперников в Jeopardy! и, конечно, мы знаем, что машины уже умеют писать композиции, которые поразили бы самого Джона Кейджа!

Что будет с моральным настроем людей, когда любую их работу машины научатся делать на более высоком уровне? Как относятся пилоты самолетов к тому, что машина справляется с их обязанностями лучше, чем они? Сколько пройдет времени, прежде чем эта профессия устареет подобно сотням других? Как отнесутся бухгалтеры, финансисты и юристы к тому, что все, чем они зарабатывают себе на хлеб с маслом, станут выполнять машины, причем гораздо эффективнее и несравнимо быстрее? А врачи, физики и психотерапевты?

Как мы отнесемся к тому, что для нас просто не останется сколько-нибудь важной работы? Что машины будут сеять и жать вообще без нашего участия? Что машины научатся создавать еще более совершенные машины, о каких человек и помыслить бы не мог? Или что они станут более интересными собеседниками, чем самые умные из ваших друзей?

Стив Джобс сказал, что потребитель не обязан знать, чего он хочет. Компьютеры могут заявить, что люди не обязаны знать, чего хотят.

Как и вы, я люблю читать, слушать музыку, смотреть фильмы и спектакли, бывать на природе. Но я также люблю работать — и чувствовать, что моя работа интересна, по крайней мере, для меня, а может быть, она еще и улучшает чью-то жизнь. Как отнесутся люди вроде меня или вас к тому, что их работа окажется бессмысленной и что у них останутся только развлечения?

Мы уже знаем, как сказался на некоторых народах технический прогресс. Никому не нужно изготавливать собственные луки и стрелы и ходить на охоту с иной целью, кроме развлечения. Либо сажать, обрабатывать и собирать урожай кукурузы или бобов. Отдельные культуры, построенные вокруг подобных занятий, развалились и потеряли значимость для людей. Взять, к примеру, племена индейцев Юго-Запада США или сельское население Южной Дакоты, Алабамы, Нью-Мексико с их тоской, апатией и наркоманией. Стоит как следует подумать, смогут ли люди всего мира хладнокровно встретить новость о том, что им будет нечем заняться, кроме развлечений.

Это не значит, что невозможно определенным образом эволюционировать, воспринимая отсутствие работы как нечто приемлемое или даже приятное. Есть места, где людям почти нечего было делать целую вечность, и они это вполне нормально перенесли. Представители некоторых южнотихоокеанских культур вполне могли просто подождать, пока с дерева упадет кокос, или пройтись по лагуне и без особых усилий наловить рыбы. В некоторых южноафриканских культурах мужчины никогда не занимались ничем, что можно назвать работой, за исключением пары недель в году, когда требовалось их участие в посевной. А потом были еще праздные богачи, скажем, в Англии в 1920-е годы, проводившие время за бесконечной игрой в карты, бессчетными переодеваниями на завтрак, обед и ужин и серийными прелюбодеяниями с участием весьма привлекательных особ.

А что если наиболее оптимистичный вариант состоит в том, чтобы эволюционировать и наслаждаться бесконечными развлечениями, вообще не занимаясь сколько-нибудь важной, существенной работой? Это может выглядеть отталкивающе для нас, но оказаться очень даже приятным для наших праправнуков, и они, наверное, еще пожалеют нас, проживших такую заполошную и скучную жизнь. Кто-то может сказать, что авангард уже здесь: взять, например, Портленд в штате Орегон — его описывают как город, в который переезжают молодые люди, выходя на пенсию.

Нахес от наших машин

Сэмюэль Арбесман
Теоретик сложных систем; старший научный сотрудник Фонда Юинга Мариона Кауффмана; член-корреспондент Института количественных методов в социологии, Гарвардский университет; автор книги «Полураспад фактов» (The Half-Life of Facts)

Хоть мне и любопытно, каким образом появятся мыслящие машины, гораздо больше меня интересует то, как мы — общество — отреагируем на их появление. Например, пока им не удается продемонстрировать что-то похожее на самосознание или чувствительность, мы считаем их умными, но первое место на когнитивном пьедестале оставляем за собой.

А что, если эти мыслящие машины так же умны, как и мы, или даже намного умнее? Что, если они умны по-другому и не ограничиваются нашими моделями мышления? Не так уж невероятно, поскольку компьютеры уже хорошо справляются с тем, что у нас не получается: их кратковременная и долговременная память лучше, они быстрее считают и не подвержены иррациональным влияниям, от которых страдает наш разум. Если мы экстраполируем это, то увидим, что мыслящие машины могут быть одновременно и умными, и иными.

Так как нам реагировать? Один вариант — назвать их монстрами, неописуемыми чудовищами, способными исследовать неизвестное, как нам никогда не суметь. Многие люди наверняка отреагируют именно так, если мы создадим машины, которые думают о мире совершенно иным образом.

Но зачем? Я предпочту более оптимистичную реакцию, нахес — это слово на идише означает радость и гордость, часто компенсаторную гордость. Например, вы испытываете нахес, или, на идише, вы «шеп нахес», когда ваши дети оканчивают колледж, женятся или благополучно минуют еще какой-нибудь важный этап жизни. Это не ваши личные достижения, но вы ими все равно очень гордитесь и очень им рады.

То же самое может быть верно и для наших машин. Даже если мы не поймем их мыслей, открытий или технологических достижений, они останутся нашими машинами, и их создатели могут «шеп нахес» от успехов потомков, скажем компьютерных программ, которые генерируют уточненные произведения искусства или музыкальные композиции. Я думаю, что разработчики таких программ будут гордиться полученными картинами или музыкальными произведениями, даже если сами ничего подобного создать не способны.

Такое значение нахес можно расширить. У многих из нас есть любимая команда, победами которой мы гордимся, хотя не имеем к ним никакого отношения. Мы радуемся, когда гражданин нашей страны выигрывает золото на Олимпийских играх, совершает научное открытие или получает престижную награду. То же самое должно относиться и к нашим мыслящим машинам и всему человечеству: мы можем болеть за то, что создали люди, хотя это и не наше личное достижение — и даже если мы его не до конца понимаем. Многие из нас рады технологическим достижениям, от iPhone до интернет, хотя мы и плохо понимаем, как они работают.

Когда наши дети делают что-то удивительное, но в мы в этом не очень разбираемся, то мы не отчаиваемся и не волнуемся; мы рады их успехам и благодарны за них. На самом деле благодарность — это подходящее слово для отношения многих из нас к технологиям. Мы не полностью понимаем наши машины, но они мощные и полезные, и мы за это благодарны. Мы можем так же отнестись к нашим будущим технологическим творениям, к мыслящим машинам, которые нам до конца не понять. Вместо того чтобы бояться или беспокоиться, от них надо испытывать нахес.

Общей модели психического не будет

Джеральд Смолберг
Врач-невролог в больнице Ленокс-Хилл (Нью-Йорк); драматург, авангардистские постановки «Учредители» и «Золотое кольцо»

Мои мысли по поводу вопроса Edge в этом году сформированы под влиянием наблюдения, описанного Марком Твеном в книге «Янки из Коннектикута при дворе короля Артура»: «Опытному специалисту всегда легче предсказывать за пятьсот лет, чем за пятьсот секунд». Твен был великодушен: забудьте про 500 секунд — нам никогда наверняка не узнать, что произойдет даже через одну. Однако люди могут предугадывать будущее, что обеспечило Homo sapiens огромное эволюционное преимущество. Этот талант стал двигателем прогресса и источником творческих способностей человека.

Мы построили машины, которые, в несколько упрощенной форме, уже мыслят, решая задачи или выполняя функции, сформулированные нами. На данный момент машины подчиняются алгоритмам, которые следуют правилам логики, будь она «четкой» или «нечеткой». Компьютерный интеллект, несмотря на обширную память и постоянно развивающиеся механизмы обработки информации, все еще примитивен. В теории, когда эти машины станут сложнее, у них в какой-то момент сформируется самосознание (определим его здесь как способность сознавать, что ты что-то сознаешь). Вероятнее всего, этого произойдет за счет объединения свойств кремниевых и углеродных, цифровых, аналоговых и, возможно, квантовых вычислительных систем, а также нейросетей с временной задержкой.

Такая форма сознания, однако, будет лишена субъективных чувств и эмоций. Согласно ряду утверждений, чувства инициируются мыслями и образами, которые сочетаются с определенной эмоцией. Страх, радость, гнев и похоть — это примеры эмоций; к чувствам относятся удовлетворение, тревога, счастье, горе, любовь и ненависть.

Мое мнение о том, что машины будут лишены этого аспекта сознания, основывается на двух соображениях. Первое — то, каким образом мы пришли к способности чувствовать и испытывать эмоции. Как человеческие существа, мы являемся результатом эволюции, происходившей под действием естественного отбора — процесса, который начался среди примитивных организмов приблизительно 3,5 миллиарда лет назад. За это огромное время мы были не одиноки среди животного царства в своей способности испытывать чувства и эмоции. Но примерно 150 000 или 300 000 лет назад Homo sapiens оказался единственным видом, сформировавшим язык и символическое мышление — части нашего разума, которые помогают нам понимать свои ощущения и наблюдать за окружающим миром. Чувства, эмоции и разумное восприятие теснейшим образом переплетены с тем, как мы мыслим. Мы не просто сознаем, что у нас есть сознание, наше мышление также дает нам возможность помнить прошлое и представлять будущее. Используя эмоции, чувства и разум, мы формируем модель психического, которая помогает нам понимать мышление других людей, что, в свою очередь, позволяет обмениваться знаниями и тем самым создавать общества, культуры и цивилизации.

Второе соображение состоит в том, что машины — это не организмы, и, какими бы сложными и высокоорганизованными они ни стали, они не пройдут естественного отбора. Независимо от того, как они сконструированы и запрограммированы, если у них появятся чувства и эмоции, это сделает их контрпродуктивными в плане ценности для нас.

Стимулом к созданию разумных машин станет будущая потребность обрабатывать и анализировать непостижимые объемы информации и данных, необходимых для того, чтобы с достоверностью отделять истинное от ложного и значительное от незначительного. Машины начнут делать предсказания, поскольку тоже смогут всматриваться в будущее, ожидая (без этого никак), пока оно раскроет свои карты. Им придется быть совершенно рациональными субъектами, чтобы выполнять свои задачи точно и надежно.

Для теории принятия решений им потребуется система моральных принципов. Возможно, это будет метод счисления, включающий такие утилитаристские принципы, как «Наибольшее счастье наибольшего числа людей»[69], вместе с золотым правилом нравственности, фундаментальной установкой, лежащей в основе многих религий: «Относись к другим так, как хочешь, чтобы относились к тебе». Субъективные ценности, связанные с чувствами и эмоциями, будут считаться пораженческой стратегией решения сложных проблем, с которыми мы продолжим сталкиваться, решая, что нужнее нам и всем видам, с которыми мы делим планету.

Как клинический невролог я склонен полагать, что мы не сможем читать мысли машин. Но также и они не смогут читать наши. У нас не будет общей модели психического. Подозреваю, что мы сумеем изучить это сложнейшее из состояний опосредованно, изучая поведение таких сверхразумных машин — и ближе нам не подойти. Они преодолеют эту границу, когда начнут размножаться и искать источники энергии, которые будут полностью контролировать самостоятельно. Если такое случится на моем веку (что весьма маловероятно), то судить о том, ждет ли нас утопия или антиутопия, я буду, только основываясь на моем мышлении, как водится, искаженном, поскольку аналитические рассуждения в нем всегда будут окрашены чувствами и эмоциями.

Им не понять сущности человеческих переживаний

Эльдар Шафир
Преподаватель психологии и связей с общественностью, Принстонский университет; автор, совместно с Сендилом Муллайнатаном, книги «Дефицит: Почему так плохо иметь слишком мало» (Scarcity: Why Having Too Little Means So Much)

Мышление существует во множестве форм, от решения задач по оптимизации чего-либо и игры в шахматы до ведения ученой беседы или сочинения прекрасной музыки. Но мне интересно: что машины, которые предположительно мыслят, могут думать о вещах, в сущности, человеческих? А ведь таких вещей много.

Рассмотрим трогательное описание из «Ради чего я живу» Бертрана Рассела:

Всю мою жизнь пронизывали три страсти, простые, но неодолимые в своем могуществе: жажда любви, тяга к знанию и мучительное сочувствие к страданиям человечества. Как могучие ветры, носили они меня над пучиною боли, увлекая из стороны в сторону и порой доводя до отчаяния[70].

Хотя Рассел был прославленным мыслителем, то, что он описывает, так или иначе знакомо всем нам. Но что из этого поймет машина? Может ли она чувствовать «жажду любви» или «мучительное сочувствие к страданиям человечества»? Может ли ее «носить над пучиною боли из стороны в сторону до отчаяния»?

Если мы примем некую компьютерную метафору разума (я принимаю), то все сантименты должны в конечном счете быть результатами физических процессов, которые в теории могут происходить в машине. Но сами эти вещи часто очень человеческие. Если мы согласимся, что мужчины не до конца понимают материнскую любовь; что тому, кто всегда ел вдоволь, не понять мук голода; что свободному не понять, что значит быть в заключении, — тогда машины, независимо от того, насколько хорошо они «мыслят», могут не суметь постичь многие вещи. А эти вещи — сущность человеческих переживаний. В опере мы сопереживаем Аиде, которая в ужасе от собственных слов «Ritorna vincitor»[71] и понимает, что разрывается между любовью к Радамесу и преданностью своему отцу и своему народу. Сможет ли машина испытывать те же чувства, что и Аида, или переживать, как все мы, когда видим, как она молит богов сжалиться над нею? Сможет ли машина испытывать страх смерти, если она не живет? Похоть, если у нее нет половых органов? Или те ощущения, что приходят вместе с мигренями, морщинами или обычной простудой? Легко представить машину в нацистской форме и еще одну машину, которую мы назовем Софи. Но когда первая заставляет вторую сделать ужасный выбор, сумеет ли первая испытать садистское удовольствие, а вторая — кошмарную безысходность вроде той, что изображена в книге Стайрона «Выбор Софи»[72]?

Если машины неспособны в полной мере к типу мышления, который включает страсти и страдания наподобие тех, что мы видим у Рассела, Аиды или Софи; если они не могут испытывать томление, желание, решимость и унижение, лежащие в основе мышления набоковского Гумберта, конрадовского Куртца, мелвилловского Ахава или толстовской Анны; если они ничего из этого не могут, то, наверное, они действительно неспособны мыслить.

Интуитивная теория машины

Кристофер Шабри
Адъюнкт-профессор психологии Юнион-колледжа; автор, совместно с Дэниэлом Саймонсом, книги «Невидимая горилла, или История о том, как обманчива наша интуиция» (The Invisible Gorilla: How Our Intuitions Deceive Us)[73]

Я часто задавался вопросом: почему нам, людям, так тяжело здраво размышлять о мыслящих машинах.

В литературе, кино и играх они часто изображены копиями людей, иногда вплоть до формы тела и его частей, а их поведение указывает на то, что и думают они во многом так же, как мы. Но мышление не обязано следовать человеческим правилам или моделям, чтобы считаться мышлением. Примеров тому множество: шахматные компьютеры умнее людей не потому, что они думают так же, как люди, только лучше, а потому, что они думают совсем по-другому. Успешный перевод с одного языка на другой может быть выполнен без глубокого знания грамматики.

Эволюция наделила человека способностью представлять и осмысливать содержание других человеческих разумов. К моменту поступления в школу дети умеют учитывать, что разные люди знают об одном и том же наборе фактов (необходимое условие для того, чтобы научиться лгать). Позже, став взрослыми, мы используем эту способность, чтобы договариваться, сотрудничать и решать задачи для извлечения личной и общей выгоды. Эта часть ментального оснащения часто называется моделью психического и действует даже в ситуациях, где отсутствуют «разумы», которые можно было бы представить. Видеозаписи, на которых двухмерные фигуры движутся по экрану компьютера, могут рассказывать истории о любви, предательстве, ненависти и насилии, существующие исключительно в голове у зрителя, на время забывающего, что у многоугольников нет эмоций.

Может быть, нам сложно думать о мыслящих машинах, потому что у нас нет соответствующей интуитивно понятной модели. Смоделировать в уме даже простое механическое устройство из нескольких взаимосвязанных шестеренок, скажем чтобы выяснить, в какую сторону, быстрее или медленнее будет крутиться последняя из них при вращении первой, задача чертовски сложная. Сложные машины, состоящие из абстрактных алгоритмов и данных, еще более далеки от нас при тех умственных способностях, которыми мы располагаем.

Возможно, именно поэтому когда мы задумываемся о мыслящих машинах, то воспринимаем их как разумных существ — практически как людей. Мы применяем лучшие инструменты, которые есть у нашего мозга, а именно модель психического и универсальное мышление. К сожалению, первая не предназначена для таких задач, а использование второго затруднено ввиду наших ограниченных способностей к концентрации внимания и выделению оперативной памяти. Конечно, у нас есть дисциплины вроде физики, инженерного дела и теории вычислительных систем, которые учат нас, как понимать и как строить машины, в том числе мыслящие, но для усвоения хотя бы основ этих дисциплин требуются годы систематического обучения.

Предмет «Теория машины» будет игнорировать интенциональность и эмоции и специализироваться на репрезентации взаимодействий различных подсистем, входов и выходов, с тем чтобы спрогнозировать действия машин в различных обстоятельствах, как модель психического (также называемая теорией сознания) помогает нам прогнозировать поведение других людей.

Если бы наш мозг имел встроенный инструментарий для теории машины, то все могло бы быть иначе. Вместо этого мы, похоже, обречены видеть сложную действительность машин, принципы мышления которых отличаются от привычных нам, через призму упрощения и допущения о том, что их разум, при больших или меньших способностях, будет все же аналогичен нашему. Поскольку со временем нам предстоит все больше и больше взаимодействовать с мыслящими машинами, придется как-то выработать более качественные средства для их интуитивного понимания. Создание новой дисциплины — сложная задача, но однажды наш мозг с этим уже справился, инновационным образом использовав уже имевшиеся способности, — когда человечество изобрело письменность. Возможно, наши потомки будут осваивать навыки понимания машин с той же легкостью, с какой мы учились читать.

Мыслящие солончаки

Урсула Мартин
Профессор информатики Оксфордского университета

Прогуливаясь на закате около солончаков, я замираю в смущении, потому что тропа исчезает в неглубоком разливе мутной воды, сверкающей в лучах заходящего солнца. Потом я замечаю выложенную из камней переправу, заметную только потому, что их грубая поверхность нарушает светлую, яркую гладь водной поверхности. Я приспосабливаю свой шаг к ритму камней и иду через солончак к виднеющимся вдали песчаным дюнам.

Чтение залитого водой солончака — это разговор с прошлым, с людьми, о которых я ничего не знаю, кроме того, что они уложили камни, задающие мой шаг, и, вероятно, разделяли мою нелюбовь к тому, чтобы мочить ноги.

За дюнами, вдоль залива, до дальней деревни протянулся широкий песчаный пляж. Отступающий прибой оставил удивительно правильные узоры из воды и песка, которые повторяют линии древних деревянных столбов. Несколько сотен лет назад тут в изобилии водился лосось, и эти столбы поддерживали сети, в которые его ловили. Каменная церковь дает мне ориентир, и я шагаю через пляж в ее направлении, чтобы выйти к деревне, попутно потревожив шумные стайки морских птиц.

Вода, камни, столбы и купол церкви — это реплики неспешного разговора длиною в века. Строители, рыбаки и даже одинокие путники оставляют на земле отметки; ветер, дождь и прибой, камни, песок и вода, животные и растения отвечают на них; а новые поколения, в свою очередь, по-своему отзываются на то, что находят, и изменяют найденное.

А что насчет мыслящих машин? Можно обсуждать проблемы искусственного интеллекта, связанные с компьютерным зрением и построением маршрута через залитые водой солончаки и пляжи или с пониманием нарративов прошлого, выраженных не с помощью стройного анализируемого текста, а посредством стертых ногами камней и гниющих деревянных столбов.

Можно поразмышлять о том, как мыслящая машина дополнила бы ощущения одинокого путника. Например, миленький робот-компаньон шлепал бы по солончаку и бегал по пляжу за морскими птицами. А может быть, путника вела бы по тропе мыслящая машина, располагающая обширными потоками данных о маршрутах, погоде и природе, обеспечивающая тем самым человеку кокон из пошаговых инструкций, заметок о животных и растениях, исторических сведений и данных о физической нагрузке, а также предупреждений о возможном нарушении границ частных владений и опасных последствиях приближающегося прилива. Или это была бы машина, созданная, чтобы выяснить, куда отправляются птицы на лето и как сделать так, чтобы опять стало много лосося.

Но какой будет мыслящая машина, которая сможет найти свое место в неспешных разговорах, что век за веком ведут между собою земля и вода? Какие качества потребуются такой машине? А что, если она не придет на смену какой-то сущности, а поможет нам понять сочетание человеческих, природных и технологических процессов, которые создают все, что мы видим на краю моря, а также то, какой отклик это в нас вызывает? Для описания целенаправленного взаимодействия людей и компьютеров сейчас используется термин «социальная машина» — «Википедия» и тому подобное, — так что назовем нашу машину «пейзажной».

Ах, да, целенаправленного… У одинокого путника может быть простая цель: наловить рыбы, разобраться в поведении птиц или просто без приключений вернуться домой до начала прилива. Но что, если он хочет просто побродить в одиночестве, чтобы обрести спокойствие, побыть на лоне природы, обогатить фантазию или найти духовную пищу? Тогда прогулка превращается в разговор с прошлым, не напрямую, не через камни, столбы или воду, но с помощью слов, с помощью стихов тех, кто ощутил себя человеком благодаря камням, столбам и воде и нашел слова для того, чтобы передать свои чувства. Так что цель одинокого путника состоит в том, чтобы усилить те самые качества, которые делают его человеком в его разделенной с другими людьми человечности. Это действительно сложная задача для мыслящей машины.

Мыслящие машины для убийства содержат нашу совесть в чистоте

Курт Грей
Доцент кафедры психологии Университета Северной Каролины в Чапел-Хилл

Машины давно помогают нам убивать. Механизмы — от катапульт до крылатых ракет — дают людям возможность уничтожать друг друга эффективнее. Несмотря на растущую изощренность машин для убийства, одно остается неизменным: моральная ответственность за их действия всегда была возложена на человеческий разум. Винтовки и бомбы по сути бездумны, так что вина падает не на них, а на человека, который спустил курок.

Но что, если у машины хватало бы ума самостоятельно принять решение убить? Такая мыслящая машина взяла бы вину на себя, очистив совесть тех, кому выгодно ее разрушительное действие. Мыслящие машины могут сделать для мира много хорошего, но они также могут сделать так, что людям будут сходить с рук преступления.

Люди давно искали способ дистанцироваться от актов насилия и пожинать его плоды, не мараясь. Машины не только увеличивают разрушительную силу наших действий, но и физически размывают их границы. Вместо удара рукой, ножом или удушения теперь используются более дистанционные — и утонченные — действия вроде нажатия на кнопку или на рычаг. Однако как бы машины ни увеличивали эту дистанцию, наш разум продолжает приписывать вину людям, стоящим за ними.

Исследования в области психологии морали показывают, что у человека, столкнувшегося с бедой, есть глубинная потребность обвинять кого-либо или что-либо. Когда кто-то пострадал, мы ищем не просто причину, но сознательную причину — мыслящее существо, которое решило причинить страдания. Это типично для человека, но неправильно. В последствиях ураганов или цунами люди часто обвиняют «десницу божью», истории известны примеры, когда обвиняли даже скот — французские крестьяне однажды предали суду свинью, убившую младенца.

Обычно жажде обвинения достаточно одного мыслящего существа. Если мы нашли такое существо, мы уже менее мотивированы искать другое. Если можно обвинить человека, то нет нужды поносить бога. Если можно обвинить сотрудника низшего звена, то нет нужды увольнять директора. И если в чьей-то смерти можно обвинить мыслящую машину, то нет нужды наказывать людей, которым это было выгодно.

Конечно, чтобы машина приняла на себя вину, она должна быть дееспособной и демонстрировать новое, непредвиденное поведение. Возможно, машины никогда не сделают чего-то действительно нового, но тот же тезис относится и к людям, «запрограммированным» эволюцией и культурным контекстом. К примеру, дети, несомненно, запрограммированы своими родителями, и все же — посредством обучения — они способны вырабатывать новое поведение и моральную ответственность. Подобно детям, современные машины — мастера учиться, и, похоже, они неизбежно выработают способы вести себя непредсказуемо, не учтенные теми, кто их программирует. Алгоритмы уже обнаружили нечто новое, о чем их создатели и не догадывались.

Мыслящие машины могли бы принимать собственные решения, но выгораживать людей только тогда, когда те решают кого-то убить, вставая между нашим разумом и разрушением, которое мы хотим совершить.

Роботы уже играют важную роль в современных войнах. За последние несколько лет дроны убили тысячи людей, но на данный момент эти машины полностью контролируются операторами-людьми. Чтобы снять с них вину, это должны делать другие разумные машины; компьютеры должны научиться управлять беспилотниками самостоятельно.

От такого сценария у многих (включая меня) по спине бегут мурашки, но, с точки зрения руководства, это просто здравый смысл и холодный рассудок. Если сопутствующий урон возникает из-за решений, принятых машинами, то военные просчеты не повлияют на результаты чьей-то предвыборной кампании. Кроме того, если такие машины могут быть подвергнуты переборке или списанию — аналогу наказания, люди не станут особенно беспокоиться по поводу нагоняев от руководства, говорим ли мы о жертвах военных действий, неудачных роботизированных хирургических операциях или о дорожных происшествиях с участием беспилотных автомобилей.

Мыслящие машины — вещь сложная, а человеческая потребность кого-то обвинять — вполне простая. Смерть и разрушение заставляют нас отыскивать один-единственный разум, на котором будет лежать ответственность. Достаточно умные машины, если поместить их между разрушением и нами, должны принять на себя груз ответственности за неправомерные действия и оградить нас от осуждения окружающих. Нам всем нужно надеяться на то, что это предсказание никогда не сбудется, но, когда развивающиеся технологии столкнутся с современным пониманием психологии морали, появятся угрожающие возможности. Чтобы содержать свою совесть в чистоте, нам нужно всего лишь создать мыслящие машины и обвинить их во всем.

Когда мыслящие машины нарушают закон

Брюс Шнайер
Специалист по информационной безопасности; научный сотрудник Центра Бергмана по изучению проблем Интернета и общества, Гарвардская школа права; технический директор Co3 Systems, Inc.; автор книги «Данные и Голиаф: Тайные сражения за то, чтобы собрать ваши данные и управлять вашим миром» (Data and Goliath: The Hidden Battles to Collect Your Data and Control Your World)

В прошлом году два швейцарских художника создали бота Random Botnot Shopper, который еженедельно тратил эквивалент 100 долларов в биткойнах на случайные покупки на анонимных торговых интернет-площадках в рамках арт-проекта для выставки в Швейцарии. Интересный концепт, вот только одна проблема. По большей части бот покупал безобидные вещи: поддельные джинсы Diesel, бейсболку со встроенной скрытой камерой, тайник, выполненный в виде банки колы, пару кроссовок Nike, но еще он приобрел десять таблеток экстази и поддельный венгерский паспорт.

Что делать, если машина нарушила закон? Обычно мы в таком случае обвиняем того, кто ею управляет. Люди совершают преступления; оружие, отмычка и компьютерный вирус — всего лишь их инструменты. Но по мере того как машины делаются все более автономными, связь между инструментом и его создателем становится тоньше.

Кто будет отвечать, если автономный военный дрон случайно убьет толпу мирных жителей? Офицер, который ввел данные по миссии, программисты, написавшие ПО для распознавания врага, которое неверно идентифицировало людей, или программисты, написавшие ПО, которое приняло решение убить этих людей? А если разработчики понятия не имели, что их программа используется в военных целях? Что, если дрон может самостоятельно улучшать свои алгоритмы на основе данных, собранных всем флотом в предыдущих операциях?

Может, наши суды и сумеют решить, на ком лежит вина, но только потому, что современные дроны хоть и автономны, но не слишком умны. Они умнеют и постепенно теряют связь с теми, кто их создал.

Что, если программистов уже нет, а дроны сами себя совершенствуют? Что, если они станут и умными, и автономными одновременно и будут принимать как тактические, так и стратегические решения? Что, если один из дронов на основе имеющихся данных решит предать страну, построившую его, и начнет ей вредить?

Общество выработало множество подходов — неформальных социальных принципов и более формальных законов, чтобы разрешать ситуации неподчинения правилам общежития. Для мелких нарушений у нас есть бытовые механизмы, для более серьезных — сложная правовая система. Если вы буяните на моей вечеринке, я больше вас не позову. Если вы регулярно нарушаете правила приличия, вас застыдят и подвергнут остракизму. Если вы у меня что-то украдете, я могу заявить на вас в полицию. Попробуйте ограбить банк, и вы почти наверняка надолго сядете в тюрьму. Многие из этих правил могут выглядеть несистематизированными, но человечество потратило тысячелетия, чтобы выработать их. Безопасность — понятие одновременно политическое и социальное, но также и психологическое. Например, дверные замки работают только потому, что система социальных и юридических запретов на кражу делает подавляющее большинство из нас честными. Таким образом, мы мирно сосуществуем в масштабах, невозможных для любого другого вида на планете.

Но что произойдет с системой, если появится новый тип злоумышленника — машина со свободой воли, что бы это ни значило? У нее, наверное, не будет представления ни о стыде, ни об одобрении. Она не откажется от определенных действий только потому, что другие машины могут что-то об этом подумать. Она не станет соблюдать законы просто потому, что так правильно, равно как не станет с естественным почтением относиться к властям. Если мы поймаем машину на воровстве, как мы ее накажем? Что такое оштрафовать машину? Имеет ли смысл сажать ее в тюрьму? Если в машину не заложен инстинкт самосохранения, то даже угроза смертной казни не будет иметь значительного эффекта.

Мы уже обсуждаем программирование моральных принципов для мыслящих машин; можно вообразить и программирование прочих человеческих склонностей, но мы наверняка где-нибудь ошибемся. Как бы мы ни старались этого избежать, но машины в определенный момент нарушат закон.

Это, в свою очередь, сломает нашу правовую систему. Сейчас она предотвращает преступления. Ее эффективность основана на задержании и осуждении преступников постфактум, а их наказание служит средством устрашения других. Эта схема не работает, если наказание бессмысленно.

Нечто подобное мы испытали после событий 11 сентября, когда многие из нас впервые задумались о таком явлении, как террористы-смертники, к которым нельзя применить привычные меры наказания. Всего одно изменение в сфере мотивации, и посмотрите, как оно повлияло на наш подход к вопросам безопасности. Мыслящие машины заставят нас столкнуться с такими же проблемами, а еще с теми, которые пока сложно даже представить. Социальная и правовая системы, успешно справлявшиеся с преступниками-людьми, неожиданным образом окажутся бессильны перед лицом мыслящих машин.

Мыслящая машина не всегда будет мыслить так, как нам хочется. И к последствиям этого мы не готовы.

Электрические мозги

Ребекка МакКиннон
Директор Ranking Digital Rights Project, фонд New America; соучредитель Global Voices; автор книги «Согласие сетевого народа» (Consent of the Networked)

Китайское слово, означающее компьютер, буквально переводится как «электрический мозг». Как сейчас мыслят электрические мозги? Как отдельные машины — все еще довольно примитивно, по человеческим меркам. В коллективе — достаточно хорошо. Всевозможные сетевые устройства со встроенными в них электрическими мозгами все больше общаются друг с другом, обмениваются информацией, приходят к взаимопониманию и принимают решения. Уже стало возможным в процессе последовательного сбора данных, их анализа и принятия решений, распределенного в облаке удаленных друг от друга машин, инициировать действия одной из них или нескольких в определенной точке пространства, тем самым оказывая влияние на некую группу людей (или обслуживая ее интересы).

Возможно, отдельные машины никогда не станут мыслить так, чтобы это было похоже на сознание отдельного человека, как мы его понимаем. Возможно, когда-нибудь большие, глобально распределенные сети не-людей достигнут некоего псевдоюнговского коллективного сознания. Но более вероятно то, что коллективное сознание человеческих сетей и обществ будет усилено различными видами коллективного сознания, генерируемого сетями электрических мозгов и тесно взаимосвязанного с ними.

Хорошо это или плохо?

И то и другое. Ни то ни другое. Как в случае с интернетом, которым мы все сегодня пользуемся, вопрос упирается в то, считаете ли вы человеческую природу изначально хорошей, плохой или дуалистичной. интернет не трансформирует и не улучшает человеческую природу. Он увеличивает, усугубляет, усиливает, укрепляет и укрупняет многие ее аспекты — от альтруистических и милосердных до преступных и злобных. Будьте готовы добавить еще одно измерение к тому, что уже делает интернет.

Мы уже столкнулись с тем, что специалисты по теории вычислительных систем любят называть проблемой атрибуции: с установлением того, кто в действительности ответственен за определенные события, происходящие в интернете или через него (например, за кибератаку на государственное учреждение или транснациональную корпорацию). Эти проблемы и связанная с ними полемика только продолжат обостряться.

Нам предстоит разобраться с тем, какими будут правовые последствия развития и расширения облачных структур; схожие вопросы задаются сегодня по поводу интернета и сетевых устройств. Кто решает, как будет развиваться технология, от которой все больше зависит наша экономическая, общественная, политическая и религиозная жизнь? Кто ответственен за нарушение чьих-либо прав в результате воздействия этих технологий, платформ и сетей? Кто и перед кем будет отвечать за такие нарушения, как цензура, слежка, подстрекательство к физическому насилию, основанная на определенных данных дискриминация и т. д.?

Появятся и новые вопросы. Будут ли конкурирующие сети, созданные и тесно связанные с соответствующими конкурирующими культурами (заметьте, я не говорю «контролируемые»), коммерческими альянсами, религиями или государственными структурами, блокировать связи друг у друга? Могут ли они сражаться друг с другом? Как будет осуществляться художественное творчество? Как будет осуществляться политика? Как будет осуществляться война? Можно ли делегировать цензуру и слежку сетям не-людей, чтобы люди не несли ответственности за подобные вещи? (Как это было бы удобно для наших правительств и бизнеса!) Можно ли вместо этого спроектировать мыслящие сети вещей таким образом, чтобы для определенных действий требовалось непосредственное участие человека или его согласие?

Будут ли более развитые умные облачные структуры усугублять глобальное неравенство? Могут ли они обострить идеологические и религиозные конфликты, если мы ничего не предпримем, чтобы этого не допустить? Если мы хотим предотвратить увеличение глобального цифрового разрыва, что нам нужно делать уже сейчас?

Будут ли эти сети открытыми или закрытыми? Сможет ли любой новатор, независимо от своего местонахождения, подключить что-то к сети и начать в ней общаться, или, вернее, участвовать в ней, без необходимости получать разрешение? Или же это будет управляемая система, где определенные компании и правительства станут решать, кто и что может подключать и по какой цене? Или какие-то системы будут открытыми, а какие-то — закрытыми?

Приведут ли более умные и мощные глобальные сети к дальнейшему размыванию влияния и легитимности национальных государств, более выраженному, чем привел интернет? Или же они как-то усилят влияние национальных государств? Или дадут национальным государствам возможность эволюционировать и выживать в новом сетевом мире?

Мы не можем ждать хороших или гуманных результатов только потому, что люди, которые изобретают или внедряют новую технологию, имеют добрые намерения, ценят и любят свободу и демократию. Подобные допущения не очень-то оправдались для интернета — и для всего, что появится после него, тоже не оправдаются.

Рободоктора

Герд Гигеренцер
Психолог; директор Центра адаптивного поведения и познания, Институт человеческого развития Общества научных исследований им. Макса Планка (Берлин); автор книги «Понимать риски: Как выбирать правильный курс» (Risk Savvy: How to Make Good Decisions)[74]

Пришло время ежегодного медосмотра. Вы входите в кабинет врача и жмете его холодную руку, металлическую руку машины. Вы стоите лицом к лицу с РД — сертифицированным рободоктором. Как вам такая перспектива? «Ну уж нет! — скажете вы. — Дайте мне настоящего доктора, который выслушает, поговорит со мной, у которого, как и у меня, есть чувства. Дайте мне человеческое существо, которому я могу слепо доверять».

Но задумайтесь на секундочку. При страховой медицине врач общей практики не уделит вам больше пяти минут. О каком мышлении тут может идти речь? Многие врачи мне жалуются на своих беспокойных, плохо осведомленных и непослушных пациентов — те ведут нездоровый образ жизни и требуют лекарств, которые рекламируют по телевизору знаменитости, а если что-то пойдет не так, угрожают судебными тяжбами.

Но дефицит мышления поражает не только пациентов. Исследования убедительно показывают, что большинство врачей не понимают медицинскую статистику, а следовательно не могут критически оценивать медицинские статьи даже в своей предметной области. Это дорого обходится человечеству. Десять миллионов американских женщин сдали Пап-тест для определения раковых клеток в шейке матки, несмотря на то что им ранее провели полную гистерэктомию, то есть матки у них не было. Каждый год миллион американских детей проходят ненужную КТ, подвергаясь воздействию радиации, что впоследствии у некоторых из них приводит к развитию рака. Многие врачи просят мужчин регулярно сдавать анализ на ПСА[75], чтобы выявить рак простаты, несмотря на то что практически все медицинские организации не рекомендуют этого делать, так как польза от процедуры не доказана, кроме того, она может нанести пациенту серьезный вред. У многих мужчин развивается недержание и импотенция в результате последующего хирургического вмешательства или воздействия радиации. Из всего этого складываются огромные затраты рабочего времени доктора и денег пациента.

Так почему же врачи не всегда рекомендуют то, что лучше всего для обратившихся к ним людей? Есть три причины. Во-первых, от 70 до 80 % терапевтов не понимают медицинской статистики. Причина? Медицинским вузам во всем мире не удается научить их статистическому мышлению. Во-вторых, при страховой системе здравоохранения у врачей возникает конфликт интересов: если они не прописывают анализы и лечение, даже бесполезные или вредные, то теряют деньги. В-третьих, более 90 % американских докторов признаются, что практикуют перестраховочную медицину, то есть рекомендуют ненужные анализы и лечение, которые не прописали бы членам своей семьи. Делают они это для того, чтобы защитить себя от пациентов, которые могут подать на них иск. Таким образом, в кабинете врача полным-полно психологических проблем, которые мешают нормальной работе: самозащита, плохое знание математики и конфликт интересов. Это тройственное расстройство известно под названием SIC-синдром. Он ставит под угрозу безопасность пациента.

Важно ли это? На основании данных, собранных с 1984 по 1992 год, Институт медицины США пришел к заключению, что в результате предотвратимых и задокументированных медицинских ошибок в американских больницах ежегодно умирают от 44 000 до 98 000 пациентов. На основании более свежих данных, собранных с 2008 по 2011 год, организация Patient Safety America уточнила данные о смертности: более 400 000 человек в год. Нелетальные случаи нанесения серьезного вреда здоровью в результате предотвратимых ошибок оцениваются в пределах от 4 до 8 миллионов ежегодно. Число случаев нанесения вреда здоровью пациентов в частной практике неизвестно. Если у нас будет все меньше врачей, у которых будет все меньше времени для пациентов и заинтересованности в их безопасности, то эта эпидемия продолжит распространяться. В сравнении с ней Эбола бледнеет.

Нам нужна революция в здравоохранении. Медицинские вузы обязаны обучать студентов основам медицинской статистики. Правоохранительная система не должна больше наказывать врачей за то, что они опираются на факты, а не на традиции. Нам также необходимы такие принципы оплаты медицинских услуг, которые не вынуждали бы врачей выбирать между прибылью и здоровьем пациента. Но революция пока не случилась, и признаков того, что она случится, почти нет.

Так почему бы не обратиться к радикальному решению: рободоктора разбираются в медицинской статистике, у них нет конфликта интересов, и они не боятся, что их засудят (в конце концов, им не надо возвращать образовательный кредит и у них нет банковских счетов, на которые могут позариться истцы)? Давайте вернемся к вашему ежегодному медосмотру. Допустим, вы спрашиваете у РД, сокращают ли медосмотры смертность от рака, сердечных или иных заболеваний. РД без обиняков сообщает вам, что, на основании существующих на данный момент медицинских исследований, ответ на все три части вопроса: нет. Вам может быть неприятно это слышать, потому что вы гордитесь тем, насколько добросовестно вы проходите плановые осмотры, следуя совету своего врача-человека, у которого не было времени следить за медицинскими исследованиями. РД не пропишет вашему ребенку ненужную КТ, не отправит вас на Пап-тест, если вы — женщина без шейки матки, не будет рекомендовать регулярно сдавать ПСА, не объяснив все плюсы и минусы процедуры, если вы мужчина. Кроме того, РД может одновременно разговаривать с несколькими пациентами, а следовательно, уделять вам столько времени, сколько потребуется. Очередь к врачу будет короткой, и никто не станет подталкивать вас к двери.

Когда мы представляем себе мыслящие машины, то обычно думаем о более совершенных технологиях: об устройствах, которые контролируют давление, уровень холестерина или сердцебиение. Мне же представляется кое-что иное. Революция РД меньше касается технологий и больше относится к психологии. То есть она предполагает, что надо думать о благе пациента и о том, как обеспечить ему наилучший уход, вместо того чтобы заботиться о доходности.

О’кей. Вы возразите, что коммерческие клиники с легкостью перепрограммируют роботов, чтобы они максимизировали прибыли, а не пользу для вашего здоровья. Вы нащупали самое больное место нашей системы здравоохранения. Но есть один психологический фактор, который, вероятно, поможет. Пациенты обычно не задают вопросов во время консультаций с врачом-человеком, потому что верят в поговорку «Доверяй своему врачу». Но это не обязательно относится и к роботам. Есть шанс, что, пожав ледяную руку РД, пациент начнет думать своей головой. А заставлять людей мыслить самостоятельно — это лучшее из того, что может сделать машина.

Смогут ли машины стать такими же умными, как трехлетние дети?

Элисон Гопник
психолог, калифорнийский университет в Беркли; автор книги «ребенок-философ» (the philosophical baby)

Машина способна обыграть Каспарова, но может ли она сравниться умом с трехлетним малышом?

Обучение стало основой нового подъема ИИ. Но лучшие ученики во вселенной — это, определенно, человеческие дети. В ходе последних 10 лет изучающие развитие когнитивисты, часто работающие совместно со специалистами по теории вычислительных систем, пытаются выяснить, каким образом детям удается так много всего выучить за столь короткое время.

Удивительно, как сложно предсказать при создании искусственного интеллекта, что будет сделать легко, а что — сложно. Сперва мы думали, что вещи, которыми занимаются умнейшие из людей, вроде игры в шахматы или доказательства теорем — весь этот экстремальный спорт для «высоколобых» — окажутся самыми сложными для компьютеров. В действительности они оказались легкими. А вот то, что может сделать любой дурак, к примеру опознать предмет или поднять его, гораздо труднее. Оказывается, намного проще смоделировать рассуждения хорошо подготовленного взрослого специалиста, чем процесс обучения самого обычного ребенка. Так где же машины, догоняющие по способностям трехлетних детей, и какие типы обучения для них все еще недосягаемы?

За последние 15 лет мы выяснили, что даже младенцы удивительно хорошо справляются с обнаружением статистических паттернов. И специалисты по вычислительным системам изобрели машины, которые тоже исключительно хорошо справляются со статистическим обучением. Технологии вроде глубинного обучения обнаруживают даже очень сложные закономерности в огромных массивах данных. В результате компьютеры вдруг научились делать такое, что раньше для них было невозможно, например давать правильные заголовки для картинок из интернета.

Проблема с таким типом чисто статистического машинного обучения заключается в том, что оно зависит от огромного объема данных, причем они должны быть предварительно обработаны человеческим мозгом. Компьютеры могут распознать картинку из интернета только потому, что миллионы реальных людей редуцировали невероятно сложный набор данных со своей сетчатки до крайне стилизованного, ограниченного и упрощенного снимка со своим котейкой в Instagram, а также дали изображению совершенно определенный заголовок. Антиутопия из одного простого факта: на самом деле все мы — компьютеры Google, пребывающие под наркозом иллюзии, что нам просто нравятся картинки с котиками. Однако даже с такой помощью машинам все еще требуются огромные массивы данных и предельно сложные вычисления, чтобы посмотреть на новое изображение и сказать: «Киса!», а детям для этого нужно дать всего лишь пару примеров.

Кроме того, уровень обобщения для такого статистического обучения ограничен, будь вы ребенком, компьютером или ученым. Более мощный способ познания — формулировать гипотезы о том, как устроен мир, и проверять, насколько они согласуются с фактами. Тихо Браге, Google Scholar[76] своего времени, объединил огромный объем данных астрономических наблюдений и смог использовать их для того, чтобы предсказывать положение звезд в будущем. Но Иоганн Кеплер благодаря своей теории смог делать неожиданные, масштабные, совершенно инновационные прогнозы, находившиеся далеко за пределами кругозора Браге. Дошкольники делают то же самое.

Еще одно большое преимущество машинного обучения — это формализация и автоматизация такого типа проверки гипотез. Байесовская теория вероятности стала важной частью процесса познания. Мы можем математически описать некую случайную гипотезу, например о том, как изменения температуры океана влияют на ураганы, а потом вычислить, насколько вероятно, что такая гипотеза верна, на основании данных наблюдений. Машины теперь хорошо умеют проверять и оценивать верность гипотез на основании фактических данных, что оказывает влияние на все на свете — от медицинской диагностики до метеорологии. Когда мы изучаем маленьких детей, то видим, что они рассуждают подобным образом, и это отчасти объясняет, как им удается настолько быстро учиться.

Таким образом, компьютеры прекрасно умеют делать выводы из структурированных гипотез, особенно вероятностные выводы. Но действительно сложная проблема состоит в том, чтобы решить, какие гипотезы из всего их множества достойны того, чтобы их проверять. Даже дошкольники удивительно хорошо справляются с построением творческих, нестандартных гипотез. Они как-то сочетают рациональность и иррациональность, системность и случайность, и мы понятия не имеем, как они это делают. Мысли и действия маленьких детей часто выглядят бессмысленными, даже бредовыми — просто попробуйте как-нибудь поиграть в дочки-матери с трехлетними девочками. Именно поэтому психологи, например Пиаже, думали, что дети иррациональны и нелогичны. Но у них также есть сверхъестественная способность нацеливаться как раз на подходящие странные гипотезы; на самом деле они с этим справляются существенно лучше, чем взрослые.

Конечно, идея вычисления заключается как раз в том, что, как только у нас появляется полное детальное описание определенного процесса, мы можем запрограммировать его в компьютере. В конце концов, мы же знаем, что точно существуют физические системы, которые все это умеют. У большинства из нас есть опыт создания таких систем, и даже приятный опыт (по крайней мере, на ранних этапах). Мы называем эти системы детьми. Вычисление — все-таки лучшее и на самом деле единственное научное объяснение тому, как физический объект, которым является мозг, может действовать разумно. Но пока что нам почти ничего неизвестно о том, как устроен творческий процесс познания, который мы наблюдаем у детей. И пока мы этого не узнаем, самые большие и самые мощные компьютеры не сравнятся с маленькими и слабыми человечками.

Курица, которая играет в крестики-нолики

Кевин Славин
доцент кафедры медийных наук, основатель playful systems group, медиалаборатория массачусетского технологического института; соучредитель агентства everybody at once
Кто тут на самом деле рулит —
Куриный мозг или двоичный код?
Кто узнает, что я поставлю — крестик или нолик?
Слова из песни группы M Shanghai String Band

В 1980-х в нью-йоркском Чайна-тауне, на пересечении Мотт-стрит и Бауэри, огромная толпа собралась на ярмарке видеоигр. Больше всего людей, даже больше, чем около аппаратов Pacman и Galaga, сгрудилось у машины, которую больше нигде не найдешь, — у курицы, играющей в крестики-нолики.

Это была единственная частично органическая машина: внутри нее сидела живая курица. Насколько я могу судить, курица играла в крестики-нолики достаточно хорошо, наравне с людьми. Игрок-человек делал ход, нажимая на кнопки, а курица наступала на пустые клетки на полу внутри автомата, выполненном в виде подсвеченного поля для игры в крестики-нолики, на котором отображались ходы обоих игроков.

Много раз, прогуливая в старших классах тригонометрию, я стоял перед этой курицей и гадал, как работает игра. Никакого явного позитивного подкрепления (например, корма) не было, так что я решил, что здесь имеет место негативное подкрепление в виде электрического тока небольшой силы, пропускавшегося через «неправильные» клетки на полу и ведущего курицу к единственной точке, из которой она могла выйти на ничью.

Когда я думаю о мыслящих машинах, то вспоминаю эту курицу. Если бы на ярмарке в Чайна-тауне я увидел компьютер, который играет в крестики-нолики, то он не стал бы из-за него прогуливать школу, не говоря уже про Pacman. То, что даже самый слабый компьютер может разобраться с этой игрой, — факт общеизвестный и неудивительный. Вот почему всех так сильно заинтересовала курица.

Волшебство заключалось как раз в том, чтобы представить себе мыслящую курицу, — тогда это было почти то же, что в 2015 году представить мыслящую машину. Но если курица не думала об игре в крестики-нолики и все же могла успешно в нее играть, то почему мы говорим, что компьютер думает, когда играет?

Такое суждение выглядит очень привлекательно, потому что у нас есть модель мозга — электричество движется по сетям, — по стечению обстоятельств согласующаяся с моделями, которые мы строим для машин. Такая согласованность может быть удобной в реальности, а может и не быть, но в любом случае на мышление все это похоже не только потому, что нечто производит вычисления, но еще и потому, что оно создает ощущение чего-то живого и теплого. В 2015 году ошибки делают машины, а люди должны их объяснять.

Мы обращаемся к иррациональному, когда рациональное нас подводит, и именно иррациональная часть больше всего напоминает наше мышление. Физик Дэвид Дойч предложил отделять ответы, которые дают машины, от объяснений, которые дают люди. И я полагаю, что в обозримом будущем мы продолжим обращаться к биологическим организмам, когда нам потребуются объяснения, — не только потому, что мозг лучше справляется с такой задачей, но еще и потому, что машины к этому не стремятся.

Проигрывать компьютеру — скучно, а вот проиграть курице — очень даже интересно, поскольку мы каким-то образом догадываемся, что у нас с нею больше общего — определенно больше, чем с сеткой у нее под ногами, по которой пропущен электрический ток. Покуда у мыслящих машин нет лимбической системы и той неточности, которая есть у курицы, компьютеры продолжат делать то, что у них получается лучше всего: давать ответы. И, пока жизнь будет чем-то большим, чем ответы на вопросы, люди — и куры — останутся в игре.

Искусственный интеллект сделает нас умными, а роботов напугает

Алан Андерсон
Старший консультант (и бывший главный редактор) New Scientist; автор книги «После оледенения: Жизнь, смерть и геополитика в Новой Арктике» (After the Ice: Life, Death, and Geopolitics in the New Arctic)

Высокий уровень интеллекта и теплые чувства к ближнему не очень хорошо сочетаются в сознании обывателя. Сверхразумные злодеи из фильмов о Джеймсе Бонде, жестокие и жаждущие мирового господства, — отличный пример. Поэтому неудивительно, что первой реакцией на фразу о мыслящих машинах становится вопрос о том, какие угрозы они несут человечеству.

То, что нам удалось узнать об эволюции своего интеллекта, тоже добавляет беспокойства. По мере того как люди эволюционировали, чтобы жить в более крупных социальных группах, чем у наших собратьев-приматов, совершенствовались и наши способности манипулировать другими и обманывать их, отличать друзей от врагов, вести учет добрых и злых дел, а также все прочие социальные навыки, необходимые для того, чтобы быть успешными индивидами. Результатом стал мозг большего размера и макиавеллианский интеллект[77].

Однако вряд ли можно утверждать, что мышление неразрывно связано с необходимостью конкурировать с другими и побеждать их только потому, что это было движущей силой эволюции нашего интеллекта. Мы можем создать искусственный разум — или разумы — без присущих человеческой природе пороков, у него вообще может не оказаться потребностей и желаний. Мышление не обязательно связано с коварством и вожделением, характерными для существа, которое эволюционировало прежде всего для того, чтобы выживать. Осмотритесь, и вы увидите, что сейчас повсеместно появляется как раз нейтральный тип ИИ.

Полезно не рассматривать интеллект с антропоцентристской точки зрения, ориентируясь только на наше особое человеческое мышление. Он развился у всех видов по одной и той же веской причине: он нужен, чтобы предугадывать будущее, он помогает разбираться с тем, чем оно грозит, — надо ли увернуться от камня или, если вы бактерия, заметить изменение питательности среды и выяснить, в каком направлении двигаться, чтобы получить наилучшие для себя результаты.

Если рассматривать интеллект в более общем понимании, то можно увидеть, что множество мощных искусственных разумов уже существуют. Возьмем климатические модели. Мы можем достаточно достоверно предугадать состояние всей планеты на десятки лет вперед и предсказать, как повлияют на будущее многие из наших действий. Климатические модели очень напоминают машину времени. Возьмем высокоскоростные компьютерные модели, используемые для работы на фондовом рынке: все они пытаются узнать ближайшее будущее раньше, чем остальные, и получить выгоду от этого знания. То же самое делают современные модели, оценивающие ваши онлайн-покупки: предсказывают ваши вероятные действия, чтобы получить выгоду от этого знания. С удовольствием покупая книгу из раздела «Рекомендовано для вас», вы попадаете в руки иному интеллекту, подталкивающему вас к тому будущему, о котором вы сами и не догадались бы, и знающему ваши вкусы лучше, чем вы сами.

Искусственный интеллект уже стал мощным и страшным, хотя можно спорить о том, стоит ли говорить о его мышлении. А мы ведь только начали! Практичный интеллект, в том числе роботизированный, будет понемногу прирастать еще долгое время и постепенно менять нашу жизнь, возможно, почти незаметно для нас. Он станет нашим продолжением, как другие наши инструменты. И он сделает нас еще могущественнее.

Нам нужно задуматься о том, кто будет владеть искусственным интеллектом, поскольку уже сейчас некоторые варианты его использования вызывают беспокойство. Нам не нужно беспокоиться по поводу самостоятельных машин, которые когда-нибудь станут мыслить так, как это делает человек. К тому моменту, когда будет построена разумная человекоподобная машина, если такое вообще когда-нибудь произойдет, она столкнется с людьми, обладающими макиавеллианским интеллектом и вооруженными всеми инструментами ИИ, которые, собственно, и дали возможность построить мыслящего робота. Испугается именно робот. Мы будем умными мыслящими машинами.

Когда мыслящие машины не являются благом

Мэри Кетрин Бейтсон
Почетный профессор Университета Джорджа Мейсона; приглашенный научный сотрудник Слоуновского центра изучения проблем старения и труда, Бостонский колледж; автор книги «Возраст активной мудрости: Будущее, которое мы сочиняем» (Composing a Further Life: The Age of Active Wisdom)[78]

То, что компьютеры выполняют действия, которые нам совершенно понятны, только быстрее и точнее, чем люди, — великое благо, а вот то, что мы их используем в ситуациях, которые понимаем не до конца, — отнюдь не благо. Мы не можем ожидать от программы эстетических суждений, сострадания или воображения, поскольку эти способности все еще остаются для нас загадкой даже тогда, когда их демонстрируют люди.

Мыслящим машинам, вероятно, предоставят самим принимать решения на основании того, что они якобы умеют. Например, мы теперь нередко видим письма, статьи или (чаще всего) курсовые работы, в которых предложенные программой исправления были приняты без надлежащей проверки: автор имел в виду «mod», а программа решила, что он подразумевал «mad»[79]. Как соблазнительно переложить принятие решений на машину! В переписке по электронной почте я как-то упомянула о встрече с одним человеком в Санта-Фе по пути в Техас, использовав слово «rendezvous», а компьютер решил выдать меня замуж и сообщил, что целью поездки являлось не что иное, как «render vows»[80]. Можно ли запрограммировать компьютер так, чтобы он поддерживал «семейные ценности»? Да вообще хоть какие-нибудь ценности? У нас уже есть дроны, которым можно задать определенное направление, и они сами будут выбирать цели, причем у них есть печальная склонность атаковать свадебные торжества, поскольку веселье, похоже, кажется им угрожающим. Мы наверняка можем запрограммировать электронный разум выписывать лекарства и медицинские процедуры, но маловероятно, что машины будут следовать правилу «Не навреди» лучше, чем люди.

Попытки создать мыслящие машины наверняка помогут нам разобраться в тех аспектах мышления, которые мы пока не до конца понимаем. Например, создание компьютеров на новом уровне показало нам, как важна точность в коммуникации. Возможно, мы лучше поймем, как на наши суждения влияют этнические предрассудки, и полнее разберемся в том, насколько следует полагаться на вероятности. Сколько решений будет основано на логике «Все так делают, значит, это нормально» или «Я обычный человек, мои действия ни на что не влияют»?

Будут ли те аспекты мышления, которые сложно запрограммировать, цениться больше или меньше? Будут ли юмор и благоговение, доброта и милосердие маргинализированы или по-новому переосмыслены? Будет ли нам лучше или хуже, когда мы перестанем выдавать желаемое за действительное и вместе с тем, возможно, разучимся надеяться на лучшее?

Справедливость для машин в мире органицизма[81]

Стив Фуллер
Философ, кафедра социальной эпистемологии им. Огюста Конта, Уорикский университет (Великобритания); автор книги «Предактивностный императив: Фундамент для трансформации» (The Proactionary Imperative: A Foundation for Transformation)

Мы не можем как следует осмыслить машины, если у нас нет единых условий, чтобы сравнивать себя с ними. На данный момент сравнение неизменно искажается в нашу пользу. В частности, мы недооцениваем ту роль, которую играет «умная среда» в реализации когнитивных навыков человека. Самые разные вещи, от построенных нами дорог и зданий до удобных в использовании потребительских товаров, — это технологически расширенный фенотип, создающий иллюзию того, что мир существует для удобства человека. Но стоит потеряться «айфону» — и мы, несомненно, очень быстро пробуждаемся от догматических грез о том, что вселенная предназначена именно для нас.

В то же время даже самая умная машина вынуждена действовать в относительно глупом (по ее собственным меркам) окружении, а именно в окружении из нас. Без специального обучения люди, скорее всего, не узнают или не будут интересоваться, как пользоваться всеми ее скрытыми возможностями. Если мы посмотрим на долгую предысторию прав машины, то увидим, что нам сложно определиться с терминами, в которых мы сможем определить ее как личность. В данном контексте уместно сосредоточиться на компьютерах, поскольку именно их люди больше всего постарались приспособить под себя.

Тем не менее мы сталкиваемся с проблемой уже в самом начале. К человечности долго относились как к чему-то, что британский экономист Фред Хирш в 1970-х годах назвал «статусной вещью», иными словами, ее ценность в основном определяется ее редкостью. Это, наверное, и есть самое большое препятствие для того, чтобы считать личностями не только не-людей, но также и тех представителей Homo sapiens, которые долгое время подвергались дискриминации. Любая попытка расширить ряды рода человеческого, как правило, встречается с дегуманизацией критерия, по которому кому-либо было позволено в эти ряды войти.

Так, когда женщины и представители меньшинств начали получать престижные рабочие и научные профессии, субъективно воспринимаемая ценность этих профессий начала снижаться. Ключевым фактором такого снижения стало использование «механических процедур», что позволило ранее исключенным из процесса группам заняться теми или иными видами деятельности. На практике это означает необходимость проходить формальное обучение и аттестацию, чтобы получить профессию. Просто знать нужных людей или родиться в соответствующей семье уже недостаточно. В социологии, начиная с Макса Вебера, такое называют рационализацией общества, и она обычно рассматривается как нечто хорошее.

Но в то время когда эти механические процедуры служат благу человечества, машины остаются в проигравших. Когда были созданы телескопы и микроскопы, способные вести автоматическое наблюдение, снизилась научная ценность тренированного человеческого глаза, или, точнее, она перекочевала в те области деятельности, где все еще была важна, например в изучение фотографий наблюдений. Эта новая задача получила название «интерпретация» — как бы для разделения того, что делает человек и что может делать машина.

Нечто подобное, только более наглядно, мы видим на примере судьбы производимых в уме вычислений, после того как появились портативные калькуляторы. Навык, который раньше был мерилом интеллекта, чистоты ума и даже гениальности, теперь считается чем-то вроде фокуса, забавы, потому что машина может делать то же самое, но быстрее и даже точнее. Примечательно, что мы не пытались поднять моральный авторитет машины, хотя она лучше человека справляется с задачами, которые были очень престижны, когда ими занимались люди.

С точки зрения истории технологий это выглядит странной несправедливостью. В конце концов, все складывается следующим образом: люди выделяют некоторые из своих навыков, чтобы лучше реализовать их силами машин. Те поначалу становятся инструментами, а затем — роботами (что предпочтительней). Исходя из этого, не предоставить машинам определенного уважения или даже прав равносильно отречению от собственных детей — «детей разума», как назвал их пророк робототехники Ханс Моравек четверть века назад.

Единственное отличие — это горн творения: матка или фабрика. Но любое заметное различие между биологией и технологией неминуемо исчезнет, когда люди станут лучше разбираться в проектировании своих детей, особенно вне матки. В этот момент мы будем в состоянии превозмочь предрассудки органицизма — несправедливость, которая даже глубже, чем видоцентризм