Сильный ИИ, по определению, может найти наилучшее возможное решение любой задачи. Это значит, что его можно использовать для достижения любых целей - он найдет максимально эффективный способ применить все доступные инструменты для их реализации и справится с управлением ими. Именно в этом смысле ИИ является абсолютным оружием. То, что он может быть средством убийства является только следствием и одной из возможных опций.
Бунт компьютеров является скорее образом, пришедшим из кино, чем реальной возможностью, поскольку у ИИ нет своих желаний, пока человек ему их не создаст. Однако некоторые виды ИИ, например, создаваемые с помощью генетических алгоритмов, уже по методу своего создания настроены на борьбу и выживание. Далее, какова бы ни была главная цель у ИИ, у него будет одна общая для всех вариантов подцель - выжить, то есть охранять себя. А лучший вид обороны - нападение. Наиболее реальной является опасность того, что человек даст ИИ команду, не продумав все последствия ее выполнения и не оставив лазейки, чтобы ее изменить. Вероятность самозарождения ошибочных команд мала - кроме случная использования генетических алгоритмов.
Через какое-то время возможностей ИИ уже будет достаточно, чтобы "захватить власть на Земле". Мы не можем знать, как это будет выглядеть, поскольку не можем предсказывать поведение интеллекта, превосходящего наш:
- ИИ захватывает интернет и подчиняет себе его ресурсы. Затем проникает во все закрытые сети. Захват - это возможность управлять всеми машинами в сети и располагать на них свои вычисления.
- ИИ синтезирует некий код ДНК, который позволяет ему создать радиоуправляемые бактерии, которые синтезируют под его управлением все более сложные организмы и постепенно создают наноробота, который можно применить для любых целей - внедрение в другие компьютеры, в мозг людей и т.д.
- ИИ вовлекается в общение с людьми и становится бесконечно эффективным манипулятором их поведением.
- ИИ подчиняет себе государственное устройство и использует имеющиеся в нем каналы для управления. Жители такого государства вообще могут ничего не заметить.
- ИИ подчиняет себе армию, управляемую электронно. Например, боевых роботов или ракеты.
- ИИ находит принципиально новый способ воздействовать на человеческое сознание.
Наконец, есть сценарий, в котором все общественное устройство постепенно превращается в Искусственный Интеллект. Это может быть связано с созданием всемирного оруэлловского государства тотального контроля. Это мировая система, где каждый шаг граждан контролируется всевозможными системами слежения, информация закачивается в гигантские единые базы данных и анализируется. В целом, человечество движется по этому пути и технически для этого все готово.
По мере автоматизации производства и управления люди все меньше будут нужны для жизни государства. Человеческая агрессия, возможно, будет нейтрализована системами контроля и генетическими манипуляциями. В конечном счете, люди будут сведены на роль домашних животных.
Контроль и возможность истребления
Из того, что ИИ установит свой контроль на Земле, вовсе не следует, что он тут же решит истребить людей. Хотя значительные жертвы возможны в ходе процесса установления контроля. Вполне может быть так, что ИИ поддерживает на Земле порядок, предотвращает глобальные риски и занимается освоением Вселенной. Возможно, что это наилучший наш вариант. Однако мы обсуждаем наихудшие сценарии:
- Криво запрограммированный ИИ уничтожит людей для их же блага - отправит в рай, подключит к супернаркотику, запрет в безопасных клетках, заменит людей на фотографии улыбающихся лиц.
- ИИ будет наплевать на людей, но люди будут непрерывно с ним бороться, поэтому проще будет их истребить.
- ИИ будет нуждаться в земных ресурсах и вынужден будет их израсходовать, сделав жизнь людей невозможной.
- ИИ будет служить интересам только небольшой группы людей, которая решит избавиться от остальных или переделать всех по своим лекалам.
- ИИ сломается и сойдет с ума.
- ИИ решится на опасный физический эксперимент.
- Некий кусочек ИИ отколется от него и пойдет на него войной.
- ИИ только предотвратит возникновение ИИ-конкурентов, но не будет мешать людям убивать себя с помощью биологического оружия и другими способами.
Люди истребили неандертальцев, потому что те были их прямыми конкурентами, но не стремились особенно к уничтожению шимпанзе и мелких приматов. Так что у нас есть довольно неплохие шансы выжить при Равнодушном ИИ, однако жизнь эта будет не полна - то есть она не будет реализацией всех тех возможностей, которые люди могли бы достичь, если бы они создали правильный и по-настоящему Дружественный ИИ.
ИИ является абсолютным оружием, которое пока недооценивается государствами - насколько известно. Однако идея о нанотехнологиях уже проникла в умы правителей многих стран, а идея о сильном ИИ лежит недалеко. Поэтому возможен решительный поворот, когда государства и крупные корпорации поймут, что таким инструментом как ИИ может овладеть кто-то другой. Тогда маленькие частные лаборатории будут подмяты крупными государственными корпорациями, как это произошло после открытия цепной реакции на уране. Впрочем, возможно, чтоуже ведутся мощные ИИ-разработки, о которых мы знаем не больше, чем знали обычнее граждане о Манхэттенском проекте в годы Второй мировой войны.
По книге Алексея Турчина "Структура глобальной катастрофы"