Сильный ИИ, по определению, может найти наилучшее возможное решение любой задачи. Это значит, что его можно использовать для достижения любых целей - он найдет максимально эффективный способ применить все доступные инструменты для их реализации и справится с управлением ими. Именно в этом смысле ИИ является абсолютным оружием. То, что он может быть средством убийства является только следствием и одной из возможных опций.
Бунт компьютеров является скорее образом, пришедшим из кино, чем реальной возможностью, поскольку у ИИ нет своих желаний, пока человек ему их не создаст. Однако некоторые виды ИИ, например, создаваемые с помощью генетических алгоритмов, уже по методу своего создания настроены на борьбу и выживание. Далее, какова бы ни была главная цель у ИИ, у него будет одна общая для всех вариантов подцель - выжить, то есть охранять себя. А лучший вид обороны - нападение. Наиболее реальной является опасность того, что человек даст ИИ команду, не продумав все последствия ее выполнения и не оставив лазейки, чтобы ее изменить. Вероятность самозарождения ошибочных команд мала - кроме случная использования генетических алгоритмов.
Через какое-то время возможностей ИИ уже будет достаточно, чтобы "захватить власть на Земле". Мы не можем знать, как это будет выглядеть, поскольку не можем предсказывать поведение интеллекта, превосходящего наш:
Наконец, есть сценарий, в котором все общественное устройство постепенно превращается в Искусственный Интеллект. Это может быть связано с созданием всемирного оруэлловского государства тотального контроля. Это мировая система, где каждый шаг граждан контролируется всевозможными системами слежения, информация закачивается в гигантские единые базы данных и анализируется. В целом, человечество движется по этому пути и технически для этого все готово.
По мере автоматизации производства и управления люди все меньше будут нужны для жизни государства. Человеческая агрессия, возможно, будет нейтрализована системами контроля и генетическими манипуляциями. В конечном счете, люди будут сведены на роль домашних животных.
Из того, что ИИ установит свой контроль на Земле, вовсе не следует, что он тут же решит истребить людей. Хотя значительные жертвы возможны в ходе процесса установления контроля. Вполне может быть так, что ИИ поддерживает на Земле порядок, предотвращает глобальные риски и занимается освоением Вселенной. Возможно, что это наилучший наш вариант. Однако мы обсуждаем наихудшие сценарии:
Люди истребили неандертальцев, потому что те были их прямыми конкурентами, но не стремились особенно к уничтожению шимпанзе и мелких приматов. Так что у нас есть довольно неплохие шансы выжить при Равнодушном ИИ, однако жизнь эта будет не полна - то есть она не будет реализацией всех тех возможностей, которые люди могли бы достичь, если бы они создали правильный и по-настоящему Дружественный ИИ.
ИИ является абсолютным оружием, которое пока недооценивается государствами - насколько известно. Однако идея о нанотехнологиях уже проникла в умы правителей многих стран, а идея о сильном ИИ лежит недалеко. Поэтому возможен решительный поворот, когда государства и крупные корпорации поймут, что таким инструментом как ИИ может овладеть кто-то другой. Тогда маленькие частные лаборатории будут подмяты крупными государственными корпорациями, как это произошло после открытия цепной реакции на уране. Впрочем, возможно, чтоуже ведутся мощные ИИ-разработки, о которых мы знаем не больше, чем знали обычнее граждане о Манхэттенском проекте в годы Второй мировой войны.
По книге Алексея Турчина "Структура глобальной катастрофы"