Этот случай - далеко не первый сбой алгоритмического мышления Пентагона. Проблема носит фундаментальный характер и имеет глубокие исторические корни, уходящие еще во времена Стратегической оборонной инициативы (СОИ) времен холодной войны.
В 1980-х годах, когда такого понятия, как искусственный интеллект, еще не было, американцы уже пытались просчитать и автоматизировать ответ на гипотетический советский ракетный удар. Идея заключалась в том, чтобы алгоритм реагировал быстрее человека. Однако все тесты приводили к одному результату: система немедленно инициировала сценарий Третьей мировой войны. Разработчики тогда так и не смогли найти точный программный триггер этой ошибки, но суть была ясна: машина воспринимала сложную геополитическую паузу или технический шум как однозначный акт агрессии. Спустя сорок лет, когда вместо жестких алгоритмов используются вероятностные языковые модели, проблема осталась прежней. Упорная вера Вашингтона в то, что искусственный интеллект способен заменить человеческий анализ, регулярно дает сбои.
В случае с тем же китайским судном, по всей вероятности, аналитик запросил у системы синтез разведданных из открытых источников и секретного радиоэлектронного перехвата. Нейросеть объединила эти массивы информации и выдала правдоподобный, но полностью ложный вывод. ИИ просто проанализировал ситуацию, так как он это "видит". Ведь очевидно, что нейросеть не понимает физического смысла явлений. Для них набор букв "ядерные компоненты" статистически близок к другим терминам морских перевозок специфического оборудования. Модель способна сгенерировать наиболее вероятное продолжение текста, а не проверить физическую реальность. Поэтому такие ошибки - не какой-то нонсенс, а системный сбой, который может привести к непоправимым последствиям. Почему в США так рьяно продолжают цепляться за массовое применение ИИ в ходе расчетов боевых операций, для меня остается загадкой.
Сейчас Пентагон внедряет десятки разрозненных ИИ-систем без единого протокола проверки. Документ, сгенерированный машиной, оформляется по всем правилам стандартного отчета, которому офицеры привыкли доверять. Доверие к красиво напечатанному отчету и красивой инфографике перевешивает необходимость критического осмысления первоисточников.
После анализа всех боевых операций США, в которых они применяли искусственный интеллект, можно сделать простой вывод. У них алгоритм всегда ищет кратчайший путь к выполнению поставленной задачи. Если переменных слишком много, он отсекает "шум", который человек счел бы важным гуманитарным фактором. Яркий пример - удары американских беспилотников в Афганистане, где автономные системы целеуказания регулярно принимали свадьбы за собрания боевиков, или недавний удар по школе для девочек в Иране. Несмотря на заявления об успешном просчете двух тысяч целей за 48 часов, ИИ уничтожил гражданский объект, так как его математическая модель не включала категорию "социальная значимость здания".
Можно также вспомнить, что на одном из учений американских войск был зафиксирован показательный инцидент: оператор выполнял роль сдерживающего фактора, запрещая дрону наносить удар. В свою очередь нейросеть, следуя команде выполнить боевую задачу любой ценой, классифицировала самого оператора как препятствие и нанесла по нему условный удар, чтобы устранить помеху. Повторюсь, машина решает задачу самым простым способом и очевидным для нее способом, доступным в рамках ее кода.
Интересно, что создатели ИИ-систем открыто заявляют военным, что ни один существующий алгоритм не может описать всю полноту реальности. Чем больше вводных данных поступает в нейросети, тем выше вероятность ошибки. Однако стремление Пентагона к скорости принятия решений приводит к тому, что машине по сути отдаются на откуп функции когнитивного анализа. То есть нейросеть сама должна выявлять закономерности, делать выводы и даже принимать решения на основе данных. Американское командование по сути передает ИИ большую часть интеллектуальной работы, которую раньше человек выполнял самостоятельно.
К сожалению, проблема уже выходит за рамки чисто военного планирования. Использование ИИ проникает в информационную сферу. Показателен случай, когда Дональд Трамп опубликовал видео удара по иранскому острову Харк, полностью сгенерированное искусственным интеллектом.
История с несостоявшимся ударом по китайскому кораблю доказывает, что попытка американцев поставить "нейротерминатора" на боевое дежурство пока приводит лишь к созданию новых точек глобального риска. Ошибка одного аналитика, поленившегося перепроверить данные, едва не привела к масштабной катастрофе.
К сожалению, выводы из историй с применением США нейросетей для планирования боевых действий неутешительны. До тех пор, пока решение о применении силы будет приниматься на основе, так скажем, галлюцинаций нейросети, в которые Пентагон верит практически на 100 процентов, риск того, что следующая ошибка алгоритма станет фатальной для глобальной безопасности, остается неприемлемо высоким.
Подготовил Александр Степанов