06.12.2022 09:28
Поделиться

В чем опасность искусственного интеллекта

Основные перспективы развития искусственного интеллекта связаны с созданием и повсеместным внедрением интернета вещей (IoT - Internet of Things), что порождает острую необходимость создания мощных интеллектуальных систем управления этими вещами.

Интернет вещей - это некая служебная сеть, которая сейчас организована на стандартных протоколах передачи данных (TCP, UDP, IP различных версий, 6LoWPAN и подобные). К этой сети подключаются простые устройства, которые имеют в своем составе микропроцессорное управление на основе не очень сложных алгоритмов. Например, чайник может только кипятить воду, поддерживать ее температуру и сообщать об отсутствии воды на смартфон владельца. К тому же смартфону могут быть подключены холодильник, терморегуляция квартиры, управление освещением, сигнализация и прочее. Каждое из задействованных устройств обладает весьма простым интеллектом на две-три операции, но общая система "умного" дома - уже сложная система управления с множеством комбинаций срабатывания.

На сегодня практически решена задача управления сложными индивидуальными системами - вспомните свой смартфон с навигатором, ему вполне можно доверять в пути. А вот координация работы множества навигаторов - задача уже нетривиальная. Взять хотя бы сбой в работе одного из агрегаторов такси 1 сентября 2022 года в Москве, в районе метро "Кутузовская". Тогда искусственный интеллект направил сотни машин в Фили. Представители агрегатора объяснили инцидент хакерской атакой. Но хакеры инициировали большое количество заказов в один район, а вот искусственный интеллект просто не справился с анализом ситуации, не распознал странности в столь массовом заказе.

В прикладном аспекте ИИ - прежде всего маркетинговый термин, за которым скрываются сложные управляющие алгоритмы. Вычисления там могут быть совсем простыми, типа подсчета средних значений и сравнения их между собой. А вот логика ветвления алгоритмов здесь подобна не просто некоторой дороге с перекрестками, а целой дорожной сети. И в этой сложной сети из точки А в точку В можно прийти совершенно разными путями. Конкретный путь каждого алгоритма может зависеть от множества сиюминутных входных значений и условий, вплоть до скачков напряжения в электрической сети во время вычислений. Поэтому один и тот же алгоритм при одних и тех же входных данных может выдавать разные по оптимальности решения. Просчитать эти решения на таком же точно алгоритме, запущенном параллельно, становится невозможным.

Таким образом, исчезает возможность внешнего контроля над вычислениями, а следовательно, возникают опасные ситуации. Вспомним катастрофы Boeing 737 MAX авиакомпаний Lion (октябрь 2018 года) и Ethiopian Airlines (март 2019 года). Тогда вину свалили на низкооплачиваемых индийских разработчиков из компаний HCL Technologies и Cyient. Те указали на некачественные спецификации алгоритмов (техническое задание на разработку и тестирование) от Boeing. В итоге бытует мнение, что во всем виноват некий "искусственный интеллект". Но суть проблемы "плохих кодов" и "плохих тестировщиков" на самом деле в том, что плохой алгоритм порождает некие паразитные ветвления, плохой код добавляет ошибки срабатывания, что тоже ведет к увеличению ветвлений, а тестировщики просто не могут отследить все вероятные комбинации ошибок (их количество превосходит разумные пределы). То есть готовый алгоритм уверенно проходит тестирование на критические показатели, но как он будет работать при других показателях - отследить и предугадать невозможно.

ИИ - маркетинговый термин, за которым скрываются сложные управляющие алгоритмы

Еще одна проблема - общее усложнение технологических систем. Оно идет за счет построения новых устройств на основе старых. Бытовой пример - старая квартира со старой электрической проводкой. Провода скрыты где-то в стене, а к розеткам подключают самое современное оборудование. Где, как и кем сделана сеть, за давностью лет узнать невозможно, а менять ее по всей квартире слишком дорого. Конечно, можно пойти на эти затраты, но старые провода все равно где-то останутся и даже могут оказаться подключены к какому-нибудь щитку, про который хозяин тоже не знает. Или когда-то в сети была поставлена перемычка, или какое-то замыкание ликвидировали, перекоммутировав сеть...

Четверть века назад специалисты назвали подобную ситуацию "Проблема 2000". Суть ее заключалась в том, что многие алгоритмы для вычисления дат использовали только две последние цифры в обозначении года, то есть год 2001 с точки зрения программы был раньше, чем 1999-й. Программисты 1960-1970-х годов честно делали свое дело и не предполагали, что их программы проживут в управляющих контурах (в данном случае это набор аппаратных средств разного года выпуска и разных производителей) больше 10-15 лет. А как выяснилось, управляющие контуры - то есть тот самый искусственный интеллект - могут успешно работать совместно полвека и дольше. В 2000-м специалисты сделали все возможное, чтобы избежать техногенных катастроф и не думали все сваливать на искусственный интеллект.

Впереди нас ожидает "Проблема 2038" - она затронет программы и системы, где используется представление времени по стандарту POSIX или UNIX. UNIX-время - количество секунд, прошедшее с полуночи 1 января 1970 года. За этим термином скрывается операционная система Android - основа большинства современных интеллектуальных гаджетов.