К таким выводам пришли участники конференции AI Digital Future. Согласно результатам исследования "Безопасность ИИ в Финтехе", проведенного компаниями Swordfish Security и "Ассоциацией ФинТех" среди финансовых организаций, находящихся в авангарде использования ИИ, 25% компаний уже столкнулись с инцидентами в области AI Security, а 13% не знают, связаны ли произошедшие инциденты с использованием ИИ.
При этом специалисты отмечают, что с киберинцидентами, связанными с ИИ, могут сталкиваться до 50% организаций.
75% компаний считают, что ключевая угроза использования искусственного интеллекта - это утечка конфиденциальных данных; почти 40% назвали ошибки и предвзятость моделей, несанкционированный доступ и некорректную обработку запросов.
По мнению директора по развитию технологий искусственного интеллекта Swordfish Security Юрия Шабалина, в топ-3 угроз, связанных с использованием ИИ, входят промпт-инъекции - когда текстом описывается какое-то действие, в следствие чего нейросеть начинает работать некорректно, раскрытие конфиденциальных данных, а также повреждение или "отравление данных".
"По риск-скорингу мы находимся даже не в "красной", а в "бордовой" зоне. ИИ-технологии сегодня везде, даже если они не нужны, практически в любой компании их пытаются вставить, и это несет в себе феноменальные риски. Бизнес даже не понимает, что несет в себе подключение какого-нибудь чат-бота на сайт, который смотрит одним "глазом" в интернет, другим - в вашу базу данных, и предоставляет практически неограниченные возможности для знающего человека, чтобы получить какую-то внутреннюю информацию", - уверен Шабалин.
Старший разработчик систем искусственного интеллекта компании Innostage Александр Лебедев выделил следующие киберриски для организаций при использовании чат-ботов, ИИ-агентов и других ИИ-решений.
"Их довольно много: от утечки конфиденциальной информации и интеллектуальной собственности компании до репутационных рисков, связанных с ИИ, его действиями и высказываниями. Кроме того, сейчас ИИ несет и индустриальные риски. Он может удалить или зашифровать данные на компьютере разработчиков, допустить ошибку на критическом производственном процессе, например, под влиянием атаки злоумышленников, которые отравляют данные для обучения ИИ или встраивают бэкдоры в уже обученные ИИ-модели. ИИ на основе LLM сейчас является удобным вектором атаки на компанию, потому что для его взлома бывает достаточно правильно сформулированной промпт-инъекции, то есть просто текста, который отправляется на вход модели. И не нужно программировать или знать уловки администрирования. ИИ сейчас довольно беззащитен, и нужно предпринять серьезные усилия, чтобы избежать серьезных взломов и катастроф, связанных с внедрением ИИ в бизнес-процессы и объекты критической инфраструктуры", - уверен Лебедев.
Для эффективной защиты ИИ необходимо развивать компетенции, привлекать экспертов и обучать персонал. Второй аспект - технологии - подразумевает использование эффективных и безопасных инструментов. Третий аспект - выстраивание надежных и доверенных процессов, включающих мониторинг и аудит ИИ-систем.
При этом секретарь Консорциума исследований безопасности технологий искусственного интеллекта Дмитрий Служеникин подчеркнул, что в России, как и во всем мире, до сих пор нет единых требований к доверию используемых ИИ-технологий: "Существует множество юридических документов, но они часто не содержат реальных механизмов обеспечения доверия и безопасности. Сама технология ИИ не предполагает 100% доверия, всегда есть вероятность ошибки. Поэтому наш консорциум сосредоточен на работе с государственными информационными системами (ГИС) и критической информационной инфраструктурой (КИИ), оставляя коммерческому сектору использование лучших мировых практик. Мы стремимся создать систему сертификации, которая подтвердит безопасность и надежность ИИ-решений".
Сегодня популярным трендом в использовании ИИ стали Open-Source-модели. Компании, не имеющие ресурсов на разработку собственных нейросетевых моделей, используют сложные и высокопроизводительные Open-Source модели, выложенные в открытый доступ. Однако такая практика также несет риски.
"Open-Source - это и свобода, и ответственность. Причем большая", - говорит директор по продуктам ServicePipe Михаил Хлебунов.
"Для того чтобы снизить вероятность киберинцидентов, необходима проверка источника. Важна репутация разработчика модели, активность сообщества, история релизов. Также требуется контейнеризация, то есть ограничение доступа модели к сети и файловой системе. Открытая модель на сервере без контроля - это открытая дверь для атаки, - говорит Хлебунов и продолжает. - Помимо этого важно проводить аудит данных обучения. Отравленные датасеты компрометируют всю модель. Это критично. И последнее - это мониторинг поведения. Странные запросы к внешним ресурсам, подозрительные паттерны вывода - должны сразу фиксироваться".