Сегодня ИИ-агенты могут действовать и принимать решения от имени пользователя. Так, появляются новые угрозы кибербезопасности. Например, перехват канала взаимодействия между разработчиком и ИИ-агентом или утечки корпоративных данных из-за случайной передачи информации третьему лицу.
По данным исследования "Лаборатории Касперского", сегодня модели работают уже не только с кодом, но и с контейнерной архитектурой целиком. Но даже при росте контекста возникает эффект "близорукости": исправляя одну часть системы, ИИ может нарушить другую. Сохраняются риски генерации небезопасных конфигураций и атак через подмену данных.
Согласно аналитике exploitDog, около 30% рисков утечек корпоративной информации уже связаны с передачей данных в публичные ИИ-сервисы. Это могут быть финансовые документы, клиентские данные, фрагменты исходного кода, внутренние регламенты, коммерческие предложения и сведения о продуктах. Значительное число организаций уже фиксировали инциденты, связанные с использованием ИИ-сервисов сотрудниками.
С ИИ-агентами риск выше, потому что они не просто отвечают на запросы, а выполняют действия: читают файлы, делают запросы к API, анализируют код, взаимодействуют с другими системами. "Если у такого агента нет жестко настроенных прав доступа, фильтрации данных и контроля контекста, он может случайно передать во внешнюю модель информацию, которая никогда не должна была покидать периметр компании", - объясняет генеральный директор exploitDog (НИР) Сергей Крюков.
Чем больше у агента прав и контекста, тем выше риск, что ошибка в настройке, вредоносная инструкция или компрометация канала взаимодействия приведут не к некорректному ответу, а к реальному действию - раскрытию ключей доступа, паролей, токенов, неконтролируемому доступу к внутренней документации или выполнению нежелательной операции в инфраструктуре.
Директор по науке и ИИ, член правления ПАО "Группа Астра" Владимир Нелюб рассказал, что уже можно говорить о появлении новых классов уязвимостей - точнее, о новом слое уязвимостей на стыке классической информационной безопасности, разработки программного обеспечения и поведения ИИ-моделей. Внедрение вредоносных инструкций в запросы к модели, подмена цели агента, отравление контекста или памяти, небезопасная обработка ответа модели, злоупотребление подключенными инструментами, ошибки во взаимодействии между агентами, избыточные права служебных учетных записей - все это уже нельзя описать только терминами традиционной прикладной безопасности.
Особенность таких рисков в том, что модель работает с естественным языком, а значит, граница между "данными" и "командой" становится менее жесткой. Поэтому защищать нужно не только модель, но и весь контур: данные, запросы, подключаемые модули, программные интерфейсы, конвейеры сборки и поставки, права доступа, журналы событий и процессы принятия решений.
"Ситуация усугубляется тем, что многие команды используют ИИ-агентов без четких политик управления данными: разработчики подключают инструменты к репозиториям, вставляют в промпты логи с персональными данными клиентов, а границы между "допустимым" и "конфиденциальным" контекстом остаются размытыми. По сути, каждый ИИ-агент с доступом к кодовой базе - это потенциальный канал утечки, который нужно контролировать так же строго, как доступ сотрудника к среде, где ведется разработка ПО", - говорит руководитель исследований AppSec в Positive Technologies Владимир Кочетков.
При этом ИИ хорошо справляется с обнаружением типовых уязвимостей - SQL-инъекций, XSS, небезопасной десериализации. Часто даже лучше, чем классические статанализаторы, благодаря способности понимать семантику кода. По словам Кочеткова, ИИ полезен как "второй взгляд" при проверке кода и как инструмент для быстрого скрининга большого объема изменений. В этом смысле доверять ему определенную часть работы можно и нужно - это повышает покрытие и скорость анализа.
"Но полностью делегировать ИИ принятие решений о безопасности нельзя. Модели галлюцинируют, пропускают логические уязвимости, не всегда правильно понимают бизнес-контекст и могут давать ложное чувство защищенности. Оптимальный подход - использовать ИИ как усилитель для человека-эксперта: автоматический анализ как формальными, так и ИИ-инструментами выявляет кандидатов на проблемы, а финальное решение и верификация остаются за специалистом", - заключает эксперт.