ИИ стал обоюдоострым оружием для хакеров и специалистов по кибербезопасности

Искусственный интеллект становится фактором, который прямо влияет на информационную безопасность. Инструменты на основе больших языковых моделей (LLM) используют и для атак, и для защиты информационных систем.

По данным международных аналитических центров IDC и McKinsey, объем рынка ПО на базе ИИ в сфере информационной безопасности оценивается в 93 млрд долларов. Этот сегмент занимает около 10% от общего объема софтверных решений с применением ИИ. Минцифры России оценивает российский рынок технологий на базе ИИ по всем сегментам экономики в 650 миллиардов рублей с потенциалом роста до 11 триллионов рублей к 2030 году.

Эксперты выделяют несколько направлений применения ИИ при обеспечении информационной безопасности компаний и организаций.

Так, решения на основе нейросетевых моделей уже используются для выявления аномалий в поведении пользователей, устройств, а также для обнаружения сложных (APT) атак. Например, при распознавании графических файлов, которые могут содержать конфиденциальную информацию - изображения банковских карт, сканы паспортов, служебные документы с печатями, медицинскую и конструкторскую документацию.

ИИ позволяет вести профилактику угроз и прогнозировать риски информационной безопасности, которые сложно выявить с помощью обычных средств защиты информации. Такой подход позволяет автоматизировать анализ коммуникаций сотрудников, их цифровой след, модели аномального поведения, которые могут быть индикаторами инцидентов информационной безопасности по вине внутренних нарушителей или инсайдеров.

С помощью LLM специалисты анализируют содержимое веб-сайтов, причем на множестве языков, на предмет выявления нежелательного контента и фишинговых ресурсов. Точность такой атрибуции достигает 95%.

Еще одним важным направлением для использования ИИ стало детектирование аномалий в сетевой инфраструктуре, сетевом трафике, определение сложных таргетированных кибератак, фишинга, а также классификации вредоносных процессов и файлов.

Руководитель R&D-лаборатории Центра технологий кибербезопасности ГК "Солар" Максим Бузинов отмечает, что при разработке ИБ-решений обязательно должен учитываться ряд требований к прозрачности доверенного ИИ и тем аспектам ответственности, которые лежат на стороне разработчиков ИБ-решений, и рисков, связанных с искусственным интеллектом.

Эксперт отмечает, что высокие риски также связаны с конфиденциальностью дата-сетов и данных, которые могут содержать вредоносные компоненты.

"Злоумышленники могут задействовать механизм подсказок-инструкций для модели (promt), который реализует jailbreaking инъекции. Они могут "сбивать с толку" модель, а также использоваться для получения чувствительной информации. Если выходной результат LLM не проверяется на безопасность, злоумышленник может "подложить" свой специальный prompt, чтобы нейросеть сгенерировала вредоносный код, который может привести к потере учетных данных", - отмечает Бузинов.

Однако современные хакеры не только расширяют поверхность кибератак за счет популярности ИИ-продуктов, но и сами используют ИИ.

• Уже разработано несколько способов усиления с помощью искусственного интеллекта кибератак и различных мошеннических схем.
• Хакеры используют алгоритмы ИИ для автоматизации атак, увеличивая их скорость, масштаб и сложность.
• Инструменты на базе искусственного интеллекта анализируют огромные объемы данных для массовой генерации персонализированных фишинговых писем, сообщений и чат-ботов, что сделало мошенничество более убедительным.
• Созданные искусственным интеллектом фейковые видео и аудио позволяют выдавать себя за другое лицо, что приводит к краже личных данных или манипулированию общественным мнением.
• ИИ может создавать вредоносное ПО, которое адаптирует свое поведение для обхода традиционных мер безопасности, уклоняясь от систем обнаружения.
• Алгоритмы ИИ помогают хакерам выявлять уязвимости, использовать слабые места и извлекать ценные данные из скомпрометированных систем.
• С помощью ИИ хакеры ускоряют процесс взлома паролей, используя методы машинного обучения для анализа закономерностей и прогнозирования вероятных комбинаций.

Бизнес-консультант по информационной безопасности компании Positive Technologies Алексей Лукацкий считает, что несмотря на то, что ИИ стали использовать и специалисты по информационной безопасности, и злоумышленники, область применения решений на основе искусственного интеллекта в ИБ носит нишевый характер.

"Например, различные ИИ-ассистенты могут из огромного объема данных, из сложной табличной формы выдать понятный аналитику текст, который можно вставить в отчет и быстро погрузиться в тему. А ассистенты на базе LLM способны сильно облегчить расследование и реагирование на киберинциденты, - говорит Лукацкий. - А вот история, где искусственный интеллект применяется для обнаружения атак и инцидентов - сложнее".

"Например, при обнаружение вредоносного кода определенных семейств, аномальной активности, DDoS-атак ИИ работает неплохо при нескольких условиях. Во-первых, в компании, которая это внедряет, есть свои датасайентисты (а это очень большая редкость). Во-вторых, нужны хорошие датасеты, на которых обучается модель. И если раньше было предположение, что такие датасеты станут неким комодитиз, то есть доступными для всех, их начнут массово применять и рынок "взорвется" от новых решений, то сейчас понятно, что такие наборы данных становится коммерческим преимуществом и никто ими не готов делиться. Поэтому количество решений, которые построены на хорошем искусственном интеллекте и действительно дают высокую точность обнаружения чего-то ранее неизвестного очень невелико", - отметил эксперт.