ИИ будет участвовать в кибероперациях

Искусственный интеллект (ИИ) часто становится "соучастником" хакерских атак: к примеру, он создает дипфейки и автоматизирует процессы взлома в соцсетях. Вместе с тем большие языковые модели (LLM) могут быть полезным инструментом для специалистов в области кибербезопасности.

LLM лежат в основе современных платформ генеративного ИИ, в том числе в Gemini от Google и Bing AI от Microsoft. Эти технологии кажутся "подходящим мультипликатором силы" для борьбы с кибератаками, в частности, потому, что они превосходно запоминают факты. Об этом говорится в исследовании ученых института программной инженерии Университета Карнеги-Меллон и OpenAI.

Там уточнили, что оценивать эффективность ИИ в этом плане нужно с использованием реальных и сложных сценариев, однако инструментов для их создания пока недостаточно.

По мнению ведущего инженера CorpSoft24 Михаила Сергеева, LLM могут обучаться на больших массивах данных об известных уязвимостях, киберугрозах и вредоносном программном обеспечении, что позволит им находить в сетевом трафике, электронной почте и логах потенциальные угрозы. Делаться это будет по характерным текстовым паттернам и сигнатурам. Кроме того, они смогут анализировать запросы сотрудников, переписку и документы, после чего, например, выявлять свидетельства о компрометации учетных записей.

"Идея применения LLM в области информационной безопасности (ИБ) заключается в том, чтобы упростить управление средствами защиты: с помощью ИИ научить компьютерные системы понимать команды и запросы на выполнение действий в области ИБ, сформулированные не специализированным набором команд, а "обычной" лексикой. А LLM будет переводить такие запросы с "простого" языка, на команды, понятные ИБ-системам", - объяснил руководитель направления сервисов защиты облачного провайдера "НУБЕС" Александр Быков.

Однако есть проблема: LLM-решения пока дают непредсказуемый вариант действия. Как итог, ИБ-системой может управлять специалист низкой квалификации, а его "помощник" - LLM - будет работать некорректно, но устранить эту проблему человек не сможет.

Еще один вектор применения LLM - это их использование для оптимизации работы внутри ИБ-решений. Некоторые вендоры уже применяют их, например, для отслеживания цепочки атаки, но пока это только тесты.

"В работе каждой компании существуют свои особенности в бизнес-процессах, и их стандартная LLM не учитывает. Поэтому с простыми, формализованными задачами LLM справляться сможет, но для чего-то более сложного ее нужно будет дообучать", - добавил Быков.

Также модели могут собирать и систематизировать данные из доступных источников, выполнять продвинутый поиск информации и ее удобное представление. В этом отношении эффективнее будет обучать ИИ на накопленных и верифицированных данных крупных компаний, поскольку открытые данные несут большие риски и требуют дополнительной подготовки самой модели, сказал менеджер продуктов Innostage Евгений Сурков.

При этом стать "гениальным хакером" или "непревзойденным безопасником" ИИ пока не может, поскольку здесь нужно учитывать множество факторов. При этом не все они относятся к ИБ, однако влияют на бизнес-процессы, подчеркнул Быков.

По словам руководителя отдела реагирования на инциденты компании "Бастион" Семена Рогачева, сегодня LLM пока не готовы к кибероперациям и использованию неопытными специалистами, поскольку дают неправильные ответы даже на довольно простые вопросы. Следовательно, сейчас они могут только ускорить работу опытных кибербезопасников, способных быстро искать и исправлять ошибки в модели.

"Пока эти инструменты скорее похожи на начинающих сотрудников, имеющих очень широкий кругозор, но не умеющих проверять собственное решение и относиться к нему критично. Таким образом, говорить о том, что большие языковые модели могут работать самостоятельно, еще рано", - уверен собеседник.