Наталья Ивановна, насколько сегодня вы готовы довериться агентности и видите ли перспективы использования ИИ-агентов в кибербезопасности?
Наталья Касперская: Все зависит от задач и места агента в контуре: если он используется в некритических применениях, как подсказчик, помощник пользователя, это вполне разумно, но, если ему безоговорочно доверяют и дают право автоматически готовить финальные документы, коммерческие предложения, стратегии, договоры, принимать автономные юридически значимые решения о людях — это уже плохо.
LLM модели — вероятностная технология, не гарантированная. Они с заметной вероятностью ошибаются или «бредят». При этом последний год некоторые специалисты заметили ухудшение качества того, что производят LLM, в том числе потому, что модели дообучаются на собственных же сгенерированных текстах (то есть в них уже есть элемент бреда), а не только на выверенных человеческих текстах.
То есть мы сейчас скорее на пике хайпа?
Наталья Касперская: Да, ситуация сильно напоминает историю с блокчейном, который был настолько модным, что его вписали во все госпрограммы, а когда интерес ушел, пришлось аккуратно и тихо «отползать» от КПЭ по блокчейну.
Меня пугают любые безальтернативные требования по внедрению «генеративного ИИ» куда угодно. Такое впечатление, что мы сейчас в точности повторяем ошибку, сделанную с блокчейном. То, что технология модная, находится на пике хайпа — это маркер, что вкладываться в неё нужно крайне осторожно. А ещё лучше дать другим поэкспериментировать и ошибиться, чтобы потом самим внедрять с учётом чужих ошибок и только там, где технология реально решает задачи.
Но при этом вы сами используете элементы ИИ в продуктах.
Наталья Касперская: Да, внутри одного из продуктов InfoWatch используетcя внутренний агент — закрытый, работающий только в нашем контуре — для подсказок пользователю: он помогает разобраться с функциональностью продукта, отвечает на вопросы о том, как работает конкретная опция. Но, кстати, помимо LLM там используются традиционные лингвистические технологии, позволяющие более аккуратно выдавать ответ.
Важно, что этот агент не принимает решения за пользователя и может ошибаться в пределах, которые человек способен заметить и поправить, в отличие от сценариев, где ИИ автоматически выписывает, например, штрафы, принимает на работу или увольняет.
И, пожалуй, одна из главных оставшихся задач — научить модели честно говорить «я не знаю».
Наталья Касперская: Да, но нынешняя архитектура LLM так устроена, что они должны выдавать ответ всегда, даже когда данных недостаточно. Это создает эффект «уверенной неправоты», и пока разработчики не научатся управлять этим поведением, доверять таким системам в вынесении критически важных решений нельзя.