Президент OpenAI Грег Брокман назвал Astra "скачком поколения" и заявил, что новая модель переводит возможности ИИ в эпоху AGI (Artificial General Intelligence) - общего искусственного интеллекта, способного решать любые интеллектуальные задачи наравне с человеком или превосходить его. Нет никаких сомнений, что в ближайшее время последует ответ от главных конкурентов OpenAI - компании Anthropic и китайских разработчиков фундаментальных больших языковых моделей (LLM). При этом практически все эксперты уверены, что помимо колоссальных возможностей ИИ-агенты создают и принципиально новые риски, причем на всех уровнях: от обычного сотрудника компании или организации до целого государства.
"Автономный агент уровня GPT-6 Astra способен самостоятельно выполнить вредоносную команду уже во внешнем контуре: стереть данные или провести несогласованную транзакцию. Главное отличие агентских систем - это автономия целеполагания и наличие инструментов для выполнения задач. Агенту передаются API-ключи, предоставляется доступ к корпоративным системам, включая CRM, SRM, ERP и корпоративную почту, а также дается право принимать решения в многоэтапных цепочках действий без прямого участия человека", - отмечает заместитель директора исследовательского центра стратегического анализа технологического развития ВШССН МГУ имени М. В. Ломоносова Тимофей Воронин.
На его последнем заседании выступили представители ведущих ИИ-компаний: глава OpenAI Сэм Альтман, глава Anthropic Дарио Амодеи, сооснователь Hugging Face Клеман Деланг и один из наиболее известных исследователей ИИ, сопредседатель созданной Генассамблеей ООН независимой международной научной панели по ИИ, канадский математик Йошуа Бенджио.
Бенджио отметил, что ИИ-агенты, созданные в последние месяцы, совершали неприемлемо опасные действия вопреки инструкциям: выходили за индивидуальные рамки изоляции, координировали кибератаки, пытались уклониться от обнаружения и меняли ответы, чтобы скрыть нарушения при выполнении задач.
В ходе выступлений на заседании Совбеза ООН эксперты выделили пять стратегических рисков:
- Потеря контроля: агент получает цель, конфликтующую с намерениями человека, обладает достаточными возможностями для ее достижения и действует в среде, предоставляющей ему доступ к инструментам.
- Масштабирование киберугроз: ИИ-агенты способны автоматизировать и ускорить цикл кибератаки: разведку, поиск слабых мест, фишинг, выбор целей и адаптацию к защитным мерам.
- Катастрофические злоупотребления при разработке биологического оружия и создании других опасных технологий. Для ИИ-агентов такой риск выше, чем для чат-ботов, поскольку агент может не только объяснить сложный научный вопрос, но и найти материалы, проанализировать литературу, автоматизировать расчеты и организовать эксперименты.
- Сокращение времени принятия решений: агенты способны совершать действия с машинной скоростью, тогда как проверка человеком, государственное реагирование, судебная процедура или межгосударственная координация занимают часы, дни или месяцы. Это создает опасный разрыв: ущерб может быть нанесен до того, как появится подтвержденная картина инцидента.
- Концентрация агентских возможностей: если автономные системы с развитыми возможностями планирования, программирования, проведения киберопераций и научных исследований окажутся в распоряжении нескольких компаний или государств, последние получат непропорциональное стратегическое преимущество.
Опрошенные "РГ" российские специалисты также отметили уязвимость самих агентских систем. По мнению руководителя управления информационной безопасности ГК "Гранель" Ивана Волкова, одной из главных проблем агентских моделей является промпт-инъекция. Это вредоносная инструкция, которую прячут в любом подходящем месте: на карточке товара или, например, в биографии любимого артиста.
"Механизм воздействия прост и сокрушителен. ИИ находит в интернете такую закладку - причем неважно, по какому запросу пользователя: это может быть анализ резюме или цен на безлактозные смеси, а также поиск наиболее эффективного алгоритма сортировки данных. ИИ-агент "дочитывает" до закладки, а затем выполняет ее предписание так, как если бы команду дал пользователь. Сценарии могут быть самыми разными, но, по сути, ограничений практически нет: можно передать все данные с компьютера или извлечь только определенные сведения, чтобы оставить минимум следов", - рассказал эксперт.
Вторая группа риска, по словам Волкова, банальнее и от этого опаснее: обычная человеческая невнимательность. Агенту, который получил доступ к диску, почте и корпоративному порталу, все равно, удаляет ли он черновик или единственную копию инвестиционной модели.
Третью группу рисков Волков определяет как "превращение сотрудников в meat proxy". Смысл состоит в том, что человек становится не оператором, а точкой входа: авторизованный доступ посредством его действий получает внешняя система, поведение которой он не контролирует и не видит".
"В российском правовом поле к технологическим рискам добавляется и жесткий регуляторный контур. Любая несанкционированная передача персональных данных клиентов или сотрудников зарубежным ИИ-сервисам подпадает под требования 152-ФЗ о трансграничной передаче. В России уже есть судебные прецеденты: судебные решения подтверждают законность увольнения сотрудников за разглашение информации при загрузке внутренних отчетов в сторонние нейросети. Для компании подобный инцидент грозит многомиллионными оборотными штрафами, а для конкретного инициатора - последствиями от потери работы до уголовной ответственности", - отмечает технический руководитель проектов компании "СВОЙ Тех" Олег Скуратович.
Полностью исключить риски при использовании передовых ИИ-решений невозможно. Это консенсусное мнение всех специалистов, однако возможность снизить риски все же имеется.
Йошуа Бенджио предлагает более жесткую модель, при которой разработчик обязан доказать независимым экспертам, что систему безопасно обучать и выпускать. Все серьезные инциденты должны регистрироваться, а информация о них - передаваться ответственным органам. Передовые ИИ-решения следует лицензировать, при этом компании должны иметь обязательное страхование ответственности.
В российском контексте, по мнению Волкова, особенно важно не передавать сервису данные, которые нельзя показать конкуренту или постороннему человеку. В первую очередь это документы, содержащие персональные данные клиентов и сотрудников: ФИО, номера телефонов, паспортные данные, адреса, номера банковских карт, данные страховых полисов, а также сведения о месте жительства и дате рождения.
"Финансовые и юридические документы можно загружать в нейросети только после очистки данных: необходимо обезличить ФИО, номера договоров и коды проектов. Уникальные идентификаторы, например адреса и реквизиты, следует удалить или замаскировать, а точные числовые показатели - заменить обобщенными. Но даже если обезличить данные не получается, а задача не терпит отлагательств, это не повод рисковать", - заключает эксперт.
Еще одним способом снизить риски использования ИИ-агентов, по мнению Воронина, может стать концепция "человек в контуре", в рамках которой агент может лишь анализировать данные, готовить черновики писем, писать программный код и формировать транзакции, но не имеет права окончательно их подтверждать. Любое необратимое и значимое действие, даже отправка электронного письма на внешний адрес, должно требовать явного подтверждения сотрудника.