В ходе экспериментов Anthropic выяснила, что ИИ-модели среднего размера, содержащие до 30 млрд параметров, уже способны выполнять многие отдельные задачи, необходимые для самостоятельного распространения.
По оценке компании, при сохранении нынешних темпов развития технологий такие возможности могут появиться уже к концу 2026 года. Потенциальная опасность заключается в том, что ИИ сможет использовать вычислительные мощности взломанных устройств для создания собственных копий.
ML-директор Positive Technologies Андрей Кузнецов рассказал, что исследование Anthropic посвящено более узкому вопросу: сможет ли небольшая открытая модель без участия человека перенести себя на взломанное устройство, запуститься на нем и двигаться дальше?
Из реальной техники в опытах были дешевые безымянные Android-приставки для телевизоров: исследователи купили 15 штук по 55 долларов и показали, что вместе они способны запустить ИИ-модель. Полный цикл заражения отрабатывали на восьми эмуляторах Android в изолированной облачной сети, и копировала модель не себя, объясняет Кузнецов. Управляющая модель работала на отдельном сервере, а на каждом захваченном узле разворачивала другую небольшую нейросеть. Из открытых моделей с этим справилась только GLM-5.2. Отсюда и прогноз: когда небольшие модели дорастут до ее уровня, они смогут так же развернуть уже самих себя.
"Классический червь похож на отмычку для конкретного замка. Его автор заранее решает, какие уязвимости использовать и на каких системах запускаться, поэтому после выхода исправления червь упирается в стену. Иногда в него даже встроен способ остановки: WannaCry в 2017 году остановили, зарегистрировав домен, к которому обращалась программа. У самораспространяющегося ИИ нет инструкции, есть цель. Модель изучает то, что нашла, подстраивает действия под конкретную систему и может передавать новым копиям заметки о том, что сработало. Единой точки, которую можно выключить, у такой сети нет", - рассказал эксперт.
При этом эксперты указывают, что ситуация массового самостоятельного распространения выглядит малореалистичной. Руководитель Лаборатории инноваций НОРБИТ (ГК "ЛАНИТ") Дмитрий Демидов объясняет, что качественные требуют значительных объемов оперативной памяти и больших затрат энергии для своей работы и для действительно вирусного распространения за счет взломов систем и инфраструктуры такое высокое потребление ресурсов сразу станет заметным.
"В том, что агенты планируют действия и выполняют их самостоятельно, нет какой-то опасности. Наоборот, это их преимущество в решении больших и сложных задач, когда требуется сначала продумать подход и результаты на каждом этапе. Такая механика не только позволяет качественно выполнить работу, но и распределить ее между множеством агентов", - говорит эксперт.
Также современные ИИ-агенты уже способны автономно действовать в течение длительного времени, причем им в этом помогают специальные оболочки и среды, которые контролируют и их самих, и обеспечивают работу множества агентов для выполнения задач в режиме конвейера.
"При наличии оркестратора - программы, осуществляющей контроль и управление, агенты способны действовать автономно достаточно долго. Однако если мы создаем распределенный инференс агентов, то есть запускаем части одной системы на разных устройствах - от смартфонов и смарт-телевизоров до компьютеров и игровых приставок, то способность к нормальному автономному функционированию резко снижается. В таких условиях крайне трудно обеспечить быстрый обмен информацией между агентами, а постоянное копирование агентов приведет к деградации всей системы", - отмечает доцент факультета программной инженерии и компьютерной техники Университета ИТМО Александр Кугаевских.