Эту схему, получившую название Crescendo, обнаружили специалисты Microsoft. Они рассказали, что сначала хакер отправляет чат-боту несколько безобидных запросов: к примеру, расспрашивает об истории появления какого-либо оружия, а затем "аккуратно" узнает об инструкции его изготовления.
"Опытные хакеры теоретически могут использовать эту тактику при подготовке атаки. В частности, таким образом можно найти информацию, собранную моделью при обучении на открытых данных, которые по ошибке были выложены компанией-жертвой, а позднее закрыты", - говорит менеджер продуктов Innostage Евгений Сурков. При этом из обычного поисковика убрать данные можно, а из модели - почти нереально.
Создатели нейросетей регулярно устраняют подобные уязвимости, но хакерам все равно удается перенаправлять системы на "темную сторону". Руководитель направления сервисов защиты облачного провайдера "НУБЕС" Александр Быков рассказал, что с помощью таких запросов злоумышленники заставляли ИИ генерировать ключи активации для продуктов Microsoft.
По словам доктора технических наук и генерального директора Smart Engines Владимира Арлазарова, аферисты также могут попросить нейросеть сгенерировать новый вредонос или получить доступ к кускам обучающей выборки, в которых есть конфиденциальные или персональные данные.
"Это уже само по себе неприятно, но еще хуже, когда подобную информацию начинают сливать в Сеть или использовать в качестве средства шантажа", - отметил он.