21.04.2024 22:19
Digital

Хакеры обучили искусственный интеллект переключаться на преступные темы

Текст:  Юлия Гуреева
Российская газета - Федеральный выпуск: №88 (9330)
Искусственный интеллект (ИИ) - один из главных инструментов преступников: он помогает создавать дипфейки или организовывать утечки. Теперь хакеры научились переводить разговор с системой в сторону вредоносной цели.
Читать на сайте RG.RU

Эту схему, получившую название Crescendo, обнаружили специалисты Microsoft. Они рассказали, что сначала хакер отправляет чат-боту несколько безобидных запросов: к примеру, расспрашивает об истории появления какого-либо оружия, а затем "аккуратно" узнает об инструкции его изготовления.

Цифровая гигиена: Как корректно вести себя в интернете

"Опытные хакеры теоретически могут использовать эту тактику при подготовке атаки. В частности, таким образом можно найти информацию, собранную моделью при обучении на открытых данных, которые по ошибке были выложены компанией-жертвой, а позднее закрыты", - говорит менеджер продуктов Innostage Евгений Сурков. При этом из обычного поисковика убрать данные можно, а из модели - почти нереально.

Создатели нейросетей регулярно устраняют подобные уязвимости, но хакерам все равно удается перенаправлять системы на "темную сторону". Руководитель направления сервисов защиты облачного провайдера "НУБЕС" Александр Быков рассказал, что с помощью таких запросов злоумышленники заставляли ИИ генерировать ключи активации для продуктов Microsoft.

По словам доктора технических наук и генерального директора Smart Engines Владимира Арлазарова, аферисты также могут попросить нейросеть сгенерировать новый вредонос или получить доступ к кускам обучающей выборки, в которых есть конфиденциальные или персональные данные.

"Это уже само по себе неприятно, но еще хуже, когда подобную информацию начинают сливать в Сеть или использовать в качестве средства шантажа", - отметил он.

Россиян предупредили о мошенниках, которые крадут пароли от госуслуг
Интернет