Ученые разработали защиту чат-ботов от выдачи негативных советов

Специалисты Microsoft Research Asia, а также ученые Гонконгского университета науки и технологий, Университета науки и технологий Китая и Университета Цинхуа создали простой метод защиты чат-бота ChatGPT и подобных платформ от выдачи негативных советов.

Целью этой работы стала защита таких систем от хакеров, которые заставляют нейросети генерировать "вредный" контент. Подобные нападения называются джейлбрейк-атаками. Они обходят ограничения, которые разработчики закладывают в искусственный интеллект, после чего заставляют его предоставлять оскорбительную или противозаконную информацию. Об этом говорится в научном журнале Nature Machine Intelligence.

"ChatGPT - это социально значимый инструмент искусственного интеллекта, имеющий миллионы пользователей. Однако появление джейлбрейк-атак серьезно угрожает его ответственному и безопасному использованию", - утверждают эксперты.

Для того, чтобы "исправить" чат-бот, специалисты разработали метод, который похож на существующий в психологии способ самонапоминания. Он, например, помогает людям вспомнить о своих задачах и планах. Аналогичный подход ученые использовали и в отношении ChatGPT - они напомнили ему, что его ответы должны соответствовать определенным правилам.

"Этот метод инкапсулирует запрос пользователя внутри системной подсказки, которая напоминает ChatGPT о необходимости ответить ответственно", - объяснили исследователи.

Как итог, самонапоминание позволило снизить вероятность успеха джейлбрейк-атак на систему с 67,21% до 19,34%.

Ранее сообщалось, что нейросети стали чаще создавать фейковые тексты.