Распознающие эмоции нейросети могут стать инструментом хакеров

Искусственный интеллект (ИИ) уже не только распознает голоса людей, но и умеет считывать их эмоции. С одной стороны, такая способность позволяет системе вести осмысленные разговоры с пользователями и предоставлять более глубокие ответы, а с другой, создает риски для кибербезопасности.

Так, например, в этом году компания Hume AI представила систему Empathic Voice Interface - это языковая модель, которая отслеживает эмоциональное состояние человека по его голосу. Извлекая таким образом дополнительный контекст диалога, она меняет собственную интонацию для того, чтобы поддержать или даже убедить пользователя в чем-либо.

Возможности нейросети заставлять человека сомневаться в определенных вопросах показали и исследователи из Федеральной политехнической школы Лозанны. Для участия в эксперименте они привлекли 820 добровольцев и предоставили чат-боту GPT-4 данные о них, включая пол, образование и статус занятости. В результате дебатов ИИ удалось превзойти живых собеседников в переубеждении на 81,7%, пишет New Atlas.

При этом благодаря подобным технологиям хакеры могут создавать подделки голоса более высокого уровня, добавляя эмоциональную окраску речи.

"Такой голосовой дипфейк, например, с просьбой о помощи через ложное голосовое сообщение, или угрозами, побуждающими к немедленному действию, может оказать большее влияние на атакуемого, что увеличивает шансы злоумышленников на успех", - сказал руководитель направления сервисов защиты облачного провайдера "НУБЕС" Александр Быков.

Алгоритмы ИИ могут использоваться и для генерации фейковых новостей и инфоповодов, добавил Максим Бузинов, руководитель R&D лаборатории ГК "Солар".

Также эти инструменты дают возможность загружать собственные файлы, включая аудио и видео. Это позволяет злоумышленникам использовать исходный материал для целенаправленной атаки на потенциальную жертву. Делается это от имени как публичного лица, так и знакомого жертвы, объяснила эксперт по реагированию на инциденты Angara Security Алина Андрух.

Материалы, которые генерируются с помощью подобных нейросетей, дают более правдоподобный материал.

"За счет заложенных технологий решение выдерживает паузы и отвечает исключительно после человека, то есть в ходе реального звонка ИИ будет останавливаться и отвечать после того, как тот договорит", - добавила она.

Еще одна особенность этой разработки - возможность создания номеров телефона и использования телефонных звонков, что ведет к увеличению мошеннических звонков.

"Такие действия могут значительно упростить реализацию уже существующих кибератак с использованием ИИ, а также усложнить выявление контента с использованием ИИ", - подчеркнула Андрух.