Так, например, в этом году компания Hume AI представила систему Empathic Voice Interface - это языковая модель, которая отслеживает эмоциональное состояние человека по его голосу. Извлекая таким образом дополнительный контекст диалога, она меняет собственную интонацию для того, чтобы поддержать или даже убедить пользователя в чем-либо.
Возможности нейросети заставлять человека сомневаться в определенных вопросах показали и исследователи из Федеральной политехнической школы Лозанны. Для участия в эксперименте они привлекли 820 добровольцев и предоставили чат-боту GPT-4 данные о них, включая пол, образование и статус занятости. В результате дебатов ИИ удалось превзойти живых собеседников в переубеждении на 81,7%, пишет New Atlas.
При этом благодаря подобным технологиям хакеры могут создавать подделки голоса более высокого уровня, добавляя эмоциональную окраску речи.
"Такой голосовой дипфейк, например, с просьбой о помощи через ложное голосовое сообщение, или угрозами, побуждающими к немедленному действию, может оказать большее влияние на атакуемого, что увеличивает шансы злоумышленников на успех", - сказал руководитель направления сервисов защиты облачного провайдера "НУБЕС" Александр Быков.
Алгоритмы ИИ могут использоваться и для генерации фейковых новостей и инфоповодов, добавил Максим Бузинов, руководитель R&D лаборатории ГК "Солар".
Также эти инструменты дают возможность загружать собственные файлы, включая аудио и видео. Это позволяет злоумышленникам использовать исходный материал для целенаправленной атаки на потенциальную жертву. Делается это от имени как публичного лица, так и знакомого жертвы, объяснила эксперт по реагированию на инциденты Angara Security Алина Андрух.
Материалы, которые генерируются с помощью подобных нейросетей, дают более правдоподобный материал.
"За счет заложенных технологий решение выдерживает паузы и отвечает исключительно после человека, то есть в ходе реального звонка ИИ будет останавливаться и отвечать после того, как тот договорит", - добавила она.
Еще одна особенность этой разработки - возможность создания номеров телефона и использования телефонных звонков, что ведет к увеличению мошеннических звонков.
"Такие действия могут значительно упростить реализацию уже существующих кибератак с использованием ИИ, а также усложнить выявление контента с использованием ИИ", - подчеркнула Андрух.