Речь идет прежде всего об ИИ-компаньонах, виртуальных друзьях и других сервисах, которые воспроизводят черты личности, образ мышления и стиль общения человека и способны выстраивать с пользователем длительное эмоциональное взаимодействие. Китайские власти объясняют необходимость отдельного регулирования быстрым развитием подобных технологий и новыми рисками: эмоциональной зависимостью от ИИ, социальной изоляцией, психологическим воздействием, угрозами жизни и здоровью пользователей, а также проблемами защиты персональных данных.
Согласно новым правилам, теперь сервисы должны постоянно и заметно сообщать пользователю, что он общается с искусственным интеллектом, который "не обладает человеческими эмоциями и сознанием". Если система обнаруживает признаки чрезмерной зависимости или сильных эмоциональных переживаний, она должна вмешаться и напомнить о виртуальной природе собеседника. При непрерывном общении более двух часов сервис обязан отдельно предупредить пользователя о продолжительности сеанса.
Особые требования введены для кризисных ситуаций. Если пользователь демонстрирует крайние эмоциональные состояния, ИИ должен попытаться его успокоить. При выявлении угрозы самоубийства, самоповреждения или других опасных для жизни действий поставщик сервиса обязан принять меры помощи, подключить человека к разговору и предоставить профессиональные каналы поддержки. В предусмотренных правилами случаях может быть уведомлен экстренный контакт пользователя.
Отдельный блок посвящен детям. Несовершеннолетним запрещено предоставлять сервисы, создающие "виртуальные близкие отношения" - в частности, виртуальных родственников или ИИ-партнеров. Для пользователей младше 14 лет другие антропоморфные ИИ-сервисы разрешены только с согласия родителей или опекунов. Компании также обязаны создать специальный детский режим с ограничением времени использования, возможностью блокировать отдельных виртуальных персонажей и контролировать расходы.
Специальные меры предусмотрены и для пожилых пользователей: сервисы должны более заметно предупреждать их о рисках и оперативно реагировать на просьбы о помощи. Разработчикам также запрещено без законных оснований или прямого согласия пользователя передавать третьим лицам данные его общения с ИИ.
При этом новые правила распространяются далеко не на весь искусственный интеллект. Обычные чат-боты службы поддержки, системы вопросов и ответов, рабочие и учебные помощники, а также научные сервисы под регулирование не подпадают - при условии, что они не предназначены для длительного эмоционального взаимодействия с человеком.
По сути, Китай впервые выделил отношения "человек - эмоциональный ИИ" в отдельную сферу регулирования. Власти исходят из того, что виртуальный собеседник, который помнит пользователя, подстраивается под его эмоции и месяцами играет роль друга или партнера, создает принципиально иные риски, чем обычный чат-бот.