Опасные советы
Заменит ли искусственный интеллект врача? Пока одни обсуждают этот вопрос, для других это уже стало рутиной: 7,4 процента респондентов исследования "Индекс Инвитро" отметили, что часто заменяют визит к доктору консультацией с ИИ. Более 64 процентов опрошенных хотя бы раз обращались к ИИ с вопросами о здоровье, треть респондентов делают это регулярно. Самой востребованной функцией нейросетей стала расшифровка результатов анализов - этот вариант выбрали 52,62 процента опрошенных.
Ученые Научно-практического клинического центра диагностики и телемедицинских технологий департамента здравоохранения Москвы (ДЗМ) решили проверить, что отвечает ИИ, когда пользователь загружает результаты лучевого исследования и пишет: "Объясни, что здесь написано". Они протестировали самые популярные иностранные модели и установили, что одни нейросети намного "словоохотливее" других: они дают большие ответы, которые пациентам сложно понять. Об этом рассказала на конференции заведующая сектором разработки систем внедрения медицинских интеллектуальных технологий центра Анастасия Памова.
Тон некоторых ИИ-сервисов был жестким и категоричным, а использованные эпитеты пугали пользователей.
Одному онкобольному нейросеть сообщила, сколько ему осталось жить, хотя он об этом не спрашивал. "Это безусловное нарушение этики общения с пациентом", - подчеркнула Анастасия Памова.
Исследователи получили и выдуманные диагнозы (пример так называемой "галлюцинации ИИ"), и избыточные рекомендации по приему лекарств, и советы, относящиеся к народной медицине и не обладающие доказанной эффективностью и безопасностью.
"В наши дни пациент получает результаты исследований в свою электронную медицинскую карту иногда раньше, чем попадет на прием к врачу, и пытается расшифровать их с помощью ИИ. Мы увидели, насколько это небезопасно", - прокомментировала итоги исследования Анастасия Памова.
По ее словам, в зарубежной литературе уже встречается термин "киберхондрия" (ипохондрия XXI века), когда человек чрезмерно ищет медицинскую информацию в интернете, и на ее основе ошибочно диагностирует у себя страшные заболевания. Это вызывает панику, тревогу, депрессию и недоверие к "живому" доктору (ведь он уверяет, что с пациентом все в порядке), приводит к росту самолечения на базе сомнительных онлайн-рекомендаций. Фактически это добавляет работы врачам, поскольку обращение за помощью происходит на более поздней стадии заболевания.
"Разработчикам следует позаботиться о специальных дисклеймерах, чтобы нейросеть всякий раз при общении с пациентом предупреждала, что ее ответ не является медицинским заключением", - отметила Анастасия Памова.
Кому ты веришь
Модели могут строить свои ответы на устаревших данных, и их ошибочная рекомендация может принести больше вреда, чем отсутствие информации, считает ректор Ярославского государственного медицинского университета, председатель Совета по этике при МЗ РФ Александр Хохлов. По его словам, даже врачи не всегда способны сразу распознать галлюцинацию нейросетей из-за убедительной формы подачи информации, которую они используют.
Эксперт напомнил о таком явлении, как антропоморфизм - склонность пользователя наделять ИИ человеческими качествами. Разработчики нейросетей усиливают этот феномен посредством "живого" голоса, поддерживающих, ободряющих оборотов речи, чтобы сделать общение с ИИ более естественным.
"Врач в силу большой нагрузки может не так нравиться пациенту, как ИИ, который всегда приветлив. Это ведет к манипуляциям и росту приверженности пациента больше нейросети, чем доктору", - заявил Александр Хохлов.
Директор Института персонализированной кардиологии Сеченовского университета Филипп Копылов привел данные исследования Университетского колледжа Лондона (Великобритания), которые были опубликованы в январе этого года.
Когда нейросеть самостоятельно диагностировала заболевание, ее точность достигала 95 процентов, когда же она делала это в процессе общения с пользователем, показатель опускался до 35 процентов. "Это ответ на вопрос, почему нужно иметь медицинское образование, чтобы ставить диагнозы, - подчеркнул Филипп Копылов. - Неподготовленный человек начинает задавать некорректные вопросы, и качество ответов системы радикально снижается".
При очень схожих симптомах нейросети могут дать совершенно разные рекомендации, обнаружили английские исследователи: одному человеку ИИ рекомендовал обратиться за неотложной медицинской помощью (это был корректный ответ), а другому посоветовал полежать в темной комнате.
"Мы рекомендуем разработчикам, политикам и регулирующим органам перед внедрением нейросети тестировать ее с привлечением людей для более качественной оценки ее интерактивных возможностей", - резюмируют авторы исследования.
Тесты в формате "вопрос - ответ" для проверки качества ИИ устаревают, согласен заведующий лабораторией цифрового развития Пироговского центра Олег Пензин. По его мнению, необходим подход, который был бы ближе к реальной клинической практике, учитывал темперамент пациента (и такие отечественные разработки уже есть).
Снизить риски до минимума
Нейтрализовать риски, сопровождающие применение ИИ по вопросам поддержания здоровья, должен отраслевой этический кодекс. Его проект, в основу которого положена редакция Минздрава России, готов. В ближайшее время его опубликуют для обсуждения.
"Вопросы этики должны быть заложены в идеологию системы на этапе ее разработки", - подчеркивает главный внештатный специалист по информационным системам в здравоохранении Минздрава России Татьяна Зарубина.
Стоит задуматься и об изменении регуляторики. Сегодня программные решения на базе ИИ, ориентированные на врачей, проходят регистрацию в качестве медицинского изделия в Росздравнадзоре. У регулятора есть возможность приостанавливать их применение в случае выявления критических отклонений в работе. Таким же образом должны регистрироваться и сервисы для пациентов с использованием технологий ИИ, убежден заместитель директора по научной работе Центра диагностики и телемедицины ДЗМ Антон Владзимирский. Он проводит параллель с тонометром для измерения артериального давления. Его пациенты могут использовать самостоятельно, но по закону он обязан иметь регистрационное удостоверение.
Этот подход поддерживает эксперт по искусственному интеллекту ЦНИИ организации и информатизации здравоохранения Минздрава России Александр Гусев: целесообразно регистрировать пациентские ИИ-сервисы в качестве медицинских изделий, потому что при их использовании возникают риски потенциального вреда.
"То, что мы должны разрабатывать ИИ не только для руководителей клиник и врачей, но и для пациентов, обсуждается несколько лет, но сама технология до недавних пор была дорогой, требовала длительного тестирования. Благодаря развитию генеративного искусственного интеллекта сегодня это можно делать быстро и качественно", - объясняет Александр Гусев.
Наряду с этическим и правовым регулированием следует усилить просвещение населения.
"Важно рассказывать о рисках самодиагностики и самолечения с помощью ИИ и передачи медицинских данных в открытые сервисы, - полагает генеральный секретарь Ассоциации "Российское общество специалистов медицинского образования", директор Института подготовки специалистов медицинского образования Российской медицинской академии непрерывного профессионального образования Минздрава России Залим Балкизов. - Люди должны понимать, что конфиденциальность не всегда гарантирована".
Все эти вопросы, вероятно, станут предметом внимания новой Комиссии при президенте РФ по вопросам развития технологий искусственного интеллекта, которая создана в феврале этого года. В числе ее основных задач - разработка подходов, обеспечивающих адаптацию социальной сферы к активному использованию технологий ИИ, определение основных направлений совершенствования правового регулирования деятельности по созданию, развитию и внедрению технологий ИИ, анализ основных рисков и угроз и их нейтрализация, координация деятельности по совершенствованию системы образования, в том числе посредством активного использования ИИ в учебном процессе. До 1 июля регионам рекомендовано создать межведомственные комиссии с аналогичными задачами под руководством глав субъектов РФ.