Ученые с помощью больших языковых моделей проанализировали 4,1 миллиона отзывов пациентов о 226 999 американских врачах. Исходный массив был еще больше - 8,69 млн отзывов о 587 562 специалистах, собранных на четырех крупных платформах: Healthgrades, Vitals, RateMDs и Yelp.
На основе текстов ИИ оценивал 10 характеристик врачей. Пять из них - это классическая модель "Большой пятерки" требований (открытость новому, добросовестность, экстраверсия, доброжелательность и эмоциональная стабильность). Еще пять отражали непосредственно восприятие врача пациентами - качество общения, клиническую компетентность, внимание к потребностям пациента и результатам лечения, а также признаки доверия.
Авторы специально подчеркивают: речь идет не о реальных качествах врача, а исключительно о том, каким он выглядит в отзывах пациентов.
Результат оказался предсказуемо тревожным. Врачи-мужчины получили более высокие оценки по всем десяти характеристикам. Самый большой разрыв зафиксирован в восприятии ключевого профессионального качества - клинической компетентности, именно по этой характеристике пациенты (и вслед за ними искусственный интеллект) сильнее всего недооценивают врачей женского пола. Но значительные различия также были обнаружены и по оценкам качеств, которые, казалось бы, в большей степени должны быть свойственны именно женщинам: в оценке внимания к пациентам и результатам лечения, эмоциональной стабильности и показателях доверия.
Оценки заметно различались между медицинскими направлениями. Хирурги и диагносты-радиологи получили одни из самых высоких результатов по большинству характеристик. А вот врачи экстренной медицины и психиатры оказались в аутсайдерах. Исследователи связывают это с условиями работы: экстренная медицина предполагает короткие контакты в условиях острого стресса, а на оценку психиатров влияет стигматизация психических расстройств - пациенты часто не желают соглашаться с врачом относительно диагноза.
Главный вывод исследования тревожный: пациенты все чаще используют языковые модели для поиска врачей и обобщения отзывов о них, но доверять такой анализ ИИ рискованно. Если ИИ обучается на текстах, пропитанных гендерными стереотипами, он будет их воспроизводить. В результате хороший врач-женщина может получить менее благоприятную характеристику не из-за качества работы, а из-за особенностей того, как пациенты оценивают женщин и мужчин.
Поэтому ученые считают преждевременным использовать такие ИИ-профили при найме, аттестации, оценке эффективности, а также страховании врачей.
А как у нас в России?
Проблема объективности онлайн-отзывов о врачах актуальна и в нашей стране. В 2023 году опрос Аналитического центра Vademecum и платформы "Врачи РФ" среди 1030 российских медиков показал: около 70% сталкивались с негативными отзывами, которые считали необоснованными, а 66% называли отзывы о своей работе в целом необъективными. Половина респондентов отмечали, что негативные комментарии затрагивали не только профессиональные, но и личные качества врача.
Так что проблема - не американская, а глобальная. И с развитием ИИ-сервисов для поиска врачей она может только обостриться.