В рамках московского эксперимента по использованию компьютерного зрения в лучевой диагностике в открытом доступе размещен рейтинг сервисов на основе искусственного интеллекта, которые применяются в системе городского здравоохранения. Первый список лучших решений в области инновационных технологий опубликован на сайте эксперимента и будет ежемесячно обновляться. Об этом сообщила заммэра Москвы по вопросам социального развития Анастасия Ракова. Она рассказала:
"Мы подготовили список лучших решений эксперимента по исследованию компьютерного зрения в лучевой диагностике. Публикация рейтинга в открытом доступе поможет стимулировать конкуренцию между разработчиками искусственного интеллекта для развития перспективных технологий и объективно оценивать существующие решения, например, перед внедрением в систему здравоохранения других регионов. Также использовать данные рейтинга смогут сами пациенты за рамками эксперимента: многие разработчики разрешают пользователям загружать свои исследования для получения второго мнения от ИИ-сервиса, а независимое сравнение поможет им адекватно относиться к полученным результатам".
Инициатором появления публичного рейтинга выступил Московский центр диагностики и телемедицины, который занимается организацией эксперимента.
Для оценки результатов работы искусственного интеллекта в области медицины во всем мире используется методика, учитывающая три основных параметра: чувствительность, специфичность и диагностическую точность сервиса. По мнению московских специалистов, этих метрик недостаточно для комплексной оценки решений. Столичные эксперты из разных медицинских организаций, опираясь на накопленный за время эксперимента опыт, дополнили существующие параметры измерения качества сервисов компьютерного зрения для формирования шкалы оценки. Задачи эксперимента предполагают не только оценку определенного сервиса, но и его адаптивность к единой городской информационной системе и возможности работать с большими потоками исследований. Поэтому в перспективе шкала оценки может быть полезна и всему мировому научному сообществу для масштабирования полученных результатов и внедрения эволюционирующих ИИ-алгоритмов.
Новая методика оценки искусственного интеллекта включает сравнение результатов сервиса с протоколами рентгенологов, согласие врача с локализацией патологических находок, удельный вес исследований без дефектов и скорость обработки данных. Часть параметров оценивается автоматически, другую вручную проверяет группа из врачей-экспертов Центра диагностики и телемедицины. За каждый критерий сервис получает определенное количество баллов, которые складываются в итоговую оценку.
Сервисы для автоматического анализа лучевых исследований тестируются в системе городского здравоохранения с весны 2020 года. Решения на основе искусственного интеллекта подключаются к системе, объединяющей все отделения лучевой диагностики московских поликлиник и больниц - Единому радиологическому информационному сервису (ЕРИС ЕМИАС). В рамках эксперимента организована "воронка" интеллектуальных алгоритмов - правила отбора, тестирования, апробации и ввода в опытную эксплуатацию сервисов на базе искусственного интеллекта с целью применения в клинической практике наиболее качественных решений. Сейчас к основному контуру системы, которую используют в работе все врачи-рентгенологи городских медицинских учреждений, подключены 19 сервисов для диагностики онкологических заболеваний легких и молочных желез, COVID-19, других патологий органов грудной клетки, в том числе остеопороза, ишемической болезни сердца.