medvisМедицинская визуализацияMedical Visualization1607-07632408-9516RDS-Media Ltd.10.24835/1607-0763-1508medvis-1508Research ArticleТЕХНОЛОГИИ ЛУЧЕВОЙ ДИАГНОСТИКИRADIOLOGICAL TECHNOLOGIESПрименение ROC-анализа для оценки результатов работы систем поддержки принятия врачебных решений на примере цифровых маммографических изображенийROC analysis for clinical decision support systems (CDSS) results in digital mammography imageshttps://orcid.org/0009-0001-1381-0809ХрустачеваМ. Ю.KhrustachevaM. Yu.

Хрустачева Маргарита Юрьевна – аспирант ГБУЗ “Научно-практический клинический центр диагностики и телемедицинских технологий ДЗ города Москвы”; врач-рентгенолог ГБУЗ “Московский многопрофильный клинический центр «Коммунарка»” ДЗ города Москвы, Москваhttp://orcid.org/0009-0001-1381-0809 

Margarita Yu. Khrustacheva – graduate student, Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of Moscow Healthcare Department; radiologist of Moscow Clinical Center “Kommunarka” of Moscow Healthcare Department, Moscowhttp://orcid.org/0009-0001-1381-0809

myukhrustacheva@mail.ruhttps://orcid.org/0000-0002-5283-5961ВасильевЮ. А.VasilevYu. A.

Васильев Юрий Александрович – канд. мед. наук, директор ГБУЗ “Научно-практический клинический центр диагностики и телемедицинских технологий ДЗ города Москвы”; главный внештатный специалист по лучевой диагностике, Москваhttp://orcid.org/0000-0002-5283-5961

Yuri A. Vasiliev – Cand. of Sci. (Med.), Director of the Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Healthcare Department; Chief specialist in radiation diagnostics, Moscowhttp://orcid.org/0000-0002-5283-5961

npcmr@zdrav.mos.ruhttps://orcid.org/0000-0002-0041-3281ПамоваА. П.PamovaA. P.

Памова Анастасия Петровна – канд. мед. наук, начальник сектора разработки систем внедрения медицинских интеллектуальных технологий отдела медицинской информатики, радиомики и радиогеномики ГБУЗ “Научно-практический клинический центр диагностики и телемедицинских технологий ДЗ города Москвы”, Москваhttp://orcid.org/0000-0002-0041-3281

Anastasia P. Pamova – Cand. of Sci. (Med.), Head of Medical Intelligent Technologies Integration Sector of the Department of Medical Informatics, Radiomics, and Radiogenomics, the Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department, Moscowhttp://orcid.org/0000-0002-0041-3281

PamovaAP@zdrav.mos.ruhttps://orcid.org/0000-0001-7786-0349АрзамасовК. М.ArzamasovK. M.

Арзамасов Кирилл Михайлович – канд. мед. наук, руководитель отдела медицинской информатики, радиомики и радиогеномики ГБУЗ “Научно-практический клинический центр диагностики и телемедицинских технологий ДЗ города Москвы”; доцент кафедры технологий искусственного интеллекта ФГБОУ ВО “МИРЭА – Российский технологический университет”, Москваhttp://orcid.org/0000-0001-7786-0349

Kirill M. Arzamasov – Cand. of Sci. (Med.), Head of the Department of Medical Informatics, Radiomics, and Radiogenomics of the Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department; Associate Professor of the Department of Artificial Intelligence Technologies, MIREA – Russian Technological University, Moscowhttp://orcid.org/0000-0001-7786-0349

ArzamasovKM@zdrav.mos.ruГБУЗ “Научно-практический клинический центр диагностики и телемедицинских технологий ДЗ города Москвы”; ГБУЗ “Московский многопрофильный клинический центр «Коммунарка»” ДЗ города МосквыRussian FederationГБУЗ “Научно-практический клинический центр диагностики и телемедицинских технологий ДЗ города Москвы”Russian FederationГБУЗ “Научно-практический клинический центр диагностики и телемедицинских технологий ДЗ города Москвы”; ФГБОУ ВО “МИРЭА – Российский технологический университет” (РТУ МИРЭА)Russian Federation2025180920252938090Copyright © Хрустачева М.Ю., Васильев Ю.А., Памова А.П., Арзамасов К.М., 20252025Хрустачева М.Ю., Васильев Ю.А., Памова А.П., Арзамасов К.М.Khrustacheva M.Y., Vasilev Y.A., Pamova A.P., Arzamasov K.M.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://medvis.rdsmedia.ru/jour/article/view/1508

В настоящее время идет активное внедрение искусственного интеллекта (ИИ), а также систем поддержки принятия врачебных решений (СППВР) в здравоохранение. Лучевая диагностика занимает лидирующие позиции по использованию подобных технологий. В представленной работе описан метод оценки эффективности работы СППВР, в том числе программного обеспечения (ПО) на основе технологий искусственного интеллекта (ПО на основе ТИИ), подходящий любой медицинской организации, перед которой стоит задача оценки применимости подобного ПО.

Цель исследования

Цель исследования: наглядно продемонстрировать применение веб-инструмента для ROC-анализа для оценки результатов работы СППВР на примере цифровых маммографических изображений.

Материал и методы

Материал и методы. Был использован ретроспективный набор данных маммографических исследований с результатами отчета калибровочного тестирования при смене версионности одного из сервисов ИИ, участника Московского эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения этих технологий в системе здравоохранения. Версии ИИ-сервиса от 15.02.2023 и 30.05.2023. Объем выборки – 100 исследований. В данной публикации для оценки результатов работы ИИ-сервиса использован ROC-анализ, который был реализован с помощью веб-инструмента для ROC-анализа.

Результаты

Результаты. Продемонстрирована работа веб-инструмента для ROC-анализа на примере оценки результатов работы ПО на основе ТИИ для обработки цифровых маммографических изображений.

Заключение

Заключение. Благодаря использованию представленного веб-инструмента для ROC анализа при необходимости может быть реализована проверка любой СППВР, в том числе ПО на основе ТИИ, а также оценка его производительности без применения дополнительных инструментов.

Artificial intelligence and clinical decision support systems (CDSS) are being actively implemented in healthcare. Radiology is at the forefront of the use of such technologies. In this article, we describe a method for evaluating the performance of CDSS, including software based on artificial intelligence technologies (AI-based software), which is suitable for any medical organization that needs to assess the applicability of such software.

Purpose

Purpose: The purpose of this study is to demonstrate the use of a web-based ROC analysis tool for evaluating the performance of clinical decision support systems (CDSS) using digital mammography images as an example.

Materials and methods

Materials and methods: A retrospective dataset of mammography studies was used, based on the results of the calibration test report during the version change of one of the AI service participating in the Experiment on the use of innovative computer vision technologies for medical image analysis and subsequent applicability in the healthcare system of Moscow, with versions of the AI service dated 15.02.2023 and 30.05.2023. The sample size consisted of 100 trials. In this publication, ROC analysis implemented using a web-based tool will be used to evaluate the results of the AI service.

Results

Results: The functionality of a web-based tool for ROC analysis was demonstrated using the example of evaluating the performance of AI-based software for processing digital mammography images.

Conclusion

Conclusion: By using the presented web-based ROC analysis tool, the verification of СDSS, including AI-based software, as well as the assessment of its performance, can be performed without the need for additional tools if necessary.

лучевая диагностикаискусственный интеллектмаммографияROC-криваячувствительностьспецифичностьсистемы поддержки принятия врачебных решенийAUCX-raysmammographyROC curvesensitivity and specificityclinical decision support systemsAUCДанная статья подготовлена авторским коллективом в рамках НИОКР «Разработка платформы повышения качества ИИ-Сервисов для медицинской диагностики» (№ ЕГИСУ: 123031400006-0) в соответствии с Приказом от 21.12.2022 г. № 1196 «Об утверждении государственных заданий, финансовое обеспечение которых осуществляется за счет средств бюджета города Москвы государственным бюджетным (автономным) учреждениям подведомственным Департаменту здравоохранения города Москвы, на 2023 год и плановый период 2024 и 2025 годов» Департамента здравоохранения города Москвы.Авторы данной публикации выражают свою глубокую благодарность Омелянской Ольге Васильевне за оказанную организационную поддержку, без которой проведение нашего эксперимента было бы невозможно. Также мы хотим выразить признательность Татьяне Михайловне Бобровской за предоставление набора данных, использованного в ходе этого исследования. Искреннюю благодарность выражаем Кирпичёву Юрию Сергеевичу за его значительную помощь в работе с инструментом ROC-анализа.This paper was prepared by a team of authors as a part of the research and development project "Development of a platform for improving quality of AI services for medical diagnostics" (EGISU No.: 123031400006-0)ReferencesЧетвериков С.Ф., Арзамасов К.М., Андрейченко А.Е. Подходы к формированию выборки для контроля качества работы систем искусственного интеллекта в медико-биологических исследованиях. Современные технологии в медицине. 2023; 2: 19–27.Chetverikov S.F., Arzamasov K.M., Andreichenko A.E. et al. Approaches to sampling for quality control of artificial intelligence in biomedical research. Sovremennye tehnologii v medicine. 2023; 2: 19–27. https://doi.org/10.17691/stm2023.15.2.02 (In Russian)Говорухина В.Г., Семенов С.С., Гележе П.Б., Диденко В.В., Морозов С.П., Андрейченко А.Е. Роль маммографии в радиомике рака молочной железы. Digital Diagnostics. 2021; 2 (2): 185−199. https://doi.org/10.17816/DD70479Govorukhina V.G., Semenov S.S., Gelezhe P.B. et al. The role of mammography in breast cancer radiomics. Digital Diagnostics. 2021; 2 (2): 185−199. https://doi.org/10.17816/DD70479 (In Russian)Алексеева М.Г., Зубов А.И., Новиков М.Ю. Искусственный интеллект в медицине. Международный научно-исследовательский журнал. 2022; 7: 10−13. https://doi.org/10.23670/IRJ.2022.121.7.038Alekseeva M.G., Zubov A.I., Novikov M.Yu. Artificial intelligence in medicine. International Research Journal. 2022; 7: 10−13. https://doi.org/10.23670/IRJ.2022.121.7.038 (In Russian)Ройтберг П.Г., Блинов Д.С., Черемисин В.М. Технологии искусственного интеллекта в автоматизации выполнения стандартных задач врача-рентгенолога. Проблемы стандартизации в здравоохранении. 2020; 9 (10): 29−33. https://doi.org/10.26347/1607-2502202009-10029-033Roitberg PG, Blinov DS, Cheremisin VM. Integrating AI technologies in radiology workflows. Health Care Standardization Problems. 2020; 9 (10): 29−33. https://doi.org/10.26347/1607-2502202009-10029-033 (In Russian)Rodriguez-Ruiz A., Lang K., Gubern-Merida A. et al. Stand-Alone Artificial Intelligence for Breast Cancer Detection in Mammography: Comparison With 101 Radiologists. J. Natl. Cancer Inst. 2019; 111 (9): 916−922. https://doi.org/10.1093/jnci/djy222Rodriguez-Ruiz A., Lang K., Gubern-Merida A. et al. Stand-Alone Artificial Intelligence for Breast Cancer Detection in Mammography: Comparison With 101 Radiologists. J. Natl. Cancer Inst. 2019; 111 (9): 916−922. https://doi.org/10.1093/jnci/djy222Шарова Д.Е., Зинченко В.В., Ахмад Е.С., Мокиенко О.А., Владзимирский А.В., Морозов С.П. К вопросу об этических аспектах внедрения систем искусственного интеллекта в здравоохранении. Digital Diagnostics. 2021; 3: 356−368.Sharova D.S., Zinchenko V.V, Akhmad E.S. et al. On the issue of ethical aspects of the artificial intelligence systems implementation in healthcare. Digital Diagnostics. 2021; 3: 356−368. https://doi.org/10.17816/DD77446 (In Russian)Морозов С.П., Владзимирский А.В., Гомболевский В.А., Кляшторный В.Г., Федулова И.А., Власенков Л.А. Искусственный интеллект в скрининге рака легкого: оценка диагностической точности алгоритма для анализа низкодозовых компьютерных томографий. Туберкулез и болезни легких. 2020; 8: 24−31.Morozov S.P., Vladzimirskiy А.V., Gombolevskiy V.А. et al. Artificial intelligence in lung cancer screening: assessment of the diagnostic accuracy of the algorithm analyzing low-dose computed tomography. Tuberculosis and Lung Diseases. 2020; 8: 24−31. https://doi.org/10.21292/2075-1230-2020-98-8-24-31 (In Russian)Васильев Ю.А., Владзимирский А.В., Шарова Д.Е. Клинические испытания систем искусственного интеллекта (лучевая диагностика). В кн.: Лучшие практики лучевой и инструментальной диагностики. 2-е изд., перераб. и доп. М.: ГБУЗ «НПКЦ ДиТ ДЗМ», 2023. 40 с.Vasilev Yu.A., Vladzimirskij A.V., Sharova D.E.. Klinicheskie ispytaniya sistem iskusstvennogo intellekta (luchevaya diagnostika). In: Luchshie praktiki luchevoj i instrumental'noj diagnostiki. 2-e izd., pererab. i dop. M.: “Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department”, 2023. 40 p. (In Russian)Park S.H., Goo J.M., Jo C.H. Receiver Operating Characteristic (ROC) Curve: Practical Review for Radiologists. Korean J. Radiol. 2004; 5 (1): 11−18. https://doi.org/10.3348/kjr.2004.5.1.11Park S.H., Goo J.M., Jo C.H. Receiver Operating Characteristic (ROC) Curve: Practical Review for Radiologists. Korean J. Radiol. 2004; 5 (1): 11−18. https://doi.org/10.3348/kjr.2004.5.1.11Junge M.R., Dettori J.R. ROC Solid: Receiver Operator Characteristic (ROC) Curves as a Foundation for Better Diagnostic Tests. Global Spine J. 2024; 8 (4): 424–429. https://doi.org/10.1177/2192568218778294Junge M.R., Dettori J.R. ROC Solid: Receiver Operator Characteristic (ROC) Curves as a Foundation for Better Diagnostic Tests. Global Spine J. 2024; 8 (4): 424–429. https://doi.org/10.1177/2192568218778294Мирошниченко И.И. Мониторинг эффективности антипсихотической терапии. Психиатрия. 2022; 20: 128−138.Miroshnichenko I.I. Monitoring of the Antipsychotic Therapy Effectiveness. Psychiatry. 2022; 20: 128–138. https://doi.org/10.30629/2618-6667-2022-20-4-128-138 (In Russian)Davis J., Goadrich M. The relationship between Precision-Recall and ROC curves. Proceedings of the 23rd International Conference on Machine Learning. 2006; 6: 233−240. https://doi.org/10.1145/1143844.1143874Davis J., Goadrich M. The relationship between Precision-Recall and ROC curves. Proceedings of the 23rd International Conference on Machine Learning. 2006; 6: 233−240. https://doi.org/10.1145/1143844.1143874Солодкий В.А., Каприн А.Д., Нуднов Н.В. и др. Современные системы поддержки принятия врачебных решений на базе искусственного интеллекта для анализа цифровых маммографических изображений. Вестник рентгенологии и радиологии. 2023; 2: 151−162.Solodkiy V.A., Kaprin A.D., Nudnov N.V. et al. Сontemporary Medical Decision Support Systems Based on Artificial Intelligence for the Analysis of Digital Mammographic Images. Journal of radiology and nuclear medicine. 2023; 2: 151−162. https://doi.org/10.20862/0042-4676-2023-104-2-151-162 (In Russian)Kumar R., Indrayan A. Receiver Operating Characteristic (ROC) Curve for Medical Researchers. Indian pediatr. 2011; 48: 277−287. https://doi.org/10.1007/s13312-011-0055-4Kumar R., Indrayan A. Receiver Operating Characteristic (ROC) Curve for Medical Researchers. Indian pediatr. 2011; 48: 277−287. https://doi.org/10.1007/s13312-011-0055-4Fawcett T. ROC Graphs: Notes and Practical Considerations for Researchers. Machine Learning. 2004; 31: 1−38.Fawcett T. ROC Graphs: Notes and Practical Considerations for Researchers. Machine Learning. 2004; 31: 1−38.Ковалев А.А., Кузнецов Б.К., Ядченко А.А., Игнатенко В.А. Оценка качества бинарного классификатора в научных исследованиях. Проблемы здоровья и экологии. 2020; 4: 105−113.Kovalev A.A., Kuznetsov B.K., Yadchenko A.A., Ignatenko V.A. Assessment of the quality of a binary classifier in research. Health and ecology Issues. 2020; 4: 105–113. (In Russian)Корнеенков А.А., Рязанцев С.В., Вяземская Е.Э. Вычисление и интерпретация показателей информативности диагностических медицинских технологий. Медицинский Совет. 2019; 20: 45−51. https://doi.org/10.21518/2079-701X-2019-20-45-51Korneenkov A.A., Ryazantsev S.V., Vyazemskaya E.E. Calculation and interpretation of indicators of informativeness of diagnostic medical technologies. Medical Council. 2019; 20: 45−51. https://doi.org/10.21518/2079-701X-2019-20-45-51 (In Russian)Electronic resource: Web tool for ROC analysis. https://roc-analysis.mosmed.ai.Electronic resource: Web tool for ROC analysis. https://roc-analysis.mosmed.ai.Efron B., Tibshirani R. The Bootstrap Method for Assessing Statistical Accuracy. Behaviormetrika. 1985; 12: 1–35. https://doi.org/10.2333/bhmk.12.17_1Efron B., Tibshirani R. The Bootstrap Method for Assessing Statistical Accuracy. Behaviormetrika. 1985; 12: 1–35. https://doi.org/10.2333/bhmk.12.17_1Васильев Ю.А., Тыров И.А., Владзимирский А.В., Арзамасов К.М., Шулькин И.М., Кожихина Д.Д. и др. Двойной просмотр результатов маммографии с применением технологий искусственного интеллекта: новая модель организации массовых профилактических исследований. Digital Diagnostics.2023; 2: 93–104.Vasilev Y.A., Tyrov I.A., Vladzymyrskyy A.V. et al. Double-reading mammograms using artificial intelligence technologies: A new model of mass preventive examination organization. Digital Diagnostics. 2023; 2: 93–104. https://doi.org/10.17816/DD321423 (In Russian)

The authors declare that there are no conflicts of interest present.