Бажин Александр Владимирович – канд. мед. наук, заместитель директора по образовательной деятельности ГБУЗ города Москвы “Научно-практический клинический центр диагностики и телемедицинских технологий ДЗ города Москвы”, Москваhttps://orcid.org/0000-0003-3198-1334
Alexander V. Bazhin – Cand. of Sci. (Med.), Deputy Director for Educational Activities, Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department, Moscowhttps://orcid.org/0000-0003-3198-1334
Владзимирский Антон Вячеславович – доктор мед. наук, заместитель директора по научной работе ГБУЗ города Москвы “Научно-практический клинический центр диагностики и телемедицинских технологий ДЗ города Москвы”;профессор кафедры информационных технологий и обработки медицинских данных ФГАОУ ВО Первый Московский государственный медицинский университет имени И.М. Сеченова Минздрава России (Сеченовский Университет), Москваhttps://orcid.org/0000-0002-2990-7736
Anton V. Vladzymyrskyy – Doct. of Sci. (Med.), Deputy Director for Scientific Work, Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department; Professor of the Department of Information Technology and Medical Data Processing, I.M. Sechenov First Moscow State Medical University (Sechenov University), Moscowhttps://orcid.org/0000-0002-2990-7736
Арзамасов Кирилл Михайлович – канд. мед. наук, руководитель отдела ГБУЗ города Москвы “Научно-практический клинический центр диагностики и телемедицинских технологий ДЗ города Москвы”, Москваhttps://orcid.org/0000-0001-7786-0349
Kirill M. Arzamasov – Cand. of Sci. (Med.), Head of the Department, Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department, Moscowhttps://orcid.org/0000-0001-7786-0349
Васильев Юрий Александрович – канд. мед. наук, главный врач ГБУЗ города Москвы “Научно-практический клинический центр диагностики и телемедицинских технологий ДЗ города Москвы”, Москваhttps://orcid.org/0000-0002-5283-5961
Yuriy A. Vasilev – Cand. of Sci. (Med.), Chief Medical Officer, Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department, Moscowhttps://orcid.org/0000-0002-5283-5961
Семенов Серафим Сергеевич – младший научный сотрудник ГБУЗ города Москвы “Научно-практический клинический центр диагностики и телемедицинских технологий ДЗ города Москвы”, Москва
Serafim S. Semenov– Junior Researcher, Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department, Moscowhttps://orcid.org/0000-0003-2585-0864
Цель исследования: изучить диагностическую точность программного обеспечения на основе технологий искусственного интеллекта (ИИ) для диагностики верхнечелюстного и фронтального синусита (J01, J32) при его применении в условиях практического здравоохранения по данным рентгенографии.
Материал и методы. Проведено проспективное диагностическое исследование (10.2023–12.2024) по методологии STARD 2015. Индекс-тест – четыре анонимизированных ИИ-сервиса для анализа рентгенографии околоносовых пазух, интегрированные в ЕРИС ЕМИАС в рамках Московского Эксперимента. Референс-тест – оригинальная методология клинического мониторинга с двойным экспертным пересмотром, оценкой точности по критериям “трактовка” и “локализация”, расчетом чувствительности, специфичности и AUC. После тестирования в контуре ЭРИС ЕМИАС ИИ-сервисы работали с реальными данными, ежемесячно проходили клинический мониторинг.
Результаты. С октября 2023 г. по декабрь 2024 г. ИИ-сервисы проанализировали 126 547 рентгенограмм околоносовых пазух, из них 53% обработал ИИ-сервис-4. Объемы исследований варьировали в связи с разной продолжительностью работы сервисов.
Регулярный клинический мониторинг охватил 2320 рентгенограмм. Оценивалась правильность выявления патологии, точность ее классификации и локализации. Наивысшая диагностическая точность отмечена у ИИ-сервисов-1 и 2 (AUC 0,98 и 0,95; интегральная оценка – 95,1 и 83,3% соответственно). Они продемонстрировали высокую специфичность и точную локализацию патологий.
ИИ-сервисы-3 и 4 показали худшие результаты (AUC 0,89; интегральная оценка – 76,6 и 79,4% соответственно) с более низкой специфичностью у ИИ-сервиса-3 (0,65).
Выводы. В рамках Московского Эксперимента ИИ-сервисы успешно проанализировали 126 547 рентгенограмм околоносовых пазух (2023–2024 гг.), показав средний уровень точности (AUC 0,93) и качества (83,6%). Полученные результаты подтверждают применимость ИИ в клинической практике.
Различия в точности между сервисами требуют регулярного мониторинга безопасности и качества. Разработанные методологии позволяют эффективно проводить такой контроль. Достигнутый уровень качества открывает перспективы трансформации взаимодействия врачей разных специальностей, что станет темой будущих исследований.
Purpose. To study the diagnostic accuracy of software based on artificial intelligence technologies for the diagnosis of maxillary and frontal sinusitis (J01, J32) when used in practical healthcare.
Materials and methods. Prospective diagnostic study (10.2023–12.2024) using the STARD 2015 methodology. The Index Test is four anonymized AI services for analyzing the X-ray imaging of the paranasal sinuses, integrated into Unified Radiological Information Service (ERIS) as part of the Moscow Experiment. The Reference Standard is an original methodology of clinical monitoring with a double expert review, an assessment of accuracy according to the criteria of “interpretation” and “localization”, calculation of sensitivity, specificity and AUC. After testing in the ERIS circuit, the AI services worked with real data and underwent monthly clinical monitoring.
Results. From October 2023 to December 2024, AI services analyzed 126,547 radiographs of the paranasal sinuses, of which 53% were processed by AI service-4. The scope of the research varied due to the different duration of the services.
Regular clinical monitoring covered 2,320 radiographs. The correctness of pathology detection, the accuracy of its classification and localization were evaluated. The highest diagnostic accuracy was found in AI services-1 and 2 (AUC 0.98 and 0.95; integral score – 95.1% and 83.3%). They demonstrated high specificity and precise localization of pathologies.
AI services-3 and 4 demonstrated comparatively lower results (AUC 0.89; integral score – 76.6% and 79.4%), with lower specificity for AI service-3 (0.65).
Conclusions. As part of the Moscow Experiment, AI services successfully analyzed 126,547 radiographs of the paranasal sinuses (2023–2024), showing an average level of accuracy (AUC 0.93) and quality (83.6%). The results obtained confirm the applicability of AI in clinical practice.
Differences in accuracy between services require regular monitoring of safety and quality. The developed methodologies make it possible to effectively carry out such control. The achieved level of quality opens prospects for the transformation of the interaction of doctors of different specialties, which will be the topic of future research.
The authors declare that there are no conflicts of interest present.