Васильев Юрий Александрович – канд. мед. наук, директор ГБУЗ города Москвы “Научно-практический клинический центр диагностики и телемедицинских технологий ДЗ города Москвы”, Москва
Yuri A. Vasiliev – Cand. of Sci. (Med.), Director of the Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Healthcare Department, Moscow
Владзимирский Антон Вячеславович – доктор мед. наук, профессор, заместитель директора по научной работе ГБУЗ города Москвы “Научно-практический клинический центр диагностики и телемедицинских технологий ДЗ города Москвы”, Москва
Anton V. Vladzymyrskyy – Doct. of Sci. (Med.), Deputy Director of the Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Healthcare Department, Moscow
Омелянская Ольга Васильевна – руководитель по управлению подразделениями Дирекции наука ГБУЗ города Москвы “Научно-практический клинический центр диагностики и телемедицинских технологий ДЗ города Москвы”, Москва
Olga V. Omelyanskaya – Head of Division Management, Science of the Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Healthcare Department, Moscow
Решетников Роман Владимирович – канд. физ.-мат. наук, руководитель отдела научных медицинских исследований ГБУЗ города Москвы “Научно-практический клинический центр диагностики и телемедицинских технологий ДЗ города Москвы”, Москва
Roman V. Reshetnikov – Cand. of Sci. (Phys.-Math.), Head of Scientific Medical Research Department of the Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Healthcare Department, Moscow
Блохин Иван Андреевич – начальник сектора исследований в лучевой диагностике ГБУЗ города Москвы “Научно-практический клинический центр диагностики и телемедицинских технологий ДЗ города Москвы”, Москва
Ivan A. Blokhin – Head of Research Sector in Diagnostic Radiology of the Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Healthcare Department, Moscow
Коденко Мария Романовна – младший научный сотрудник ГБУЗ города Москвы “Научно-практический клинический центр диагностики и телемедицинских технологий ДЗ города Москвы”, Москва
Maria R. Kodenko – Junior researcher of the Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Healthcare Department, Moscow
Нанова Ольга Геннадьевна – канд. биол. наук, ведущий научный сотрудник ГБУЗ города Москвы “Научно-практический клинический центр диагностики и телемедицинских технологий ДЗ города Москвы”, Москва
Olga G. Nanova – Cand. of Sci. (Biol.), Leading researcher of the Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Healthcare Department, Moscow
Введение. Искусственный интеллект (ИИ) – эффективный инструмент автоматизации рутинных процедур в лучевой диагностике. Вопрос диагностической точности алгоритмов ИИ в обнаружении различных патологий на данных лучевых исследований вызывает большой интерес у научного сообщества: число работ постоянно растет, появляются метаанализы, посвященные данной тематике. В связи с большим числом публикуемых результатов и их разнообразием возникает необходимость в систематизации данных.
Цель исследования: зонтичный систематический обзор современных метаанализов применения ИИ в лучевой диагностике.
Материал и методы. Поиск англоязычных статей осуществлялся в базе PubMed. Для полнотекстового анализа было отобрано 38 систематических обзоров с метаанализами 2021–2023 гг. Извлеченные данные включали: цель, дизайн, модальность лучевых исследований, объем выборок, показатели качества включенных работ, показатели диагностической точности ИИ, параметры референтной методики, показатели клинической эффективности внедрения алгоритма ИИ. Методологическое качество включенных систематических обзоров было оценено с помощью инструмента AMSTAR-2.
Результаты. Почти половина (47%) всех включенных метаанализов посвящена диагностике, стадированию и сегментации злокачественных новообразований. Четыре метаанализа выполнены в области стоматологии и посвящены детекции челюстно-лицевых структур, еще 4 метаанализа посвящены диагностике поражений мозга. По 3 метаанализа были посвящены диагностике COVID-19 и диагностике переломов. По одному метаанализу выполнено в области диагностики следующих патологий: колоректальные полипы, пневмоторакс, легочная эмболия, остеопороз, аневризмы, рассеянный склероз, острое нарушение мозгового кровообращения, внутричерепное кровоизлияние, ожоги, риск задержки внутриутробного развития. В 35 (92%) метаанализах проведена оценка риска систематической ошибки. Основной инструмент для оценки рисков – QUADAS-2, его использовали в 28 (80%) мет-анализах. Из 28 метаанализов риск систематической ошибки оценен как низкий в 14 (50%) обзорах, как средний – в 4 (14%), как высокий – в 10 (36%). Основные риски обусловлены несбалансированностью выборок по объему и составу, недостаточно подробным описанием использованных методик, малым числом проспектовых исследований и исследований с внешней валидацией данных. Обобщенные результаты свидетельствуют о том, что диагностическая точность ИИ сопоставима с диагностической точностью врачей, а иногда превосходит ее. Средние значения чувствительности, специфичности и площадь под ROC-кривой для ИИ и врачей составляют 85,2, 89,5, 93,5 и 84,4, 90,0, 92,8% соответственно. Впрочем, во многих исследованиях, сопоставляющих диагностическую точность ИИ и врачей, наблюдается недостаток информации по числу и опыту врачей, которые выступили в роли референс-теста. Результаты внедрения ИИ в диагностическую практику приводятся только в одном метаанализе.
Обсуждение. ИИ способен сократить время рентгенологического описания при несрочных обследованиях. В качестве инструмента верификации первичной врачебной классификации исследования ИИ эффективно выявлял ложноотрицательные результаты рентгенологов, но при этом эффективность выявления ложноположительных результатов оказалась неудовлетворительной. По результатам оценки качества систематических обзоров по AMSTAR-2 показано, что методики поиска, отбора и анализа литературы нуждаются в стандартизации и улучшении. Также необходима разработка специализированного инструмента для оценки качества систематических обзоров в области использования ИИ. В настоящее время ИИ является многообещающим инструментом оптимизации описания исследований лучевой диагностики благодаря высоким показателям диагностической точности. Однако необходимы дополнительные исследования по внедрению ИИ в клиническую практику. Также необходимы повышение качества методологии исследований и ее стандартизация.
Introduction. Artificial intelligence (AI) is an effective tool for automating routine tasks in radiology. The diagnostic accuracy of AI in detecting various pathologies on medical images has generated considerable interest in the scientific community: the number of studies and meta-analyses has been constantly growing. The abundance of published evidence and the diversity of outcomes necessitate the need to systematize the available publications. The aim of this paper is to conduct an umbrella systematic review of contemporary meta-analyses on the use of AI in radiology.
Materials and methods. PubMed was searched for studies published in the English language. Thirty-eight systematic reviews with meta-analyses published between 2021 and 2023 were selected for full-text analysis. The extracted data included the goal, study design, imaging modality, sample size, quality assessment of the included studies, AI diagnostic accuracy estimates, reference method parameters, and clinical efficacy metrics of AI implementation. The methodological quality of included systematic reviews was assessed using the AMSTAR-2 tool.
Results. Nearly half (47%) of the included meta-analyses focused on the diagnosis, staging and segmentation of malignancies. Four meta-analyses were related to detection of maxillofacial structures in dentistry, while another four meta-analyses addressed the diagnosis of brain lesions. The diagnosis of COVID-19 and the diagnosis of bone fractures were each covered in three meta-analyses. One meta-analysis was reviewed for each of the following fields: colorectal polyps, pneumothorax, pulmonary embolism, osteoporosis, aneurysms, multiple sclerosis, acute cerebrovascular accident, intracranial hemorrhage, burns, and the risk of intrauterine growth restriction. Thirty-five (92%) meta-analyses assessed the risk of bias. Twenty-eight (80%) meta-analyses utilized QUADAS-2 to assess the risk of bias. 14 out of 28 papers reported low risk of bias (50%); 4 (14%) – moderate; 10 (36%) – high. The major risks were associated with samples that were unbalanced in terms of size and composition, a lack of details about the methods, a low number of prospective studies, and a lack of external validation of the outcomes. The overall results indicate that the diagnostic accuracy of AI is comparable to or even greater than that of radiologists. The mean sensitivity, specificity and area under the ROC curve for AI and radiologists were 85.2%, 89.5%, 93.5% and 84.4%, 90.0%, 92.8%, respectively. However, many studies that compared the diagnostic accuracy of AI and radiologists lack the data on the number and experience of the latter. Only one paper presented results of implementing AI into routine clinical diagnosis.
Discussion. AI is capable of reducing the turnaround time for non-urgent examinations. When used to verify the primary interpretation, AI was effective in detecting false-negative results from radiologists. However, the efficacy of detecting false-positive results was inadequate. Our assessment of the quality of systematic reviews with AMSTAR-2 show that the methods of searching, selecting and analyzing literature must be improved and brought to a common standard. The development of a specialized tool for assessing the quality of systematic reviews in the AI implementation is also necessary. Due to high diagnostic accuracy, AI is currently considered a promising tool for optimizing the turnaround time. However, more evidence is needed to study the AI outcomes in routine clinical practice. Furthermore, it is necessary to standardize and improve the quality of research methodology.
The authors declare that there are no conflicts of interest present.