medvisМедицинская визуализацияMedical Visualization1607-07632408-9516RDS-Media Ltd.10.24835/1607-0763-1263medvis-1263Research ArticleТЕХНОЛОГИИ ЛУЧЕВОЙ ДИАГНОСТИКИRADIOLOGICAL TECHNOLOGIESРаспознавание областей текста с персональными данными на диагностических изображенияхRecognition of text areas with personal data on diagnostic imageshttps://orcid.org/0000-0001-9481-1637НовикВ. П.NovikV. P.

Новик Владимир Петрович – научный сотрудник отдела медицинской информатики, радиомики и радиогеномики

109029 Москва, Средняя Калитниковская ул., д. 28, стр. 1

Vladimir P. Novik – Researcher of the Department of Medical Informatics, Radiomics and Radiogenomics

24, Petrovka str., Moscow 127051

https://orcid.org/0000-0001-7046-7157КульбергН. С.KulbergN. S.

Кульберг Николай Сергеевич – канд. физ.-мат. наук, старший научный сотрудник Института кибернетики и образовательной информатики

119333 Москва, ул. Вавилова, д. 44, корп. 2

Nicholas S. Kulberg – Cand. of Sci. (Phys.-Math.), Senior Researcher of the Institute of Cybernetics and Educational Informatics

44, Vavilova str., Moscow 125367

https://orcid.org/0000-0001-7786-0349АрзамасовК. М.ArzamasovK. M.

Арзамасов Кирилл Михайлович – канд. мед. наук, руководитель отдела медицинской информатики, радиомики и радиогеномики

109029 Москва, Средняя Калитниковская ул., д. 28, стр. 1

Kirill M. Arzamasov – Cand. of Sci. (Med.), Head of the Department of Medical Informatics, Radiomics and Radiogenomics

24, Petrovka str., Moscow 127051

https://orcid.org/0000-0002-3097-8881ЧетвериковС. Ф.ChetverikovS. F.

Четвериков Сергей Федорович – начальник сектора разработки систем внедрения медицинских интеллектуальных технологий отдела медицинской информатики, радиомики и радиогеномики

109029 Москва, Средняя Калитниковская ул., д. 28, стр. 1

Sergey F. Chetverikov – Head of the Sector for the development of systems for the introduction of medical intelligent technologies of the Department of Medical Informatics, Radiomics and Radiogenomics

24, Petrovka str., Moscow 127051

https://orcid.org/0000-0003-4857-5404ХоружаяА. Н.KhoruzhayaA. N.

Хоружая Анна Николаевна – младший научный сотрудник отдела инновационных технологий

109029 Москва, Средняя Калитниковская ул., д. 28, стр. 1

тел.: +7-977-423-32-78

Anna N. Khoruzhaya – Junior Researcher of the Department of Innovative Technologies

24, Petrovka str., Moscow 127051

phone: +7-977-423-32-78

khoruanna69@yandex.ruhttps://orcid.org/0000-0002-4647-7301КозловД. В.KozlovD. V.

Козлов Дмитрий Владимирович – младший научный сотрудник отдела медицинской информатики, радиомики и радиогеномики

109029 Москва, Средняя Калитниковская ул., д. 28, стр. 1

Dmitriy V. Kozlov – Junior Researcher of the Department of Medical Informatics, Radiomics and Radiogenomics

24, Petrovka str., Moscow 127051

https://orcid.org/0000-0001-9396-6063КремневаЕ. И.KremnevaE. I.

Кремнева Елена Игоревна – канд. мед. наук, ведущий научный сотрудник отдела инновационных технологий ГБУЗ города Москвы “Научно-практический клинический центр диагностики и телемедицинских технологий ДЗ города Москвы”; старший научный сотрудник ФГБНУ “Научный центр неврологии”

109029 Москва, Средняя Калитниковская ул., д. 28, стр. 1125367 Москва, Волоколамское шоссе, д. 80, стр. 1

Elena I. Kremneva – Cand. of Sci. (Med.), Leading Researcher of the Department of Innovative Technologies, Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of Moscow Health Care Department; Senior Researcher, Research center of neurology

24, Petrovka str., Moscow 12705180-1, Volokolamskoye shosse, Moscow 125367

ГБУЗ “Научно-практический клинический центр диагностики и телемедицинских технологий ДЗ города Москвы”РоссияResearch and Practical Clinical Center for Diagnostics and Telemedicine Technologies of Moscow Health Care DepartmentRussian FederationФГУ “Федеральный исследовательский центр “Информатика и управление” Российской академии наук”РоссияFederal Research Center “Computer Science and Control” of the Russian Academy of SciencesRussian FederationГБУЗ “Научно-практический клинический центр диагностики и телемедицинских технологий ДЗ города Москвы”; ФГБНУ “Научный центр неврологии”РоссияResearch and Practical Clinical Center for Diagnostics and Telemedicine Technologies of Moscow Health Care Department; Research center of neurologyRussian Federation202317072023274150158Copyright © Новик В.П., Кульберг Н.С., Арзамасов К.М., Четвериков С.Ф., Хоружая А.Н., Козлов Д.В., Кремнева Е.И., 20232023Новик В.П., Кульберг Н.С., Арзамасов К.М., Четвериков С.Ф., Хоружая А.Н., Козлов Д.В., Кремнева Е.И.Novik V.P., Kulberg N.S., Arzamasov K.M., Chetverikov S.F., Khoruzhaya A.N., Kozlov D.V., Kremneva E.I.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://medvis.rdsmedia.ru/jour/article/view/1263Цель исследования

Цель исследования: разработка метода обнаружения областей текста с приватными данными на медицинских диагностических изображениях при помощи модуля Tesseract и модифицированного расстояния Левенштейна.

Материал и методы

Материал и методы. Для пороговой фильтрации на начальном этапе определяется яркость точек, принадлежащих символам текста на изображениях. Динамический порог вычисляется по гистограмме яркостей пикселей изображения. Далее для первичного распознавания текста используется модуль Tesseract. На основании значений тэгов из DICOM-файлов формировался набор строк для поиска их в распознанном тексте. Для поиска этих строк использовалось модифицированное расстояние Левенштейна. Для тестирования алгоритма применялся набор DICOM файлов типа “Dose Report” модальности CT. Оценку точности проводили эксперты, размечающие блоки приватной информации на изображениях.

Результаты

Результаты. Разработан инструмент с набором метрик и оптимальных порогов для выбора решающих правил в нахождении совпадений, позволяющих обнаруживать области текста с приватными данными на медицинских изображениях. Для этого инструмента определена точность локализации областей с личными данными по сравнению с экспертной разметкой, которая составляет 99,86%.

Заключение

Заключение. Разработанный в рамках настоящего исследования инструмент позволяет выявлять персональные данные на цифровых медицинских изображениях с высокой точностью, что указывает на возможность его практического применения при подготовке наборов данных.

The aim of the study is to develop a method for detecting areas of text with private data on medical diagnostic images using the Tesseract module and the modified Levenshtein distance.

Materials and methods

Materials and methods. For threshold filtering, the brightness of the points belonging to the text characters in the images is determined at the initial stage. The dynamic threshold is calculated from the histogram of the brightness of the pixels of the image. Next, the Tesseract module is used for primary text recognition. Based on the tag values from DICOM files, a set of strings was formed to search for them in the recognized text. A modified Levenshtein distance was used to search for these strings. A set of DICOM files of the “Dose Report” type was used to test the algorithm. The accuracy was assessed by experts marking up blocks of private information on images.

Results

Results. A tool has been developed with a set of metrics and optimal thresholds for choosing decisive rules in finding matches that allow detecting areas of text with private data on medical images. For this tool, the accuracy of localization of areas with personal data on a set of 1131 medical images was determined in comparison with expert markup, which is 99.86%.

Conclusion

Conclusion. The tool developed within the framework of this study allows identifying personal data on digital medical images with high accuracy, which indicates the possibility of its practical application in the preparation of data sets.

оптическое распознавание текстамедицинские изображениясвёрточные нейронные сетиTesseractанонимизация данныхDICOMoptical character recognition (OCR)medical imagesconvolutional neural networksTesseractDICOMdata anonymizationПубликация подготовлена при поддержке гранта Российского научного фонда № 22-25-20231, https://rscf.ru/project/22-25-20231/.Referencesdicomstandard.org [Internet]. Dicom standard: Current Edition [cited 2022 Aug 27]. Available from: https://www.dicomstandard.org/current.dicomstandard.org [Internet]. Dicom standard: Current Edition [cited 2022 Aug 27]. Available from: https://www.dicomstandard.org/current.Aryanto K.Y.E., Oudkerk M., van Ooijen P.M.A. Free dicom de-identification tools in clinical research: functioning and safety of patient privacy. Eur. Radiol. 2015; 25 (12): 3685–3695. http://doi.org/10.1007/s00330-015-3794-0Aryanto K.Y.E., Oudkerk M., van Ooijen P.M.A. Free dicom de-identification tools in clinical research: functioning and safety of patient privacy. Eur. Radiol. 2015; 25 (12): 3685–3695. http://doi.org/10.1007/s00330-015-3794-0Daye D., Wiggins W.F., Lungren M.P. et al. Implementation of Clinical Artificial Intelligence in Radiology: Who Decides and How? Special Rep. Radiol. 2022; 305 (1): E62. http://doi.org/10.1148/radiol.229021Daye D., Wiggins W.F., Lungren M.P. et al. Implementation of Clinical Artificial Intelligence in Radiology: Who Decides and How? Special Rep. Radiol. 2022; 305 (1): E62. http://doi.org/10.1148/radiol.229021dclunie.com [Internet]. David Clunie's Medical Image Format Site: Dicomcleaner [cited 2022 Aug 23]. Available from: http://www.dclunie.com.dclunie.com [Internet]. David Clunie's Medical Image Format Site: Dicomcleaner [cited 2022 Aug 23]. Available from: http://www.dclunie.com.Cook T.S., Zimmerman S.L., Steingall S.R. et al. Radiance: An automated, enterprise-wide solution for archiving and reporting ct radiation dose estimates. Radiographics. 2011; 31 (7): 1833–1846. http://doi.org/10.1148/rg.317115048Cook T.S., Zimmerman S.L., Steingall S.R. et al. Radiance: An automated, enterprise-wide solution for archiving and reporting ct radiation dose estimates. Radiographics. 2011; 31 (7): 1833–1846. http://doi.org/10.1148/rg.317115048Vcelak P., Kryl M., Kratochvil M., Kleckova J. Identification and classification of dicom files with burned-in text content. Int. J. Med. Inform. 2019; 126: 128–137. http://doi.org/10.1016/j.ijmedinf.2019.02.011.Vcelak P., Kryl M., Kratochvil M., Kleckova J. Identification and classification of dicom files with burned-in text content. Int. J. Med. Inform. 2019; 126: 128–137. http://doi.org/10.1016/j.ijmedinf.2019.02.011.Monteiro E., Costa C., Oliveira J.L. A de-identification pipeline for ultrasound medical images in dicom format. J. Med. Syst. 2017; 41 (5): 89. http://doi.org/10.1007/s10916-017-0736-1.Monteiro E., Costa C., Oliveira J.L. A de-identification pipeline for ultrasound medical images in dicom format. J. Med. Syst. 2017; 41 (5): 89. http://doi.org/10.1007/s10916-017-0736-1.Kin G., Tsui W., Chan T. Automatic selective removal of embedded patient information from image content of dicom files. Am. J. Roentgenol. 2012; 198 (4): 769–772. http://doi.org/10.2214/AJR.10.6352Kin G., Tsui W., Chan T. Automatic selective removal of embedded patient information from image content of dicom files. Am. J. Roentgenol. 2012; 198 (4): 769–772. http://doi.org/10.2214/AJR.10.6352Smith R. An overview of the Tesseract OCR engine. Proc. in Int. Conference on Document Analysis and Recognition (ICDAR). 2007; 629–633. http://doi.org/10.1109/ICDAR.2007.56Smith R. An overview of the Tesseract OCR engine. Proc. in Int. Conference on Document Analysis and Recognition (ICDAR). 2007; 629–633. http://doi.org/10.1109/ICDAR.2007.56Левенштейн В. Двоичные коды с исправлением выпадений, вставок и замещений символов. Доклады АН СССР. 1965; 163: 845–848.Levenshteyn V. Binary codes with correction of dropouts, inserts and substitutions of characters. Doklady USSR Academy of Sciences. 1965; 163: 845–848. (In Russian)Schulz K., Mihov S. Fast string correction with levenshtein automata. IJDAR. 2002; 5: 67–85. http://doi.org/10.1007/s10032-002-0082-8Schulz K., Mihov S. Fast string correction with levenshtein automata. IJDAR. 2002; 5: 67–85. http://doi.org/10.1007/s10032-002-0082-8github.com [Internet]. Center of Diagnostics and Telemedicine. Find Anomalies in Tomography. Medical images markup system [cited 2022 Aug 3]. Available from: https://github.com/Center-of-Diagnostics-andTelemedicine/FAnTom.github.com [Internet]. Center of Diagnostics and Telemedicine. Find Anomalies in Tomography. Medical images markup system [cited 2022 Aug 3]. Available from: https://github.com/Center-of-Diagnostics-andTelemedicine/FAnTom.Mason D. SU-E-T-33: Pydicom: An Open Source DICOM Library. Medical Physics. 2011; 38 (6, Part 10): 3493–3493. ttp://doi.org/10.1118/1.3611983Mason D. SU-E-T-33: Pydicom: An Open Source DICOM Library. Medical Physics. 2011; 38 (6, Part 10): 3493–3493. ttp://doi.org/10.1118/1.3611983Bradski G. The OpenCV Library. Dr Dobb's Journal of Software Tools. 2000.Bradski G. The OpenCV Library. Dr Dobb's Journal of Software Tools. 2000.Павлов Н.А., Андрейченко А.Е., Владзимирский А.В., Ревазян А.А., Кирпичев Ю.С., Морозов С.П. Эталонные медицинские датасеты (MosMedData) для независимой внешней оценки алгоритмов на основе искусственного интеллекта в диагностике. Digital Diagnostics. 2021; 2 (1): 49–66. http://doi.org/10.17816/DD60635Pavlov N.A., Andreychenko A.E., Vladzymyrskyy A.V. et al. Reference medical datasets (MosMedData) for independ ent external evaluation of algorithms based on artificial intelligence in diagnostics. Digital Diagnostics. 2021; 2 (1): 49–66. http://doi.org/10.17816/DD60635 (In Russian)Morozov S.P., Gombolevskiy V.A., Elizarov A.B. et al. A simplified cluster model and a tool adapted for collaborative labeling of lung cancer CT scans. Comput. Methods Programs Biomed. 2021; 206: 106–111. http://doi.org/10.1016/j.cmpb.2021.106111.Morozov S.P., Gombolevskiy V.A., Elizarov A.B. et al. A simplified cluster model and a tool adapted for collaborative labeling of lung cancer CT scans. Comput. Methods Programs Biomed. 2021; 206: 106–111. http://doi.org/10.1016/j.cmpb.2021.106111.О персональных данных: [федер. закон: принят Гос. Думой 8 июля. 2006 г.: по состоянию на 2 июля 2021 г.].On personal data: [federal law: adopted by the State. Duma on July 8. 2006: Accessed 2 July 2021 (In Russian)

The authors declare that there are no conflicts of interest present.