Метод оценки автономного программного обеспечения на основе технологий искусственного интеллекта для массовых профилактических исследований

Внедрение технологий искусственного интеллекта (ИИ) в медицинскую практику требует тщательной оценки их эффективности, особенно для систем, работающих в автономном режиме. Предлагаемый в данном исследовании метод основан на синтезе требований национальных стандартов в области медицинского ИИ, разработанных экспертами Научно-практического клинического центра диагностики и телемедицинских технологий, и данных, полученных в рамках «Московского эксперимента» по внедрению инновационных технологий. Апробация проведена на трех программных продуктах ИИ, используемых для анализа флюорографических исследований в период с января по май 2023 года. Оценка включала анализ точности алгоритмов (чувствительность, специфичность), а также их эффективности в реальных клинических условиях. В исследовании приведен сравнительный анализ результатов с количественной интерпретацией данных. Наибольший акцент при оценивании был на обеспечении системой ИИ высокого уровня диагностической чувствительности, которая позволит в массовых профилактических исследованиях избавить врачей от рутинной монотонной работы. Разработанный метод продемонстрировал возможность комплексной оценки автономных систем ИИ, выявив различия в эффективности продуктов по ключевым метрикам. Предложенный метод позволяет систематизировать процесс валидации медицинских ИИ-решений, минимизируя риски их некорректного использования в условиях автономной работы. Результаты исследования могут быть применены для стандартизации оценки ИИ-инструментов в радиологии и других областях медицины, требующих высокого уровня надежности диагностики.

1. Пугачев П.С., Гусев А.В., Кобякова О.С. и др. Мировые тренды цифровой трансформации отрасли здравоохранения. Национальное здравоохранение. 2021;2(2):5–12. https://doi.org/10.47093/2713-069X.2021.2.2.5-12

2. Hoc Group on Application of AI Technologies. Artificial Intelligence in Healthcare: Directions of Standardization. In: Handbook of Artificial Intelligence in Healthcare: Vol 2: Practicalities and Prospects. Cham: Springer; 2022. pp. 231–257. https://doi.org/10.1007/978-3-030-83620-7_10

3. Кошечкин К.А., Свистунов А.А., Лебедев Г.С., Фартушный Э.Н. Практика применения систем на основе искусственного интеллекта в сфере обращения лекарственных средств. Вестник Росздравнадзора. 2022;(3):27–33.

4. Johnson A.E.W., Pollard T.J., Berkowitz S.J., et al. MIMIC-CXR, a de-identified publicly available database of chest radiographs with free-text reports. Scientific Data. 2019;6. https://doi.org/10.1038/s41597-019-0322-0

5. Do Hu.M., Spear L.G., Nikpanah M., et al. Augmented Radiologist Workflow Improves Report Value and Saves Time: A Potential Model for Implementation of Artificial Intelligence. Academic Radiology. 2020;27(1):96–105. https://doi.org/10.1016/j.acra.2019.09.014

6. Ломаков С.Ю., Строгонов Е.А. Современные аспекты организации профилактических лучевых исследований методом флюорографии. Международный академический вестник. 2019;(11):4–6.

7. Маркелов Ю.М., Щеголева Л.В. Клинико-экономические аспекты выявления туберкулеза при массовых флюорографических осмотрах населения. Вестник рентгенологии и радиологии. 2021;102(3):148–154. https://doi.org/10.20862/0042-4676-2021-102-3-148-154

8. Маркелов Ю.М., Щеголева Л.В. Оценка клинико-экономической эффективности и влияния массовых флюорографических осмотров на эпидемиологические показатели по туберкулезу в четырех федеральных округах РФ с различным уровнем охвата флюорографическими осмотрами населения. Туберкулез и болезни легких. 2023;101(1):8–16. https://doi.org/10.58838/2075-1230-2023-101-1-8-16

9. Рубис Л.В., Маркелов Ю.М. Оценка эффективности профилактических осмотров взрослого населения с целью ранней диагностики туберкулеза. Российский медицинский журнал. 2021;27(3):227–235. https://doi.org/10.17816/0869-2106-2021-27-3-227-235

10. Kelly B.S., Judge C., Bollard S.M., et al. Radiology artificial intelligence: a systematic review and evaluation of methods (RAISE). European Radiology. 2022;32:7998–8007. https://doi.org/10.1007/s00330-022-08784-6

11. Tanguay W., Acar Ph., Fine B., et al. Assessment of Radiology Artificial Intelligence Software: A Validation and Evaluation Framework. Canadian Association of Radiologists Journal. 2023;74(2):326–333. https://doi.org/10.1177/08465371221135760

12. Schaffter Th., Buist D.S.M., Lee Ch.I., et al. Evaluation of Combined Artificial Intelligence and Radiologist Assessment to Interpret Screening Mammograms. JAMA Network Open. 2020;3(3). https://doi.org/10.1001/jamanetworkopen.2020.0265

13. Васильев Ю.А., Владзимирский А.В., Омелянская О.В. и др. Методология тестирования и мониторинга программного обеспечения на основе технологий искусственного интеллекта для медицинской диагностики. Digital Diagnostics. 2023;4(3):252−267. https://doi.org/10.17816/DD321971

14. Гусев А.В., Астапенко Е.М., Иванов И.В., Зарубина Т.В., Кобринский Б.А. Принципы формирования доверия к системам искусственного интеллекта для сферы здравоохранения. Вестник Росздравнадзора. 2022;(2):25–33.

15. Gómez Ó., Mesejo P., Ibáñez Ó., et al. Evaluating artificial intelligence for comparative radiography. International Journal of Legal Medicine. 2024;138(1):307–327. https://doi.org/10.1007/s00414-023-03080-4

16. Thodberg H.H., Thodberg B., Ahlkvist J., Offiah A.C. Autonomous artificial intelligence in pediatric radiology: the use and perception of BoneXpert for bone age assessment. Pediatric Radiology. 2022;52(7):1338–1346. https://doi.org/10.1007/s00247-022-05295-w

17. Daye D., Wiggins W.F., Lungren M.P., et al. Implementation of Clinical Artificial Intelligence in Radiology: Who Decides and How? Radiology. 2022;305(3):555–563. https://doi.org/10.1148/radiol.212151

18. Çallı E., Sogancioglu E., Van Ginneken B., Van Leeuwen K.G., Murphy K. Deep learning for chest X-ray analysis: A survey. Medical Image Analysis. 2021;72. https://doi.org/10.1016/j.media.2021.102125

19. Морозов С.П., Владзимирский А.В., Шарова Д.Е., Ахмад Е.С., Зинченко В.В. Первые национальные стандарты Российской Федерации на системы искусственного интеллекта в медицине. Менеджмент качества в медицине. 2022;(1):58–62.

20. Васильев Ю.А., Арзамасов К.М., Владзимирский А.В. и др. Подготовка набора данных для обучения и тестирования программного обеспечения на основе технологии искусственного интеллекта. [б.м.]: Издательские решения; 2024. 140 с.

21. Владзимирский А.В., Васильев Ю.А., Арзамасов К.М. и др. Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента. [б.м.]: Издательские решения; 2023. 388 с.

22. Васильев Ю.А., Тыров И.А., Владзимирский А.В., Арзамасов К.М., Пестренин Л.Д., Шулькин И.М. Новая модель организации массовых профилактических исследований, основанная на автономном искусственном интеллекте для сортировки результатов флюорографии. Здоровье населения и среда обитания – ЗНиСО. 2023;31(11):23–32. https://doi.org/10.35627/2219-5238/2023-31-11-23-32

23. Mijwil M.M., Aggarwal K., Sonia S., et al. Has the Future Started? The Current Growth of Artificial Intelligence, Machine Learning, and Deep Learning. Iraqi Journal for Computer Science and Mathematics. 2022;3(1). https://doi.org/10.52866/ijcsm.2022.01.01.013