Платформа для тестирования программного обеспечения с использованием искусственного интеллекта в лучевой диагностике

Количество программного обеспечения с использованием искусственного интеллекта, применяемого в лучевой диагностике, в последние годы стремительно увеличивается, и эффективность таких ИИ-сервисов должна тщательно оцениваться для обеспечения проверки качества разработанных алгоритмов. Ручная оценка таких систем является трудоемким процессом. В связи с этим, актуальной задачей является разработка специализированной единой платформы, предназначенной для автоматизированного тестирования ИИ-алгоритмов, используемых с целью анализа медицинских изображений. Предлагаемая платформа состоит из трех основных модулей: модуль тестирования, обеспечивающий взаимодействие с тестируемым программным обеспечением и сбор результатов обработки данных; модуль просмотра, предоставляющий инструменты для визуальной оценки полученных графических серий и структурированных отчетов; модуль расчета метрик, позволяющий вычислять диагностические характеристики эффективности работы алгоритмов искусственного интеллекта. В ходе разработки применялись такие технологии как Python 3.9, Apache Kafka, PACS и Docker. Разработанная платформа успешно прошла апробацию на реальных данных. Полученные результаты свидетельствуют о перспективности использования разработанной платформы для повышения качества и надежности ИИ-сервисов в лучевой диагностике, а также для облегчения процесса их внедрения в клиническую практику.

1. Alowais S.A., Alghamdi S.S., Alsuhebany N., et al. Revolutionizing Healthcare: The Role of Artificial Intelligence in Clinical Practice. BMC Medical Education. 2023;23(1). https://doi.org/10.1186/s12909-023-04698-z

2. Тюрин И.Е. Лучевая диагностика в Российской Федерации. Онкологический журнал: лучевая диагностика, лучевая терапия. 2018;1(4):43–51. 

3. Strohm L., Hehakaya Ch., Ranschaert E.R., Boon W.P.C., Moors E.H.M. Implementation of Artificial Intelligence (AI) Applications in Radiology: Hindering and Facilitating Factors. European Radiology. 2020;30(10):5525–5532. https://doi.org/10.1007/s00330-020-06946-y

4. Kelly B.S., Judge C., Bollard S., et al. Radiology Artificial Intelligence: A Systematic Review and Evaluation of Methods (RAISE). European Radiology. 2022;32:7998–8007. https://doi.org/10.1007/s00330-022-08784-6

5. Васильев Ю.А., Владзимирский А.В., Арзамасов К.М., Шулькин И.М., Астапенко Е.В., Пестренин Л.Д. Ограничения при применении сервисов искусственного интеллекта для анализа рентгенограмм органов грудной клетки. Digital Diagnostics. 2024;5(3):407–420. https://doi.org/10.17816/DD626310

6. Гусев А.В., Морозов С.П., Кутичев В.А., Новицкий Р.Э. Нормативно-правовое регулирование программного обеспечения для здравоохранения, созданного с применением технологий искусственного интеллекта, в Российской Федерации. Медицинские технологии. Оценка и выбор. 2021;43(1):36–45. https://doi.org/10.17116/medtech20214301136

7. Васильев Ю.А., Владзимирский А.В., Омелянская О.В. и др. Методология тестирования и мониторинга программного обеспечения на основе технологий искусственного интеллекта для медицинской диагностики. Digital Diagnostics. 2023;4(3):252−267. https://doi.org/10.17816/DD321971

8. Erickson B.J., Kitamura F. Magician's Corner: 9. Performance Metrics for Machine Learning Models. Radiology: Artificial Intelligence. 2021;3(3). https://doi.org/10.1148/ryai.2021200126

9. Hicks S.A., Strümke I., Thambawita V., et al. On Evaluation Metrics for Medical Applications of Artificial Intelligence. Scientific Reports. 2022;12. https://doi.org/10.1038/s41598-022-09954-8

10. Müller D., Soto-Rey I., Kramer F. Towards a Guideline for Evaluation Metrics in Medical Image Segmentation. BMC Research Notes. 2022;15. https://doi.org/10.1186/s13104-022-06096-y

11. Brink L., Coombs L.P., Veettil D.K., et al. ACR's Connect and AI-LAB Technical Framework. JAMIA Open. 2022;5(4). https://doi.org/10.1093/jamiaopen/ooac094

12. Павлов Н.А., Андрейченко А.Е., Владзимирский А.В., Ревазян А.А., Кирпичев Ю.С., Морозов С.П. Эталонные медицинские датасеты (MosMedData) для независимой внешней оценки алгоритмов на основе искусственного интеллекта в диагностике. Digital Diagnostics. 2021;2(1):49–66. https://doi.org/10.17816/DD60635

13. Gidde P.S., Prasad Sh.S., Singh A.P., et al. Validation of Expert System Enhanced Deep Learning Algorithm for Automated Screening for COVID-Pneumonia on Chest X-Rays. Scientific Reports. 2021;11. https://doi.org/10.1038/s41598-021-02003-w

14. Владзимирский А.В., Васильев Ю.А., Арзамасов К.М. и др. Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента. Москва: Издательские решения; 2023. 388 с.

15. Артюкова З.Р., Петряйкин А.В., Кудрявцев Н.Д. и др. Опыт применения сервисов искусственного интеллекта для диагностики компрессионных переломов тел позвонков по данным компьютерной томографии: от тестирования до апробации. Digital Diagnostics. 2024;5(3):505–518. https://doi.org/10.17816/DD624250