Оценка надежности и эффективности систем искусственного интеллекта в лучевой диагностике на этапе эксплуатации

В условиях активного внедрения технологий искусственного интеллекта (ИИ) в здравоохранение особую актуальность приобретает обеспечение стабильного, контролируемого и высокого качества работы таких систем на этапе эксплуатации. Мониторинг систем ИИ закреплен на законодательном уровне: в течение трех лет после внедрения медицинских изделий, включая системы ИИ, необходимо предоставлять регулярные отчеты в контролирующие органы. Целью исследования является разработка методов оценки надежности и эффективности медицинского искусственного интеллекта для лучевой диагностики. Апробация предложенных методов проведена на данных Московского Эксперимента по использованию инновационных технологий в области компьютерного зрения по направлению рентгенологии органов грудной клетки, собранных за 2023 год. Разработанные методы учитывают комплекс параметров: возникающие технологические дефекты, время обработки исследований, степень согласия врачей с результатами анализа и другие показатели. Предложенный подход может быть адаптирован для различных видов медицинских исследований и стать основой для комплексной оценки систем ИИ в рамках мониторинга медицинских изделий с искусственным интеллектом. Внедрение данных методов способно повысить уровень доверия медицинского сообщества не только к конкретным решениям на базе ИИ, но и к интеллектуальным технологиям в здравоохранении в целом.

1. Ball H.C. Improving Healthcare Cost, Quality, and Access, Through Artificial Intelligence and Machine Learning Applications. Journal of Healthcare Management. 2021;66(4):271–279. https://doi.org/10.1097/JHM-D-21-00149

2. Chen M., Decary M. Artificial Intelligence in Healthcare: An Essential Guide for Health Leaders. Healthcare Management Forum. 2019;33(1):10–18. https://doi.org/10.1177/0840470419873123

3. Vokinger K.N., Feuerriegel S., Kesselheim A.S. Continual Learning in Medical Devices: FDA's Action Plan and Beyond. The Lancet. 2021;3(6):E337–E338. https://doi.org/10.1016/S2589-7500(21)00076-5

4. Casado F.E., Lema D., Criado M.F., Iglesias R., Regueiro C.V., Barro S. Concept Drift Detection and Adaptation for Federated and Continual Learning. Multimedia Tools and Applications. 2022;81(3):3397–3419. https://doi.org/10.1007/s11042-021-11219-x

5. Pemberton H.G., Zaki L.A.M., Goodkin O., et al. Technical and Clinical Validation of Commercial Automated Volumetric MRI Tools for Dementia Diagnosis – a Systematic Review. Neuroradiology. 2021;63(11):1773–1789. https://doi.org/10.1007/s00234-021-02746-3

6. Nomura Yu., Miki S., Hayashi N., et al. Novel Platform for Development, Training, and Validation of Computer-Assisted Detection/Diagnosis Software. International Journal of Computer Assisted Radiology and Surgery. 2020;15(4):661–672. https://doi.org/10.1007/s11548-020-02132-z

7. Четвериков С.Ф., Арзамасов К.М., Андрейченко А.Е., Новик В.П., Бобровская Т.М., Владзимирский А.В. Подходы к формированию выборки для контроля качества работы систем искусственного интеллекта в медико-биологических исследованиях. Современные технологии в медицине. 2023;15(2):19–27. https://doi.org/10.17691/stm2023.15.2.02

8. Harvey H.B., Gowda V. How the FDA Regulates AI. Academic Radiology. 2020;27(1):58–61. https://doi.org/10.1016/j.acra.2019.09.017

9. Sounderajah V., Ashrafian H., Golub R.M., et al. Developing a Reporting Guideline for Artificial Intelligence-Centred Diagnostic Test Accuracy Studies: the STARD-AI Protocol. BMJ Open. 2021;11(6). https://doi.org/10.1136/bmjopen-2020-047709

10. Khinvasara T., Tzenios N., Shankar A. Post-Market Surveillance of Medical Devices Using AI. Journal of Complementary and Alternative Medical Research. 2024;25(7):108–122. https://doi.org/10.9734/jocamr/2024/v25i7552

11. Lyell D., Wang Yi., Coiera E., Magrabi F. More Than Algorithms: an Analysis of Safety Events Involving ML-Enabled Medical Devices Reported to the FDA. Journal of the American Medical Informatics Association. 2023;30(7):1227–1236. https://doi.org/10.1093/jamia/ocad065

12. Feng J., Phillips R.V., Malenica I., et al. Clinical Artificial Intelligence Quality Improvement: Towards Continual Monitoring and Updating of AI Algorithms in Healthcare. npj Digital Medicine. 2022;5(1). https://doi.org/10.1038/s41746-022-00611-y

13. Васильев Ю.А., Зинченко В.В., Кудрявцев Н.Д., Михайлова А.А., Кляшторный В.Г., Владзимирский А.В. Оценка удовлетворенности и вовлеченности врачей-рентгенологов при использовании программного обеспечения с искусственным интеллектом. Врач и информационные технологии. 2024;(1):70–81. https://doi.org/10.25881/18110193_2024_1_70