В условиях активного внедрения технологий искусственного интеллекта (ИИ) в здравоохранение особую актуальность приобретает обеспечение стабильного, контролируемого и высокого качества работы таких систем на этапе эксплуатации. Мониторинг систем ИИ закреплен на законодательном уровне: в течение трех лет после внедрения медицинских изделий, включая системы ИИ, необходимо предоставлять регулярные отчеты в контролирующие органы. Целью исследования является разработка методов оценки надежности и эффективности медицинского искусственного интеллекта для лучевой диагностики. Апробация предложенных методов проведена на данных Московского Эксперимента по использованию инновационных технологий в области компьютерного зрения по направлению рентгенологии органов грудной клетки, собранных за 2023 год. Разработанные методы учитывают комплекс параметров: возникающие технологические дефекты, время обработки исследований, степень согласия врачей с результатами анализа и другие показатели. Предложенный подход может быть адаптирован для различных видов медицинских исследований и стать основой для комплексной оценки систем ИИ в рамках мониторинга медицинских изделий с искусственным интеллектом. Внедрение данных методов способно повысить уровень доверия медицинского сообщества не только к конкретным решениям на базе ИИ, но и к интеллектуальным технологиям в здравоохранении в целом.
In the context of the active implementation of artificial intelligence (AI) technologies in healthcare, ensuring stable, controlled and high-quality operation of such systems at the operational stage is of particular relevance. Monitoring of AI systems is enshrined in law: within three years after the implementation of medical devices, including AI systems, it is necessary to provide regular reports to regulatory authorities. The aim of the study is to develop methods for assessing the reliability and effectiveness of medical artificial intelligence for radiation diagnostics. The proposed methods were tested on the data of the Moscow Experiment on the use of innovative technologies in the field of computer vision in the direction of chest radiography, collected in 2023. The developed methods take into account a set of parameters: emerging technological defects, research processing time, the degree of agreement of doctors with the analysis results and other indicators. The proposed approach can be adapted for various types of medical research and become the basis for a comprehensive assessment of AI systems as part of the monitoring of medical devices with artificial intelligence. The implementation of these methods can increase the level of trust of the medical community not only in specific AI-based solutions, but also in intelligent technologies in healthcare in general.
The authors declare that there are no conflicts of interest present.