Реконструкция лица как метод повышения точности идентификации человека в видеокадре

В статье рассмотрен подход, направленный на повышение точности идентификации человека по изображению его лица в системах видеонаблюдения, основанный на методе реконструкции на базе генеративно-состязательных сетей. В ходе расследования правонарушений часто встречаются видеозаписи представляющих интерес для следствия людей с низким разрешением или содержащие визуальные помехи различного происхождения, которые ограничивают применения методов идентификации человека при помощи нейронных сетей глубокого обучения. Это создает проблему как обнаружения по лицу определенного человека в видеоданных, так и поиск выбранного в кадре человека по базе данных. Известно, что реконструкция лица на основе генеративно-состязательных сетей позволяет существенно улучшать изображения лица низкого качества, однако, этот метод требователен к содержимому исходного изображения, т. к. любые окклюзии и помехи многократно усиливаются. В статье приводится подход, заключающийся в предобработке изображений на основе известного свойства видеозаписей – наличия версионности изображений объектов. Предложенный алгоритм позволяет устранить большинство визуальных помех и в дальнейшем восстановить изображение лица с высоким качеством. В ходе проведения экспериментов нами также найден метод реставрации элементов лица, который позволяет повысить узнаваемость неизвестного лица человеком, что может иметь важное значение в ходе опознания свидетелями.

1. Себякин А.Г. Анализ информации о соединениях между абонентами, использование его результатов в раскрытии и расследовании преступлений. Полицейская и следственная деятельность. 2018;4:29–38. Доступно по: https://nbpublish.com/library_read_article.php?id=27992. DOI: 10.25136/2409-7810.2018.4. 27992 (дата обращения: 10.02.2023).

2. Raposo V.L. The Use of Facial Recognition Technology by Law Enforcement in Europe: a Non-Orwellian Draft Proposal. European Journal on Criminal Policy and Research. 2022;1–19. Доступно по: https://link.springer.com/content/pdf/10.1007/s10610-022-09512-y.pdf. DOI: 10.1007/s10610-022-09512.

3. Dimitrova N., Zhang H.J., Shahraray B., Sezan I., Huang T., Zakhor A. Applications of video-content analysis and retrieval. IEEE multimedia. 2002;9(3):42–55. Доступно по: http://www-video.eecs.berkeley.edu/papers/Dimitrove/IEEE_MM2002.pdf. DOI: 10.1109/ MMUL.2002.1022858.

4. Du H., Shi H., Zeng D., Zhang X.P., Mei T. The elements of end-to-end deep face recognition: A survey of recent advances. ACM Computing Surveys (CSUR). 2022;54(10s):1–42. Доступно по: https://arxiv.org/pdf/2009.13290v3.pdf. DOI: 10.1145/ 3507902.

5. Насонов А.В., Крылов А.С., Ушмаев О.С. Применение метода суперразрешения для биометрических задач распознавания лиц в видеопотоке. Системы высокой доступности. 2009;1:26–34. Доступно по: https://imaging.cs.msu.ru/pub/2009.SVD. Nasonov_Krylov.SRVidRec.ru.pdf (дата обращения: 10.02.2023).

6. Пахирка А.И. Применение метода улучшения изображений для систем распознавания лиц. Сибирский аэрокосмический журнал. 2010;3:25–29. Доступно по: https://www.elibrary.ru/download/elibrary_15204085_84528176.pdf (дата обращения: 10.02.2023).

7. Морнева А.Е., Масленников А.А. Методы повышения точности работы алгоритмов распознавания лиц на изображении. Вестник молодёжной науки России. 2020;1:14–18. Доступно по: https://www.elibrary.ru/download/elibrary_44487166_63470132.pdf (дата обращения: 10.02.2023).

8. Бордюжа В., Умняшкин С.В. Предобработка изображений для повышения качества распознавания лиц на цифровых фото. Академическая наука как фактор и ресурс инновационного развития. 2022;26–38. Доступно по: https://sciencen.org/assets/Kontent/Konferencii/Arhiv-konferencij/KOF-578.pdf#page=26 (дата обращения: 10.02.2023).

9. Minaee S., Luo P., Lin Z., Bowyer K. Going deeper into face detection: A survey. arXiv preprint. 2021;2103(14983). Доступно по: https://arxiv.org/pdf/2103.14983.pdf. DOI: 10.48550/arXiv.2103.14983.

10. Афанасьев А.Д., Причко И.О. Детектор объектов непостоянного движения в задаче обнаружения криминалистически значимой информации. Моделирование, оптимизация и информационные технологии. 2021;9(2):23–24. Доступно по: https://moitvivt.ru/ru/journal/pdf?id=928. DOI: 10.26102/2310-6018/2021.33.2.007. (дата обращения: 10.02.2023).

11. Guo J., Deng J., Lattas A., Zafeiriou S. Sample and computation redistribution for efficient face detection. arXiv preprint. 2021;2105(04714). Доступно по: https://arxiv.org/pdf/2105.04714.pdf. DOI: 10.48550/arXiv.2105.04714.

12. Положинцев Б.И. Теория вероятностей и математическая статистика. Введение в математическую статистику: Учебное пособие. СПб.: ЮНИТИ; 2016. 95 с.

13. Wang X., Li Y., Zhang H., Shan Y. Towards real-world blind face restoration with generative facial prior. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021;9168–9178. Доступно по: https://arxiv.org/pdf/2101.04061.pdf. DOI: 10.48550/arXiv.2101.04061.

14. Wang Z., Zhang J., Chen R., Wang W., Luo P. RestoreFormer: High-Quality Blind Face Restoration From Undegraded Key-Value Pairs. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022;17512–17521. Доступно по: https://arxiv.org/pdf/2201.06374.pdf. DOI: 10.48550/arXiv.2201.06374.

15. DeepFace – The Most Popular Open Source Facial Recognition Library. Доступно по: https://viso.ai/computer-vision/deepface/ (accessed on 10.02.2023).

16. Adeshara K., Elangovan V. Face recognition using PCA integrated with Delaunay triangulation. arXiv preprint. 2020;2011(12786). Доступно по: https://arxiv.org/ftp /arxiv/papers/2011/2011.12786.pdf. DOI: 10.48550/arXiv.2011.12786.