РЕГИСТРАЦИЯ ТРЕХМЕРНОЙ ПОЛИГОНАЛЬНОЙ МОДЕЛИ ЧЕЛОВЕЧЕСКОГО ЛИЦА С ИСПОЛЬЗОВАНИЕМ РЕЗУЛЬТАТОВ ТРЕХМЕРНОГО СКАНИРОВАНИЯ И ДЕТЕКТОРА ЛИЦЕВЫХ ГРАНИЦ

Актуальность данного исследования обусловлена необходимостью создания высокоточного алгоритма регистрации трехмерных результатов сканирования человеческого лица. Несмотря на то, что за последние десятилетия появилось большое количество различных алгоритмов регистрации трехмерных моделей, включая модели человеческого лица, подавляющее большинство из них не способны проводить точную регистрацию лица в области губ и глаз. Данная работа призвана частично исправить данную ситуацию, путем использования детектора лицевых границ на основе глубокого обучения, а именно с использованием сверточных нейронных сетей. Само по себе, использование детекторов ключевых точек лица (как и на основе нейронных сетей, так и на основе других методов) не является новинкой в области неригидной регистрации. Однако такой подход не дает достаточной точности – сама по себе задача поиска ключевых точек является некорректно поставленной задачей, т.к. не все ключевые точки можно разметить согласованно между разными лицами или между выражениями одного и того же лица. Например, очень сложно поставить точки в середине глаза так, чтоб на разных кадрах они были анатомически на одном месте. В ходе исследования был предложен альтернативный способ – использование лицевых границ, разметка которых является однозначной задачей. Полученные результаты показывают преимущество предложенного подхода.

1. Rusinkiewicz S. Efficient Variants of the ICP Algorithm / Rusinkiewicz S, Levoy M. // 3D Digital Imaging and Modeling — Stanford University: 2001. — URL: https://graphics.stanford.edu/papers/fasticp/

2. Sorkine O. As-rigid-as-possible surface modeling / Sorkine O., Alexa M. // SGP '07 Proceedings of the fifth Eurographics symposium on Geometry processing – 2007 – page 109-116.

3. Fyffe G. Multi-View Stereo on Consistent Face Topology / Fyffe G., Nagano K. // EUROGRAPHICS 2017 – 2017 – URL: http://vgl.ict.usc.edu/Research/XimeaRiver/.

4. Le V. Interactive Facial Feature Localization / Le V., Brandt J., Lin Z. // ECCV2012 – 2012 – URL: http://www.ifp.illinois.edu/~vuongle2/helen/eccv2012_helen_final.pdf.

5. Kazemi V. One Millisecond Face Alignment with an Ensemble of Regression Trees / Kazemi V., Sullivan J. // Conference: Computer Vision and Pattern Recognition – 2014 – page 1867-1874.

6. Николенко С. Глубокое обучение. Погружение в мир нейронных сетей / Николенко С, Кадурин А., Архангельская Е. — Санкт-Петербург: Питер, 2018. — 480 с.

7. Wu W. Look at Boundary: A Boundary-Aware Face Alignment Algorithm / Wu W., Qian C., Yang S. // CVPR 2018 – 2018 - URL: https://wywu.github.io/projects/LAB/LAB.html

8. Dong X. Supervision-by-Registration: An Unsupervised Approach to Improve the Precision of Facial Landmark Detectors / Dong X., Yu S., Weng X. // CVPR 2018 – 2018 – URL: https://arxiv.org/abs/1807.00966

9. Sagonas C. 300 Faces In-The-Wild Challenge: database and results / Sagonas C., Antonakos E., Tzimiropoulos G., Zafeiriou S., Pantic M. // Image and Vision Computing – 2016 – pages 3-18.

10. Wu Z. A Comprehensive Survey on Graph Neural Networks / Wu Z., Pan S., Chen F. // arxiv – 2018 – URL: https://arxiv.org/pdf/1901.00596.pdf

11. Paszke A. Automatic differentiation in PyTorch / Paszke A., Gross S., Chintala S. // NIPS 2017 – 2017 – URL: https://openreview.net/pdf?id=BJJsrmfCZ