3D реконструкция объектов по видеопотоку в динамической сцене

Статья посвящена задаче 3D реконструкции объектов в динамических сценах по стереоизображениям. При выполнении каких-либо сложных задач автономными роботами (ремонтные работы, обследование морского дна) появляется необходимость одновременного восстановления траектории движения автономного робота и построения 3D модели окружающей обстановки по видеоинформации. Данные о траекториях движения роботов и информация об окружающей обстановке необходимы специалистам для дальнейшей работы по корректировке работы дронов и отслеживания прогресса выполняемых работ. Существующие на данный момент решения по идентификации объектов позволяют восстанавливать геометрию динамических объектов с накладываемыми ограничениями, которые не позволяют с необходимой точностью реконструировать всю сцену. Также существующие методы не предполагают детальную визуализацию всей 3D сцены по заранее неизвестным точечным данным и не включают в себя восстановление невидимых участков поверхностей объектов. Предложен подход к решению задачи идентификации и 3D реконструкции объектов по видеоинформации применительно к динамическим сценам. Описан базис программной системы, реализующий предложенные алгоритмические и архитектурные решения. Приведены данные по модельным сценам и особенностям объектов сцены. Обсуждены результаты вычислительных экспериментов с виртуальными сценами. Рассмотрены закономерности, выявленные в результате проведения тестов, влияющие на точность реконструкции моделей.

1. Hasler N., Rosenhahn B., Thormahlen T., Wand M., Gall J., Seidel H.P. Markerless motion capture with unsynchronized moving cameras. CVPR. 2009;224–231. DOI: 10.1109/CVPR.2009.5206859.

2. Ballan L., Brostow G.J., Puwein J., Pollefeys M. Unstructured video-based rendering: Interactive exploration of casually captured videos. ACM Transactions on Graphics. Proceedings of SIGGRAPH. 2010;29(4):134–146. DOI: 10.1145/1778765.1778824.

3. Taneja A., Ballan L., Pollefeys M. Modeling dynamic scenes recorded with freely moving cameras. Conference on Computer Vision. 2010;613–626. DOI: 10.1007/978-3-642-19318-7_48.

4. Mustafa A., Kim H., Guillemaut J-Y., Hilton A. General Dynamic Scene Reconstruction from Multiple View Video. ICCV. 2015;900–908. DOI: 10.1109/ICCV.2015.109.

5. Keller M., Lefloch D., Lambers M., Izadi S., Weyrich T., and Kolb A. Real-time 3d reconstruction in dynamic scenes using point-based fusion. Proc. of Joint 3DIM/3DPVT Conference (3DV). 2013;1–8. DOI: 10.1109/3DV.2013.9.

6. Mustafa A., Kim H., Guillemaut J-Y., Hilton A. Temporally coherent 4D reconstruction of complex dynamic scenes. IEEE Conference on Computer Vision and Pattern recognition. 2016;223–245. DOI: 10.1109/CVPR.2016.504.

7. Lefloch D., Kluge M., Sarbolandi H., Weyrich T., Kolb A. Comprehensive Use of Curvature For Robust And Accurate Online Surface Reconstruction. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2017. Доступно по: http://reality.cs.ucl.ac.uk/projects/kinect/lefloch17comprehensive.pdf. DOI: 10.1109/TPAMI.2017.2648803 (дата обращения: 14.03.2023).

8. Бобков В.А., Кудряшов А.П. Воксельный метод построения триангуляционной поверхности по множеству видов. Информатика и системы управления. 2012;2:31–38. Доступно по: http:///media/2012/N32_04.pdf (дата обращения: 13.06.2021).

9. Бобков В.А., Кудряшов А.П. Построение трёхмерной модели морского дна воксельным методом. Подводные исследования и робототехника. 2016;2:13–18. Доступно по: http://jmtp.febras.ru/journal/2-22-2016/13-18.pdf (дата обращения: 13.06.2021).

10. Бобков В.А., Кудряшов А.П., Мельман С.В. О восстановлении движения динамических объектов по стереоизображениям. Программирование. 2018;3:29–42.

11. Кудряшов А.П., Черкашин А.С. Построение единой триангуляционной поверхности по набору видов с зашивкой дыр. Информатика и системы управления. 2015;1:36–40. Доступно по: http:///media/2015/N43_04.pdf (дата обращения: 13.06.2021).

12. Bobkov V.A., Ron’shin Yu.I., Kudryashov A.P., and Mashentsev V.Yu. 3D SLAM from Stereoimages. Programming and Computer Software. 2014;40(4):159–165. DOI: 10.1134/S0361768814040021.

13. Bobkov V., Mashentsev V., Tolstonogov A., Scherbatyuk A. Adaptive Method for AUV Navigation Using Stereo Vision. Proceedings of the 26th ISOPE International Ocean and Polar Engineering Conference. 2016;562–565.

14. Bobkov V., Melman S., Kudrashov A., Scherbatyuk A.Vision-based navigation method for a local maneuvering of the autonomous underwater vehicle. IEEE OES International Symposium on Underwater Technology 2017 (UT 2017 Busan). Busan; 2017;21–24.

15. Bobkov V.A., Melman S.V., and Kudryashov A.P. Fast Computation of Local Displacement by Stereo Pairs. Pattern Recognition and Image Analysis. 2017;3:458–465. DOI: 10.1134/S1054661817030063.

16. Гошин Е.В., Фурсов В.А., Бибиков С.А. Реконструкция ЗD-сцен на пучках эпиполярных плоскостей стереоизображений. Мехатроника, Автоматизация, Управление. 2013;9:19–24.

17. Гошин Е.В. Реконструкция ЗD-сцен по неректифицированным стереоизображениям с прореживающей фильтрацией. Известия Самарского научного центра РАН. 2013;15(6):748–753.

18. Скворцов А.В. Триангуляция Делоне и её применение. Томск: Изд-во Том. ун-та; 2002. 128 c.

19. Скворцов А.В., Костюк Ю.Л. Эффективные алгоритмы построения триангуляции Делоне. Геоинформатика. Теория и практика. Томск: Изд-во Том. ун-та; 1998;1:22–47.