moitvivt Моделирование, оптимизация и информационные технологии Modeling, Optimization and Information Technology 2310-6018 Издательство 10.26102/2310-6018/2023.41.2.009 1334 3D реконструкция объектов по видеопотоку в динамической сцене 3D reconstruction of objects by video stream in a dynamic scene 0009-0007-0063-2816 Логачев Егор Михайлович Logachev Egor Mikhailovich logachev.em1997@gmail.com aff-1 Дальневосточный федеральный университет Far Eastern Federal University 01 01 2026 1 1 10.26102/2310-6018/2023.41.2.009 Copyright © Авторы, 2026 2026 This work is licensed under a Creative Commons Attribution 4.0 International License

Статья посвящена задаче 3D реконструкции объектов в динамических сценах по стереоизображениям. При выполнении каких-либо сложных задач автономными роботами (ремонтные работы, обследование морского дна) появляется необходимость одновременного восстановления траектории движения автономного робота и построения 3D модели окружающей обстановки по видеоинформации. Данные о траекториях движения роботов и информация об окружающей обстановке необходимы специалистам для дальнейшей работы по корректировке работы дронов и отслеживания прогресса выполняемых работ. Существующие на данный момент решения по идентификации объектов позволяют восстанавливать геометрию динамических объектов с накладываемыми ограничениями, которые не позволяют с необходимой точностью реконструировать всю сцену. Также существующие методы не предполагают детальную визуализацию всей 3D сцены по заранее неизвестным точечным данным и не включают в себя восстановление невидимых участков поверхностей объектов. Предложен подход к решению задачи идентификации и 3D реконструкции объектов по видеоинформации применительно к динамическим сценам. Описан базис программной системы, реализующий предложенные алгоритмические и архитектурные решения. Приведены данные по модельным сценам и особенностям объектов сцены. Обсуждены результаты вычислительных экспериментов с виртуальными сценами. Рассмотрены закономерности, выявленные в результате проведения тестов, влияющие на точность реконструкции моделей.

The article is devoted to the problem of 3D reconstruction of objects in dynamic scenes by stereo images. When performing any complex tasks by autonomous robots (repair work, inspection of the seabed), there is a need to simultaneously restore the trajectory of the autonomous robot and build a 3D model of the environment using video information. Data on the trajectories of robots and information about the environment are necessary for specialists to further correct drone operation and track the progress of work performed. Сurrently existing object identification solutions help to restore the geometry of dynamic objects with imposed restrictions that prevent from reconstructing the entire scene with the necessary accuracy. Also, the existing methods do not involve detailed visualization of the entire 3D scene using previously unknown point data and do not include the restoration of invisible parts of object surfaces. An approach to solving the problem of identification and 3D reconstruction of objects based on video information in relation to dynamic scenes is proposed. The basis of the software system implementing the proposed algorithmic and architectural solutions is described. Data on model scenes and features of scene objects are given. The results of computational experiments with virtual scenes are discussed. The regularities discovered as a result of tests affecting the accuracy of model reconstruction are considered.

 динамическая сцена идентификация объектов OpenGL 3D-реконструкция визуализация эпиполярные ограничения метод Делоне dynamic scene object identification OpenGL 3D reconstruction visualization epipolar constraints Delaunay method Исследование выполнено без спонсорской поддержки. The study was performed without external funding. References Hasler N., Rosenhahn B., Thormahlen T., Wand M., Gall J., Seidel H.P. Markerless motion capture with unsynchronized moving cameras. CVPR. 2009;224–231. DOI: 10.1109/CVPR.2009.5206859. Ballan L., Brostow G.J., Puwein J., Pollefeys M. Unstructured video-based rendering: Interactive exploration of casually captured videos. ACM Transactions on Graphics. Proceedings of SIGGRAPH. 2010;29(4):134–146. DOI: 10.1145/1778765.1778824. Taneja A., Ballan L., Pollefeys M. Modeling dynamic scenes recorded with freely moving cameras. Conference on Computer Vision. 2010;613–626. DOI: 10.1007/978-3-642-19318-7_48. Mustafa A., Kim H., Guillemaut J-Y., Hilton A. General Dynamic Scene Reconstruction from Multiple View Video. ICCV. 2015;900–908. DOI: 10.1109/ICCV.2015.109. Keller M., Lefloch D., Lambers M., Izadi S., Weyrich T., and Kolb A. Real-time 3d reconstruction in dynamic scenes using point-based fusion. Proc. of Joint 3DIM/3DPVT Conference (3DV). 2013;1–8. DOI: 10.1109/3DV.2013.9. Mustafa A., Kim H., Guillemaut J-Y., Hilton A. Temporally coherent 4D reconstruction of complex dynamic scenes. IEEE Conference on Computer Vision and Pattern recognition. 2016;223–245. DOI: 10.1109/CVPR.2016.504. Lefloch D., Kluge M., Sarbolandi H., Weyrich T., Kolb A. Comprehensive Use of Curvature For Robust And Accurate Online Surface Reconstruction. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2017. Доступно по: http://reality.cs.ucl.ac.uk/projects/kinect/lefloch17comprehensive.pdf. DOI: 10.1109/TPAMI.2017.2648803 (дата обращения: 14.03.2023). Бобков В.А., Кудряшов А.П. Воксельный метод построения триангуляционной поверхности по множеству видов. Информатика и системы управления. 2012;2:31–38. Доступно по: http:///media/2012/N32_04.pdf (дата обращения: 13.06.2021). Бобков В.А., Кудряшов А.П. Построение трёхмерной модели морского дна воксельным методом. Подводные исследования и робототехника. 2016;2:13–18. Доступно по: http://jmtp.febras.ru/journal/2-22-2016/13-18.pdf (дата обращения: 13.06.2021). Бобков В.А., Кудряшов А.П., Мельман С.В. О восстановлении движения динамических объектов по стереоизображениям. Программирование. 2018;3:29–42. Кудряшов А.П., Черкашин А.С. Построение единой триангуляционной поверхности по набору видов с зашивкой дыр. Информатика и системы управления. 2015;1:36–40. Доступно по: http:///media/2015/N43_04.pdf (дата обращения: 13.06.2021). Bobkov V.A., Ron’shin Yu.I., Kudryashov A.P., and Mashentsev V.Yu. 3D SLAM from Stereoimages. Programming and Computer Software. 2014;40(4):159–165. DOI: 10.1134/S0361768814040021. Bobkov V., Mashentsev V., Tolstonogov A., Scherbatyuk A. Adaptive Method for AUV Navigation Using Stereo Vision. Proceedings of the 26th ISOPE International Ocean and Polar Engineering Conference. 2016;562–565. Bobkov V., Melman S., Kudrashov A., Scherbatyuk A.Vision-based navigation method for a local maneuvering of the autonomous underwater vehicle. IEEE OES International Symposium on Underwater Technology 2017 (UT 2017 Busan). Busan; 2017;21–24. Bobkov V.A., Melman S.V., and Kudryashov A.P. Fast Computation of Local Displacement by Stereo Pairs. Pattern Recognition and Image Analysis. 2017;3:458–465. DOI: 10.1134/S1054661817030063. Гошин Е.В., Фурсов В.А., Бибиков С.А. Реконструкция ЗD-сцен на пучках эпиполярных плоскостей стереоизображений. Мехатроника, Автоматизация, Управление. 2013;9:19–24. Гошин Е.В. Реконструкция ЗD-сцен по неректифицированным стереоизображениям с прореживающей фильтрацией. Известия Самарского научного центра РАН. 2013;15(6):748–753. Скворцов А.В. Триангуляция Делоне и её применение. Томск: Изд-во Том. ун-та; 2002. 128 c. Скворцов А.В., Костюк Ю.Л. Эффективные алгоритмы построения триангуляции Делоне. Геоинформатика. Теория и практика. Томск: Изд-во Том. ун-та; 1998;1:22–47.

The authors declare that there are no conflicts of interest present.