Применение методов машинного обучения в технологиях виртуальной реальности

В последние годы развитие технологий виртуальной реальности (VR) во многом связано с внедрением методов машинного обучения (ML). Применение методов ML направлено на повышение уровня комфортности, эффективности и результативности VR. Алгоритмы ML могут анализировать данные о взаимодействиях, распознавать паттерны и адаптировать сценарии взаимодействия на основе поведения и эмоционального состояния пользователя. В статье анализируются ключевые современные направления совместного использования VR и ML, которые уже прошли практическую апробацию и показали достаточно высокую эффективность. Одним из таких направлений является улучшение взаимодействия в VR, включающее повышение качества VR-систем, более реалистичную графику, адаптацию контента под пользователя и точное отслеживание движений. Рассмотрены проблемы применения ML в технологиях VR в сфере образования, психотерапии, реабилитации, медицине, управлении дорожным движением, технологиях создания, передачи, распределения, хранения и использования электроэнергии и других сферах. Проведен также краткий анализ инструментов ML, применяемых в VR, среди которых можно выделить генеративные нейросети, способные создавать динамичные виртуальные среды. Исследование показывает, что сочетание VR и ML открывает новые возможности для создания интеллектуальных и интерактивных систем, может привести к значительным прорывам не только в VR, но и в смежных технологических областях.

1. Vince J. Introduction to Virtual Reality. London: Springer; 2004. 163 p. https://doi.org/10.1007/978-0-85729-386-2

2. Ayeni O.O., Al Hamad N.M., Chisom O.N., Osawaru B., Adewusi O.E. AI in Education: A Review of Personalized Learning and Educational Technology. GSC Advanced Research and Reviews. 2024;18(02):261–271. https://doi.org/10.30574/gscarr.2024.18.2.0062

3. Fathy F., Mansour Ya., Sabry H., Refat M., Wagdy A. Virtual Reality and Machine Learning for Predicting Visual Attention in a Daylit Exhibition Space: A Proof of Concept. Ain Shams Engineering Journal. 2023;14(6). https://doi.org/10.1016/j.asej.2022.102098

4. M A., G V. Enhancing the Potential of Machine Learning for Immersive Emotion Recognition in Virtual Environment. EAI Endorsed Transactions on Scalable Information Systems. 2024;11(4). https://doi.org/10.4108/eetsis.5036

5. Bai S., Li J. Progress and Prospects in 3D Generative AI: A Technical Overview Including 3D Human. arXiv. URL: https://doi.org/10.48550/arXiv.2401.02620 [Accessed 2nd March 2025].

6. Weichert F., Bachmann D., Rudak B., Fisseler D. Analysis of the Accuracy and Robustness of the Leap Motion Controller. Sensors. 2013;13(5):6380–6393. https://doi.org/10.3390/s130506380

7. Horbova M., Andrunyk V., Chyrun L. Virtual Reality Platform Using ML for Teaching Children with Special Needs. CEUR Workshop Proceedings. URL: https://ceur-ws.org/Vol-2631/paper16.pdf [Accessed 5th April 2025].

8. Samadbeik M., Yaaghobi D., Bastani P., Abhari Sh., Rezaee R., Garavand A. The Applications of Virtual Reality Technology in Medical Groups Teaching. Journal of Advances in Medical Education & Professionalism. 2018;6(3):123–129.

9. Горшков М.Д. Виртуальная реальность и искусственный интеллект в медицинском образовании. Москва: РОСОМЕД; 2023. 252 c.

10. Didehbani N., Allen T., Kandalaft M., Krawczyk D., Chapman S. Virtual Reality Social Cognition Training for Children with High Functioning Autism. Computers in Human Behavior. 2016;62:703–711. https://doi.org/10.1016/j.chb.2016.04.033

11. Maples-Keller J.L., Bunnell B.E., Kim S.-J., Rothbaum B.O. The Use of Virtual Reality Technology in the Treatment of Anxiety and Other Psychiatric Disorders. Harvard Review of Psychiatry. 2017;25(3):103–113. https://doi.org/10.1097/HRP.0000000000000138

12. Tokgöz P., Stampa S., Wähnert D., Vordemvenne Th., Dockweiler Ch. Virtual Reality in the Rehabilitation of Patients with Injuries and Diseases of Upper Extremities. Healthcare. 2022;10(6). https://doi.org/10.3390/healthcare10061124

13. Bateni H., Carruthers J., Mohan R., Pishva S. Use of Virtual Reality in Physical Therapy as an Intervention and Diagnostic Tool. Rehabilitation Research and Practice. 2024;2024. https://doi.org/10.1155/2024/1122286

14. Budakova D., Vasilev V., Stefanov S. Machine Learning and Virtual Reality Technology in Power Engineering. In: AIP Conference Proceedings: Proceedings of the International Conference on Mathematical Sciences and Technology 2022 (MathTech 2022): Volume 2980, 13–15 September 2022, Malaysia, Georgetown. AIP Publishing; 2024. https://doi.org/10.1063/5.0184757

15. Baniasadi T., Ayyoubzadeh S.M., Mohammadzadeh N. Challenges and Practical Considerations in Applying Virtual Reality in Medical Education and Treatment. Oman Medical Journal. 2020;35(3). https://doi.org/10.5001/omj.2020.43

16. Sindu I.G.P., Hartati R.S., Sudarma M., Gunantara N. Systematic Literature Review of Machine Learning in Virtual Reality and Augmented Reality. Jurnal Nasional Pendidikan Teknik Informatika. 2023;12(1):108–118. https://doi.org/10.23887/janapati.v12i1.60126