Интеллектуальная система управления движением квадрокоптера с помощью жестов рук

Актуальность исследования обусловлена тем, что управление квадрокоптером с помощью жестов рук более естественно и интуитивно, чем использование традиционных пультов управления. Это позволяет пользователям с легкостью освоить управление и сосредоточиться на выполнении задачи, а не на технических аспектах управления. В свою очередь, разработка системы распознавания жестов требует совершенствования алгоритмов обработки изображений на основе машинного обучения. Данная статья направлена на исследование возможности реализации управления движением квадрокоптера с использованием жестов рук, в сочетании с современными нейросетевыми технологиями. Основным подходом в исследовании данной проблемы является применение сверточных и искусственных нейронных сетей для обработки изображений и выполнения задач компьютерного зрения. В работе также рассматриваются методы оптимизации гиперпараметров с помощью инструмента Optuna, использования TensorFlow Lite для реализации моделей машинного обучения на устройствах с ограниченными ресурсами и применение библиотеки MediaPipe для анализа жестов. Такие технологии, как Dropout и L2-регуляризация, используются для повышения эффективности моделей. Материалы статьи представляют практическую ценность для исследователей в области искусственного интеллекта и робототехники, разработчиков программного обеспечения и компаний, занимающихся разработкой беспилотных летательных аппаратов.

1. Дудин Д.Е. Система управления движением беспилотного летательного аппарата на основе распознавания жестов рук. Юный ученый. 2024;(5):67–72.

2. Sanna A., Lamberti F., Paravati G., Manuri F. A Kinect-Based Natural Interface for Quadrotor Control. Entertainment Computing. 2013;4(3):179–186. https://doi.org/10.1016/j.entcom.2013.01.001

3. Zhao R., Wang K., Divekar R., Rouhani R., Su H., Ji Q. An Immersive System with Multi-Modal Human-Computer Interaction. In: 2018 13th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2018), 15-19 May 2018, Xi'an, China. IEEE; 2018. P. 517–524. https://doi.org/10.1109/FG.2018.00083

4. Мурлин А.Г., Пиотровский Д.Л., Руденко Е.А., Янаева М.В. Алгоритм и методы обнаружения и распознавания жестов руки на видео в режиме реального времени. Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014;(97). URL: http://ej.kubagro.ru/2014/03/pdf/20.pdf

5. Нагапетян В.Э., Хачумов В.М. Распознавание жестов руки в задаче бесконтактного управления беспилотным летательным аппаратом. Автометрия. 2015;51(2):103–109.

6. Ярышев С.Н., Рыжова В.А. Технологии глубокого обучения и нейронных сетей в задачах видеоанализа. Санкт-Петербург: Университет ИТМО; 2022. 82 с.

7. Чернышев Н.Н., Ниженец Т.В. Алгоритм планирования пути в трехмерной детерминированной среде с препятствиями на основе метода роя частиц. Вестник Воронежского государственного технического университета. 2022;18(6):7–14. https://doi.org/10.36622/VSTU.2022.18.6.001

8. Булыгин Д.А., Мамонова Т.Е. Распознавание жестов рук в режиме реального времени. Научный вестник Новосибирского государственного технического университета. 2020;(1):25–40. https://doi.org/10.17212/1814-1196-2020-1-25-40

9. Dhawale P., Masoodian M., Rogers B. Bare-hand 3D gesture input to interactive systems. In: CHINZ '06: Proceedings of the 7th ACM SIGCHI New Zealand Chapter's International Conference on Computer-human Interaction: Design Centered HCI, 6-7 July 2006, Christchurch, New Zealand. New York: Association for Computing Machinery; 2006. P. 25–32. https://doi.org/10.1145/1152760.1152764

10. Чудновский М.М. Алгоритм распознавания жестов руки человека на видеопоследовательности в режиме реального времени для реализации интерфейсов человеко-машинного взаимодействия. Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. 2014;(3):162–167.