Автоматическая детекция событий походки с использованием рекуррентных нейронных сетей

Клинический анализ походки является ключевым инструментом диагностики и планирования реабилитационных мероприятий у пациентов с двигательными нарушениями, однако точная и автоматическая детекция событий походки остается сложной задачей в условиях ограниченных ресурсов. Золотым стандартом автоматического определения событий походки является применение силовых платформ, но их применение ограничено при патологических паттернах ходьбы и использовании пациентами вспомогательных технических средств реабилитации. В данной работе представлен подход к автоматической детекции событий походки y детей с патологией походки на основе рекуррентных нейронных сетей. Представленная методология позволяет эффективно обнаруживать ключевые события походки (касание пяткой и отрыв пальцев). В исследовании использованы кинематические данные пациентов с нарушениями походки, полученные с помощью оптической системы захвата движений в различных условиях: при ходьбе босиком, в ортопедической обуви, с использованием ортезов и других технических средств реабилитации. Для обнаружения событий походки были обучены 4 модели (для каждой ноги и события). Модели продемонстрировали высокую чувствительность при малых временных задержках между предсказанным и реальным событием. Предложенный метод может быть использован в условиях клинической практики для автоматизации разметки данных и ускорения обработки данных анализа походки.

1. Wren T.A.L., Gorton III G.E., Õunpuu S., Tucker C.A. Efficacy of Clinical Gait Analysis: A Systematic Review. Gait & Posture. 2011;34(2):149–153. https://doi.org/10.1016/j.gaitpost.2011.03.027

2. States R.A., Krzak J.J., Salem Ya., Godwin E.M., Bodkin A.W., McMulkin M.L. Instrumented Gait Analysis for Management of Gait Disorders in Children with Cerebral Palsy: A Scoping Review. Gait & Posture. 2021;90:1–8. https://doi.org/10.1016/j.gaitpost.2021.07.009

3. Del Din S., Elshehabi M., Galna B., et al. Gait Analysis with Wearables Predicts Conversion to Parkinson Disease. Annals of Neurology. 2019;86(3):357–367. https://doi.org/10.1002/ana.25548

4. Cicirelli G., Impedovo D., Dentamaro V., Marani R., Pirlo G., D’Orazio T.R. Human Gait Analysis in Neurodegenerative Diseases: A Review. IEEE Journal of Biomedical and Health Informatics. 2022;26(1):229–242. https://doi.org/10.1109/JBHI.2021.3092875

5. Veilleux L.-N., Raison M., Rauch F., Robert M., Ballaz L. Agreement of Spatio-Temporal Gait Parameters Between a Vertical Ground Reaction Force Decomposition Algorithm and a Motion Capture System. Gait & Posture. 2016;43:257–264. https://doi.org/10.1016/j.gaitpost.2015.10.007

6. Zeni Jr J.A., Richards J.G., Higginson J.S. Two Simple Methods for Determining Gait Events During Treadmill and Overground Walking Using Kinematic Data. Gait & Posture. 2008;27(4):710–714. https://doi.org/10.1016/j.gaitpost.2007.07.007

7. Ghoussayni S., Stevens Ch., Durham S., Ewins D. Assessment and Validation of a Simple Automated Method for the Detection of Gait Events and Intervals. Gait & Posture. 2004;20(3):266–272. https://doi.org/10.1016/j.gaitpost.2003.10.001

8. Hreljac A., Marshall R.N. Algorithms to Determine Event Timing During Normal Walking Using Kinematic Data. Journal of Biomechanics. 2000;33(6):783–786. https://doi.org/10.1016/S0021-9290(00)00014-2

9. De Asha A.R., Robinson M.A., Barton G.J. A Marker Based Kinematic Method of Identifying Initial Contact During Gait Suitable for Use in Real-Time Visual Feedback Applications. Gait & Posture. 2012;36(3):650–652. https://doi.org/10.1016/j.gaitpost.2012.04.016

10. Bruening D.A., Ridge S.T. Automated Event Detection Algorithms in Pathological Gait. Gait & Posture. 2014;39(1):472–477. https://doi.org/10.1016/j.gaitpost.2013.08.023

11. Gómez-Pérez C., Martori J.C., Diví A.P., Casanovas J.M., Samsó J.V., Font-Llagunes J.M. Gait Event Detection Using Kinematic Data in Children with Bilateral Spastic Cerebral Palsy. Clinical Biomechanics. 2021;90. https://doi.org/10.1016/j.clinbiomech.2021.105492

12. Prasanth H., Caban M., Keller U., et al. Wearable Sensor-Based Real-Time Gait Detection: A Systematic Review. Sensors. 2021;21(8). https://doi.org/10.3390/s21082727

13. Niswander W., Kontson K. Evaluating the Impact of IMU Sensor Location and Walking Task on Accuracy of Gait Event Detection Algorithms. Sensors. 2021;21(12). https://doi.org/10.3390/s21123989

14. Voisard C., de l’Escalopier N., Ricard D., Oudre L. Automatic Gait Events Detection with Inertial Measurement Units: Healthy Subjects and Moderate to Severe Impaired Patients. Journal of NeuroEngineering and Rehabilitation. 2024;21. https://doi.org/10.1186/s12984-024-01405-x

15. Romijnders R., Warmerdam E., Hansen C., Welzel J., Schmidt G., Maetzler W. Validation of IMU-Based Gait Event Detection During Curved Walking and Turning in Older Adults and Parkinson’S Disease Patients. Journal of NeuroEngineering and Rehabilitation. 2021;18. https://doi.org/10.1186/s12984-021-00828-0

16. Zampier V.C., Simonsen M.B., Barbieri F.A., Oliveira A.S. On the Accuracy of Methods Identifying Gait Events Using Optical Motion Capture and a Single Inertial Measurement Unit on the Sacrum. [Preprint]. bioRxiv. URL: https://doi.org/10.1101/2025.03.09.642234 [Accessed 28th March 2025].

17. Narayan V., Awasthi Sh., Fatima N., Faiz M., Srivastava S. Deep Learning Approaches for Human Gait Recognition: A Review. In: 2023 International Conference on Artificial Intelligence and Smart Communication (AISC), 27–29 January 2023, Greater Noida, India. IEEE; 2023. P. 763–768. https://doi.org/10.1109/AISC56616.2023.10085665

18. Dehzangi O., Taherisadr M., ChangalVala R. IMU-Based Gait Recognition Using Convolutional Neural Networks and Multi-Sensor Fusion. Sensors. 2017;17(12). https://doi.org/10.3390/s17122735

19. Su B., Smith Ch., Gutierrez Farewik E. Gait Phase Recognition Using Deep Convolutional Neural Network with Inertial Measurement Units. Biosensors. 2020;10(9). https://doi.org/10.3390/bios10090109

20. Romijnders R., Warmerdam E., Hansen C., Schmidt G., Maetzler W. A Deep Learning Approach for Gait Event Detection from a Single Shank-Worn IMU: Validation in Healthy and Neurological Cohorts. Sensors. 2022;22(10). https://doi.org/10.3390/s22103859

21. Wang F.-Ch., Li Yo.-Ch., Kuo T.-Yu., Chen S.-F., Lin Ch.-H. Real-Time Detection of Gait Events by Recurrent Neural Networks. IEEE Access. 2021;9:134849–134857. https://doi.org/10.1109/ACCESS.2021.3116047

22. Kreuzer D., Munz M. Deep Convolutional and LSTM Networks on Multi-Channel Time Series Data for Gait Phase Recognition. Sensors. 2021;21(3). https://doi.org/10.3390/s21030789

23. Hochreiter S., Schmidhuber J. Long Short-Term Memory. Neural Computation. 1997;9(8):1735–1780. https://doi.org/10.1162/neco.1997.9.8.1735

24. Lee J., Hong W., Hur P. Continuous Gait Phase Estimation Using LSTM for Robotic Transfemoral Prosthesis Across Walking Speeds. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2021;29:1470–1477. https://doi.org/10.1109/tnsre.2021.3098689

25. Sarshar M., Polturi S., Schega L. Gait Phase Estimation by Using LSTM in IMU-Based Gait Analysis-Proof of Concept. Sensors. 2021;21(17). https://doi.org/10.3390/s21175749

26. Nazmi N., Rahman M.A.A., Yamamoto Sh.-I., Ahmad S.A. Walking Gait Event Detection Based on Electromyography Signals Using Artificial Neural Network. Biomedical Signal Processing and Control. 2019;47:334–343. https://doi.org/10.1016/j.bspc.2018.08.030

27. Kim Yo.K., Visscher R.M.S., Viehweger E., Singh N.B., Taylor W.R., Vogl F. A Deep-Learning Approach for Automatically Detecting Gait-Events Based on Foot-Marker Kinematics in Children with Cerebral Palsy – Which Markers Work Best for Which Gait Patterns? PLoS ONE. 2022;17(10). https://doi.org/10.1371/journal.pone.0275878

28. Kidziński Ł., Delp S., Schwartz M. Automatic Real-Time Gait Event Detection in Children Using Deep Neural Networks. PLoS ONE. 2019;14(1). https://doi.org/10.1371/journal.pone.0211466

29. Lempereur M., Rousseau F., Rémy-Néris O. A New Deep Learning-Based Method for the Detection of Gait Events in Children with Gait Disorders: Proof-Of-Concept and Concurrent Validity. Journal of Biomechanics. 2020;98. https://doi.org/10.1016/j.jbiomech.2019.109490

30. Leardini A., Sawacha Z., Paolini G., Ingrosso S., Nativo R., Benedetti M.G. A New Anatomically Based Protocol for Gait Analysis in Children. Gait & Posture. 2007;26(4):560–571. https://doi.org/10.1016/j.gaitpost.2006.12.018