Статистическая оценка различий зрительных стратегий и внутрисессионной динамики обучения операторов при промышленной сборке на основе мобильного айтрекинга и компьютерного зрения

Выполнен статистический анализ поведенческих показателей оператора, выполняющего реальную промышленную сборочную операцию. Показатели рассчитываются автоматически по данным мобильного айтрекера и алгоритмов компьютерного зрения – детекции рук и целевых объектов. На предшествующих этапах исследования были разработаны мультимодальная система регистрации и описательные групповые показатели по той же задаче; значимость наблюдавшихся различий при этом не проверялась. В данной работе единицей анализа служит отдельная попытка: обработаны 22 записи сборки, выполненной экспертом и двумя начинающими операторами в организованном и неорганизованном условиях рабочего места. Применен критерий Манна-Уитни с оценкой величины эффекта по дельте Клиффа, введен показатель частоты переключений между зонами интереса, рассмотрена динамика показателей при повторных выполнениях операции. Установлено, что эксперт и начинающие операторы значимо различаются по длительности выполнения, энтропии переходов между зонами интереса, частоте переключений внимания и доле фиксаций вне целевых объектов; по большинству показателей величина эффекта большая. В организованном условии взгляд чаще и разнообразнее переключается между целевыми зонами, в неорганизованном дольше задерживается на фоновых областях поиска. У начинающего оператора длительность выполнения значимо сокращается от повторения к повторению, у эксперта тренд отсутствует. Показатели чувствительны к уровню подготовки и к ходу освоения операции и могут применяться для объективного контроля обучения операторов и оценки организации рабочей зоны.

1. Johansson R.S., Westling G., Bäckström A., Flanagan J.R. Eye-hand coordination in object manipulation. The Journal of Neuroscience. 2001;21(17):6917–6932. https://doi.org/10.1523/JNEUROSCI.21-17-06917.2001

2. Hayhoe M., Ballard D. Eye movements in natural behavior. Trends in Cognitive Sciences. 2005;9(4):188–194. https://doi.org/10.1016/j.tics.2005.02.009

3. So W.K.Y., Wong S.W.H., Mak J.N., Chan R.H.M. An evaluation of mental workload with frontal EEG. PLoS ONE. 2017;12(4):e0174949. https://doi.org/10.1371/journal.pone.0174949

4. Kaczorowska M., Plechawska-Wójcik M., Tokovarov M., Krukow P. Automated classification of cognitive workload levels based on psychophysiological and behavioural variables of ex-Gaussian distributional features. Brain Sciences. 2022;12(5):542. https://doi.org/10.3390/brainsci12050542

5. Papoutsakis K., Bakalos N., Fragkoulis K., Zacharia A., Kapetadimitri G., Pateraki M. A vision-based framework for human behavior understanding in industrial assembly lines. In: Computer Vision – ECCV 2024 Workshops: Part XIII, 29 September – 04 October 2024, Milan, Italy. Cham: Springer; 2025. P. 324–342. https://doi.org/10.1007/978-3-031-91575-8_20

6. Gegenfurtner A., Lehtinen E., Säljö R. Expertise differences in the comprehension of visualizations: a meta-analysis of eye-tracking research in professional domains. Educational Psychology Review. 2011;23(4):523–552. https://doi.org/10.1007/s10648-011-9174-7

7. Keskin M., Ooms K., Dogru A.O., De Maeyer Ph. Exploring the cognitive load of expert and novice map users using EEG and eye tracking. ISPRS International Journal of Geo-Information. 2020;9(7):429. https://doi.org/10.3390/ijgi9070429

8. Holmqvist K., Nyström M., Andersson R., Dewhurst R., Jarodzka H., van de Weijer J. Eye Tracking: A Comprehensive Guide to Methods and Measures. Oxford: Oxford University Press; 2011. 560 p.

9. Drews M., Dierkes K. Strategies for enhancing automatic fixation detection in head-mounted eye tracking. Behavior Research Methods. 2024;56(6):6276–6298. https://doi.org/10.3758/s13428-024-02360-0

10. Krejtz K., Duchowski A., Szmidt T., et al. Gaze transition entropy. ACM Transactions on Applied Perception. 2015;13(1):4. https://doi.org/10.1145/2834121

11. Mann H.B., Whitney D.R. On a test of whether one of two random variables is stochastically larger than the other. The Annals of Mathematical Statistics. 1947;18(1):50–60. https://doi.org/10.1214/aoms/1177730491

12. Cliff N. Dominance statistics: ordinal analyses to answer ordinal questions. Psychological Bulletin. 1993;114(3):494–509. https://doi.org/10.1037/0033-2909.114.3.494

13. Sahoo P., Biondi F. On the effect of using an augmented reality laser projection operator guidance system on cognitive workload and assembly task performance. Applied Ergonomics. 2025;130:104662. https://doi.org/10.1016/j.apergo.2025.104662

14. Hart S.G., Staveland L.E. Development of NASA-TLX (Task Load Index): results of empirical and theoretical research. In: Human Mental Workload. North-Holland: Elsevier Science Publishers; 1988. P. 139–183. https://doi.org/10.1016/S0166-4115(08)62386-9