Анализ эмоций на видеоданных с использованием локальных и облачных решений искусственного интеллекта

Актуальность исследования обусловлена растущей потребностью в высокоточной и интерпретируемой системе распознавания эмоций на основе видеоданных, что имеет решающее значение для развития человеко-ориентированных технологий в образовании, медицине и системах взаимодействия человек–компьютер. В связи с этим статья направлена на выявление различий и перспектив применения локального решения DeepFace и облачной модели GPT-4o (OpenAI) для анализа коротких видеосюжетов с эмоциональными выражениями. Методологически исследование базируется на эмпирическом сравнительном анализе: использован метод скользящего среднего для сглаживания временных рядов эмоциональных оценок и оценки устойчивости и когнитивной интерпретируемости. Результаты показали, что DeepFace обеспечивает стабильную локальную обработку и высокую устойчивость к артефактам, в то время как GPT-4o демонстрирует способность к сложной семантической интерпретации и высокой чувствительности к контексту. Обоснована эффективность гибридного подхода, сочетающего вычислительную автономность и гибкость интерпретации. Таким образом, синергия локальных и облачных решений открывает перспективы для создания более точных, адаптивных и масштабируемых систем аффективного анализа. Материалы статьи имеют практическую ценность для специалистов в области аффективных вычислений, интерфейсного дизайна и когнитивных технологий.

1. Serengil S.I., Ozpinar A. LightFace: A Hybrid Deep Face Recognition Framework. In: 2020 Innovations in Intelligent Systems and Applications Conference (ASYU), 15–17 October 2020, Istanbul, Turkey. IEEE; 2020. P. 1–5. https://doi.org/10.1109/ASYU50717.2020.9259802

2. Razzaq M.A., Hussain J., Bang J., et al. A Hybrid Multimodal Emotion Recognition Framework for UX Evaluation Using Generalized Mixture Functions. Sensors. 2023;23(9). https://doi.org/10.3390/s23094373

3. Горячкин Б.С., Китов М.А. Компьютерное зрение. E-Scio. 2020;(9):317–345.

4. Zhao X., Wang L., Zhang Yu., Han X., Deveci M., Parmar M. A Review of Convolutional Neural Networks in Computer Vision. Artificial Intelligence Review. 2024;57(4). https://doi.org/10.1007/s10462-024-10721-6

5. Kalateh S., Estrada-Jimenez L.A., Nikghadam-Hojjati S., Barata J. A Systematic Review on Multimodal Emotion Recognition: Building Blocks, Current State, Applications, and Challenges. IEEE Access. 2024;12:103976–104019. https://doi.org/10.1109/ACCESS.2024.3430850

6. Poria S., Majumder N., Hazarika D., Cambria E., Gelbukh A., Hussain A. Multimodal Sentiment Analysis: Addressing Key Issues and Setting Up the Baselines. IEEE Intelligent Systems. 2018;33(6):17–25. https://doi.org/10.1109/MIS.2018.2882362

7. Mujiyanto M., Setyanto A., Utami E., Kusrini K. Facial Expression Recognition with Deep Learning and Attention Mechanisms: A Systematic Review. In: 2024 7th International Conference on Informatics and Computational Sciences (ICICoS), 17–18 July 2024, Semarang, Indonesia. IEEE; 2024. P. 12–17. https://doi.org/10.1109/ICICoS62600.2024.10636857

8. Тимофеева О.П., Неимущев С.А., Неимущева Л.И., Тихонов И.А. Распознавание эмоций по изображению лица на основе глубоких нейронных сетей. Труды НГТУ им. Р.Е. Алексеева. 2020;(1):16–24. https://doi.org/10.46960/1816-210X_2020_1_16

9. Pascual A.M., Valverde E.C., Kim J.-I., et al. Light-FER: A Lightweight Facial Emotion Recognition System on Edge Devices. Sensors. 2022;22(23). https://doi.org/10.3390/s22239524

10. Барабанщиков В.А., Суворова Е.В. Оценка эмоционального состояния человека по его видеоизображению. Экспериментальная психология. 2020;13(4):4–24. https://doi.org/10.17759/exppsy.2020130401