РАЗРАБОТКА АРХИТЕКТУРЫ РЕПОЗИТОРИЯ ДЛЯ ХРАНЕНИЯ МУЛЬТИМОДАЛЬНЫХ ДАННЫХ

В статье рассматриваются основные особенности проектирования и разработки платформенного решения для организации исследовательской работы, основанной на мультимодальных данных. В условиях кратного увеличения исследовательских данных, собираемых в экспериментах из различных источников, а также повышения интереса к проведению междисциплинарных исследований в последние годы стало актуальным развитие средств, осуществляющих сбор, хранение и обработку мультимодальных данных. При этом, в качестве изначального источника данных рассматривается коммуникативный процесс, включающий в себя аудио-, видео-, семантическую модальность, а также модальности, получаемые от различных датчиков. На основе проведенного исследования в статье сформулированы требования к репозиторию, а также предложена модель его архитектуры. Рассмотрены особенности цифрового представления мультимодальных данных в виде линейной комбинации модальностей, представлен подход к реализации и развитию репозитория, базирующийся на принципах микросервисной архитектуры. Реализуемая платформа предназначена для управления и совместной обработки данных в междисциплинарных коллективных исследованиях, в том числе с использованием удаленных рабочих мест. Построение архитектуры осуществлено с использования парадигмы реактивного взаимодействия компонентов системы, а также принципов асинхронного доступа.

1. Басов О.О. Модели и метод синтеза полимодальных инфокоммуникационных систем:дис. док. техн. наук. Орел, 2016:292.

2. Liu H. et al. Deep learning-based multimodal control interface for human-robot collaboration. Procedia CIRP. 2018;72:3-8.

3. Casanovas A.L. et al. Blind audiovisual source separation based on sparse redundant representations. IEEE Transactions on Multimedia. 2010;12(5):358-371.

4. Shoumy N.J. et al. Multimodal big data affective analytics:A comprehensive survey using text, audio, visual and physiological signals. Journal of Network and Computer Applications. 2019:102447.

5. Kendon A. Gesture:Visible action as utterance. Cambridge University Press, 2004.

6. Christine C.A. et al. A cyberplatform for sharing scientific research data at DataCenterHub. Computing in Science & Engineering. 2018;20(3):49.

7. Parashar M. et al. The Virtual Data Collaboratory. Computing in Science & Engineering. 2019.

8. Lahat D., Adali T., Jutten C. Multimodal data fusion:an overview of methods, challenges, and prospects. Proceedings of the IEEE. 2015;103(9):1449-1477.

9. Kamaruddin N., Wahab A. Interlaboratory data fusion repository system (InDFuRS) for tocotrienols-based treatment. Indones. J. Electr. Eng. Comput. Sci. 2019;13(3):1130-1135.

10. Zheng W.L. et al. Emotionmeter:A multimodal framework for recognizing human emotions. IEEE transactions on cybernetics. 2018;49(3):1110-1122.

11. Jansen M.P. Communicative Signals and Social Contextual Factors in Multimodal Affect Recognition. 2019 International Conference on Multimodal Interaction. ACM, 2019:468- 472.

12. Mannheimer S. et al. Qualitative data sharing:Data repositories and academic libraries as key partners in addressing challenges. American Behavioral Scientist. 2019; 63(5):643-664.

13. Antonio M.G. et al. Qualitative Data Management and Analysis within a Data Repository. Western journal of nursing research. 2019:0193945919881706.

14. DuBois J.M., Strait M., Walsh H. Is it time to share qualitative research data? Qualitative Psychology. 2018;5(3). С. 380.

15. Wilkinson M.D. et al. The FAIR Guiding Principles for scientific data management and stewardship. Scientific data. 2016;3.

16. Perazzo J. et al. Creation of Data Repositories to Advance Nursing Science. Western journal of nursing research. 2019;41(1):78-95.