References

moitvivt

Моделирование, оптимизация и информационные технологии

Modeling, Optimization and Information Technology

2310-6018

Издательство

10.26102/2310-6018/2022.39.4.003

1247

Ситуационно-ориентированные базы данных: обработка гетерогенных документов микросервисов в документо-ориентированном хранилище

Situation-oriented databases: processing heterogeneous documents of microservices in a document-based storage

0000-0003-4132-6106

Гусаренко

Артем Сергеевич

Gusarenko

Artem Sergeevich

valter-hartman@mail.ru aff-1

Уфимский государственный авиационный технический университет Ufa State Aviation Technical University

01 01 2026

1 1

10.26102/2310-6018/2022.39.4.003

2026

This work is licensed under a Creative Commons Attribution 4.0 International License

Работа сосредоточена на ситуационно-ориентированном подходе к обработке гетерогенных данных, получаемых из микросервисов получивших распространение благодаря реализации микросервисной архитектуры, положенной в основу многих информационных систем. Такие информационные системы являются источниками гетерогенных данных, предоставляемых пользователю по запросу через сеть интернет. Данные в виде документов предоставляются сервисами, входящими в состав информационной системы. Объемы таких данных могут быть велики, а для обработки требуются специализированные технологии, имеющиеся в документо-ориентированных хранилищах больших данных (СОБД). В составе ситуационно-ориентированной базы данных реализован микросервис, предоставляющий через свой программный интерфейс данные в формате JSON. Возникает задача загрузки и обработки больших объемов данных в хранилище, где реализованы специализированные статистические функции Map-Reduce. Ручной способ загрузки и получения результатов для СОБД является трудоемким, так как требуется реализация рутинных операций по загрузке данных, применению функций к загруженным данным, созданию функций внутри хранилища и получению результатов. Данная задача не рассматривалась в рамках проекта создания ситуационно-ориентированных баз данных, а возможности по разработке специализированных элементов и методов обработки гетерогенных данных большого объема в иерархической ситуационной модели с требующимся оснащением не исследовались. Разработанные модели обработки документов делают процесс обработки гетерогенных данных менее трудоемким и позволяют создавать собственные приложения на базе ситуационно-ориентированных баз данных, опираясь на введенную модель обработки данных в составе иерархической ситуационной модели с привлечением технологий обработки больших данных специализированных документо-ориентированных хранилищ. Предложенные средства рассматриваются в примере приложения СОБД для решения задач курсового проектирования в учебном процессе с задействованием разработанного микросервиса, насыщенного гетерогенными данными, собранными в процессе дистанционного курсового проектирования.

The research is focused on a situation-oriented approach to the processing of heterogeneous data obtained from microservices that are widespread due to the implementation of the microservice architecture underlying many information systems. Such information systems are sources of heterogeneous data provided to the user upon request via the Internet. Data in the form of documents is provided by services included in the information system. The volume of such data can be large, and its processing requires specialized technologies available in document-oriented big data storages (SODB). As part of a situationally oriented database, a microservice is implemented that provides data in JSON format through its programming interface. There is a problem of loading and processing large amounts of data in the storage where specialized statistical functions of Map-Reduce are implemented. The manual method of loading and obtaining results for SODB is laborious because it requires the implementation of routine operations for loading data, applying functions to the loaded data, creating functions inside the storage and obtaining results. This task was not considered within the scope of the project on creating situation-oriented databases, and the possibilities for developing specialized elements and methods for processing large-scale heterogeneous data in a hierarchical situational model with the required equipment were not studied. The developed models for processing documents make processing heterogeneous data less laborious and help to create data-driven applications by means of situation-oriented databases in the framework of the introduced data processing model as part of a hierarchical situational model with the involvement of big data processing technologies of specialized document-oriented storages. The proposed tools are examined by the example of the SODB application for solving the problems of course design in the educational process using the developed microservice saturated with heterogeneous data collected while designing a course remotely.

ситуационно-ориентированная база данных встроенная динамическая модель гетерогенные источники документов JSON хранилище документов микросервисы RESTful-сервисы

situation-oriented database built-in dynamic model heterogeneous data sources JSON document storage microservices RESTful-services

Работа выполнена при поддержке РФФИ (грант 19-07-00682). Результаты исследования, отражающие структуру разрабатываемого программного решения, получены в рамках государственного задания № ДВУЭ-2020-0007.

This research is supported by RFBR (grant 19-07-00682). The results of the study, reflecting the structure of the developed software solution, have been obtained as part of the state task No. FEUE-2020-0007.

References 1

Wilde E., Pautasso C. REST: From Research to Practice. Springer Science & Business Media. 2011:528. DOI:10.1007/978-1-4419-8303-9.

Миронов В.В., Гусаренко А.С., Юсупова Н.И. Ситуационно-ориентированные базы данных: polyglot persistence на основе REST-микросервисов. Прикладная информатика. 2019;14(5(83)):87–97. DOI:10.24411/1993-8314-2019-10038.

Миронов В.В., Гусаренко А.С., Тугузбаев Г.А. Извлечение семантической информации из графических схем. Информатика и автоматизация. 2021;20(4):940–70. DOI:10.15622/IA.20.4.7

Гусаренко А.С., Миронов В.В., Юсупова Н.И. Потоковая обработка больших документов в ситуационно-ориентированных базах данных. ITIDS’2018: Труды 6-ой международной конференции по Информационным технологиями интеллектуальной поддержки принятия решений. Уфа, Россия: УГАТУ; 2018:7–12.

Hou X, Li N, Yang H, Liang Q. Comparison of Wordprocessing Document Format in OOXML and ODF. 2010 Sixth International Conference on Semantics, Knowledge and Grids. 2010:297–300. DOI:10.1109/SKG.2010.44.

Papadopoulos A., Manolopoulos Y. Parallel bulk-loading of spatial data. Parallel Computing. 2003;29(10):1419–1444. DOI:10.1016/j.parco.2003.05.003.

Миронов В.В., Гусаренко А.С., Тугузбаев Г.А. Ситуационно-ориентированные базы данных: формирование персонализированных графических документов для поддержки учебного проектирования. Моделирование, оптимизация и информационные технологии. 22;8(2):1–18. DOI:10.26102/2310-6018/2020.29.2.013.

Гусаренко А.С. Усовершенствование модели ситуационно-ориентированной базы данных для взаимодействия с MySQL. Известия высших учебных заведений Приборостроение. 2016;59(5):355–63. DOI:10.17586/0021-3454-2016-59-5-355-363.

Mironov V.V., Gusarenko A.S., Yusupova N.I., Smetanin Y.G. JSON documents processing using situation-oriented databases. Acta Polytechnica Hungarica. 2020;17(8):29–40. DOI:10.12700/APH.17.8.2020.8.3.

Миронов В.В., Гусаренко А.С., Юсупова Н.И. Мониторинг просмотров видео YouTube в образовательной среде на основе ситуационно-ориентированной базы данных и веб-сервисов RESTful. Системная инженерия и информационные технологии. 2021;3(1(5)):39–49.

Mironov V.V., Gusarenko A.S., Yusupova N.I. Building of Virtual Multidocuments Mapping to Real Sources of Data in Situation-Oriented Databases. Communications in Computer and Information Science. 1204 CCIS. 2021:167–178. DOI:10.1007/978-3-030-78273-3_17.

Kolonko M., Mullenbach S., Polyglot Persistence in conceptual modeling for information analysis. ACIT’2020: Proc. 10th Int. Conf. on Advanced Computer Information Technologies. 2020:590–594. DOI:10.1109/ACIT49673.2020.9208928.

Mironov V.V., Gusarenko A.S., Yusupova N.I. Stream handling large volume documents in situationally-oriented databases. International Scientific Journal INDUSTRY 4.0 Scientific Technical Union of Mechanical Engineering “INDUSTRY 4.0.” 2018;3(5):240–4.

Mironov V., Gusarenko A., Yusupova N. Stream Documents Processing Invariance in Situation-Oriented Databases. 7th Scientific Conference on Information Technologies for Intelligent Decision Making Support (ITIDS’2019). Atlantis Press; 2019:309–15. DOI:10.2991/itids-19.2019.55.

Sakr S., Zomaya A.Y. Handbook of Big Data Technologies. Springer International Publishing; 2017. Available from: https://link.springer.com/book/10.1007/978-3-319-49340-4 (accessed on 12.10.2022).

Sakr S., Zomaya A.Y. Encyclopedia of big data technologies. Springer International Publishing; 2019. DOI: 10.1007/978-3-319-77525-8.

Bakshi K. Technologies for Big Data. IGI Global; 2014:1–22. DOI: 10.4018/978-1-4666-4699-5.ch001.

Singh S., Singh P., Garg R., Mishra P.K. Big Data: Technologies, Trends and Applications. International Journal of Computer Science and Information Technologies. 2015;6(5):4633–4639.

Mamedova G.A., Zeynalova L.A., Melikova R.T. Big data technologies in e-learning. Open Education. 2018:16;0(6):41–8. DOI: 10.21686/1818-4243-2017-6-41-48.

Jiang D., Ooi B.C., Shi L., Wu S. The performance of MapReduce: an in-depth study. In proceeding Proc VLDB Endow. 2010;3(1–2):472–483. DOI:10.14778/1920841.1920903.

Shim K. MapReduce Algorithms for Big Data Analysis. In: Madaan A, Kikuchi S, Bhalla S, editors. Lecture Notes in Computer Science. Databases in Networked Information Systems. Berlin, Heidelberg: Springer; 2013:44–8. DOI: 10.1007/978-3-642-37134-9.

Tao Y., Lin W., Xiao X. Minimal MapReduce algorithms. Proceedings of the 2013 ACM SIGMOD International Conference on Management of Data. New York, NY, USA: Association for Computing Machinery; 2013:529–40. DOI:10.1145/2463676.2463719.

Győrödi C.A., Dumşe-Burescu D.V., Zmaranda D.R., Győrödi R.Ş., Gabor G.A., Pecherle G.D. Performance Analysis of NoSQL and Relational Databases with CouchDB and MySQL for Application’s Data Storage. Applied Sciences. 2020;10(23):8524. DOI: 10.3390/app10238524.

Anderson J.C., Lehnardt J., Slater N. CouchDB: The Definitive Guide: Time to Relax. O’Reilly Media, Inc.; 2010:274.

Lennon J. Beginning CouchDB. Apress; 2010:299.

Гусаренко А.С. Свидетельство о государственной регистрации программы для ЭВМ № 2022617552. Микросервис ситуационно-ориентированной базы данных для загрузки данных и функций Map-Reduce в документо-ориентированное хранилище. 2022.

Гусаренко А.С. Свидетельство о государственной регистрации программы для ЭВМ № 2022617505. Модули ситуационно-ориентированной базы данных для извлечения больших документов и архивов из RESTful-сервисов гетерогенных хранилищ данных. 2022.

Apache CouchDB. Доступно по: https://couchdb.apache.org/ (дата обращения 17.10.2022).

Миронов В.В., Гусаренко А.С., Юсупова Н.И. Ситуационно-ориентированные базы данных: обработка офисных документов. Моделирование, оптимизация и информационные технологии. 2022:28;10(2):1–16. DOI: 10.26102/2310-6018/2022.37.2.021.

Миронов В.В., Гусаренко А.С., Юсупова Н.И. Инвариантность виртуальных данных в ситуационно-ориентированной базе данных при отображении на разнородные хранилища. Вестник компьютерных и информационных технологий. 2017;(1(151)):29–36. DOI: 10.14489/VKIT.2017.01.PP.029-036.

Курсовой проект «Базы данных». Доступно по: http://hsm.ugatu.su/artem/dbproj/ (дата обращения 20.10.2022).

The authors declare that there are no conflicts of interest present.