Работа сосредоточена на ситуационно-ориентированном подходе к обработке гетерогенных данных, получаемых из микросервисов получивших распространение благодаря реализации микросервисной архитектуры, положенной в основу многих информационных систем. Такие информационные системы являются источниками гетерогенных данных, предоставляемых пользователю по запросу через сеть интернет. Данные в виде документов предоставляются сервисами, входящими в состав информационной системы. Объемы таких данных могут быть велики, а для обработки требуются специализированные технологии, имеющиеся в документо-ориентированных хранилищах больших данных (СОБД). В составе ситуационно-ориентированной базы данных реализован микросервис, предоставляющий через свой программный интерфейс данные в формате JSON. Возникает задача загрузки и обработки больших объемов данных в хранилище, где реализованы специализированные статистические функции Map-Reduce. Ручной способ загрузки и получения результатов для СОБД является трудоемким, так как требуется реализация рутинных операций по загрузке данных, применению функций к загруженным данным, созданию функций внутри хранилища и получению результатов. Данная задача не рассматривалась в рамках проекта создания ситуационно-ориентированных баз данных, а возможности по разработке специализированных элементов и методов обработки гетерогенных данных большого объема в иерархической ситуационной модели с требующимся оснащением не исследовались. Разработанные модели обработки документов делают процесс обработки гетерогенных данных менее трудоемким и позволяют создавать собственные приложения на базе ситуационно-ориентированных баз данных, опираясь на введенную модель обработки данных в составе иерархической ситуационной модели с привлечением технологий обработки больших данных специализированных документо-ориентированных хранилищ. Предложенные средства рассматриваются в примере приложения СОБД для решения задач курсового проектирования в учебном процессе с задействованием разработанного микросервиса, насыщенного гетерогенными данными, собранными в процессе дистанционного курсового проектирования.
1. Wilde E., Pautasso C. REST: From Research to Practice. Springer Science & Business Media. 2011:528. DOI:10.1007/978-1-4419-8303-9.
2. Миронов В.В., Гусаренко А.С., Юсупова Н.И. Ситуационно-ориентированные базы данных: polyglot persistence на основе REST-микросервисов. Прикладная информатика. 2019;14(5(83)):87–97. DOI:10.24411/1993-8314-2019-10038.
3. Миронов В.В., Гусаренко А.С., Тугузбаев Г.А. Извлечение семантической информации из графических схем. Информатика и автоматизация. 2021;20(4):940–70. DOI:10.15622/IA.20.4.7
4. Гусаренко А.С., Миронов В.В., Юсупова Н.И. Потоковая обработка больших документов в ситуационно-ориентированных базах данных. ITIDS’2018: Труды 6-ой международной конференции по Информационным технологиями интеллектуальной поддержки принятия решений. Уфа, Россия: УГАТУ; 2018:7–12.
5. Hou X, Li N, Yang H, Liang Q. Comparison of Wordprocessing Document Format in OOXML and ODF. 2010 Sixth International Conference on Semantics, Knowledge and Grids. 2010:297–300. DOI:10.1109/SKG.2010.44.
6. Papadopoulos A., Manolopoulos Y. Parallel bulk-loading of spatial data. Parallel Computing. 2003;29(10):1419–1444. DOI:10.1016/j.parco.2003.05.003.
7. Миронов В.В., Гусаренко А.С., Тугузбаев Г.А. Ситуационно-ориентированные базы данных: формирование персонализированных графических документов для поддержки учебного проектирования. Моделирование, оптимизация и информационные технологии. 22;8(2):1–18. DOI:10.26102/2310-6018/2020.29.2.013.
8. Гусаренко А.С. Усовершенствование модели ситуационно-ориентированной базы данных для взаимодействия с MySQL. Известия высших учебных заведений Приборостроение. 2016;59(5):355–63. DOI:10.17586/0021-3454-2016-59-5-355-363.
9. Mironov V.V., Gusarenko A.S., Yusupova N.I., Smetanin Y.G. JSON documents processing using situation-oriented databases. Acta Polytechnica Hungarica. 2020;17(8):29–40. DOI:10.12700/APH.17.8.2020.8.3.
10. Миронов В.В., Гусаренко А.С., Юсупова Н.И. Мониторинг просмотров видео YouTube в образовательной среде на основе ситуационно-ориентированной базы данных и веб-сервисов RESTful. Системная инженерия и информационные технологии. 2021;3(1(5)):39–49.
11. Mironov V.V., Gusarenko A.S., Yusupova N.I. Building of Virtual Multidocuments Mapping to Real Sources of Data in Situation-Oriented Databases. Communications in Computer and Information Science. 1204 CCIS. 2021:167–178. DOI:10.1007/978-3-030-78273-3_17.
12. Kolonko M., Mullenbach S., Polyglot Persistence in conceptual modeling for information analysis. ACIT’2020: Proc. 10th Int. Conf. on Advanced Computer Information Technologies. 2020:590–594. DOI:10.1109/ACIT49673.2020.9208928.
13. Миронов В.В., Гусаренко А.С., Юсупова Н.И. Ситуационно-ориентированные базы данных: polyglot persistence на основе REST-микросервисов. Прикладная информатика. 2019;14(5(83)):87–97. DOI: 10.24411/1993-8314-2019-10038.
14. Mironov V.V., Gusarenko A.S., Yusupova N.I. Stream handling large volume documents in situationally-oriented databases. International Scientific Journal INDUSTRY 4.0 Scientific Technical Union of Mechanical Engineering “INDUSTRY 4.0.” 2018;3(5):240–4.
15. Mironov V., Gusarenko A., Yusupova N. Stream Documents Processing Invariance in Situation-Oriented Databases. 7th Scientific Conference on Information Technologies for Intelligent Decision Making Support (ITIDS’2019). Atlantis Press; 2019:309–15. DOI:10.2991/itids-19.2019.55.
16. Sakr S., Zomaya A.Y. Handbook of Big Data Technologies. Springer International Publishing; 2017. Available from: https://link.springer.com/book/10.1007/978-3-319-49340-4 (accessed on 12.10.2022).
17. Sakr S., Zomaya A.Y. Encyclopedia of big data technologies. Springer International Publishing; 2019. DOI: 10.1007/978-3-319-77525-8.
18. Bakshi K. Technologies for Big Data. IGI Global; 2014:1–22. DOI: 10.4018/978-1-4666-4699-5.ch001.
19. Singh S., Singh P., Garg R., Mishra P.K. Big Data: Technologies, Trends and Applications. International Journal of Computer Science and Information Technologies. 2015;6(5):4633–4639.
20. Mamedova G.A., Zeynalova L.A., Melikova R.T. Big data technologies in e-learning. Open Education. 2018:16;0(6):41–8. DOI: 10.21686/1818-4243-2017-6-41-48.
21. Jiang D., Ooi B.C., Shi L., Wu S. The performance of MapReduce: an in-depth study. In proceeding Proc VLDB Endow. 2010;3(1–2):472–483. DOI:10.14778/1920841.1920903.
22. Shim K. MapReduce Algorithms for Big Data Analysis. In: Madaan A, Kikuchi S, Bhalla S, editors. Lecture Notes in Computer Science. Databases in Networked Information Systems. Berlin, Heidelberg: Springer; 2013:44–8. DOI: 10.1007/978-3-642-37134-9.
23. Tao Y., Lin W., Xiao X. Minimal MapReduce algorithms. Proceedings of the 2013 ACM SIGMOD International Conference on Management of Data. New York, NY, USA: Association for Computing Machinery; 2013:529–40. DOI:10.1145/2463676.2463719.
24. Győrödi C.A., Dumşe-Burescu D.V., Zmaranda D.R., Győrödi R.Ş., Gabor G.A., Pecherle G.D. Performance Analysis of NoSQL and Relational Databases with CouchDB and MySQL for Application’s Data Storage. Applied Sciences. 2020;10(23):8524. DOI: 10.3390/app10238524.
25. Anderson J.C., Lehnardt J., Slater N. CouchDB: The Definitive Guide: Time to Relax. O’Reilly Media, Inc.; 2010:274.
26. Lennon J. Beginning CouchDB. Apress; 2010:299.
27. Гусаренко А.С. Свидетельство о государственной регистрации программы для ЭВМ № 2022617552. Микросервис ситуационно-ориентированной базы данных для загрузки данных и функций Map-Reduce в документо-ориентированное хранилище. 2022.
28. Гусаренко А.С. Свидетельство о государственной регистрации программы для ЭВМ № 2022617505. Модули ситуационно-ориентированной базы данных для извлечения больших документов и архивов из RESTful-сервисов гетерогенных хранилищ данных. 2022.
29. Apache CouchDB. Доступно по: https://couchdb.apache.org/ (дата обращения 17.10.2022).
30. Миронов В.В., Гусаренко А.С., Юсупова Н.И. Ситуационно-ориентированные базы данных: обработка офисных документов. Моделирование, оптимизация и информационные технологии. 2022:28;10(2):1–16. DOI: 10.26102/2310-6018/2022.37.2.021.
31. Миронов В.В., Гусаренко А.С., Юсупова Н.И. Инвариантность виртуальных данных в ситуационно-ориентированной базе данных при отображении на разнородные хранилища. Вестник компьютерных и информационных технологий. 2017;(1(151)):29–36. DOI: 10.14489/VKIT.2017.01.PP.029-036.
32. Курсовой проект «Базы данных». Доступно по: http://hsm.ugatu.su/artem/dbproj/ (дата обращения 20.10.2022).
