Инкрементальный метод обновления многомерного куба по неупорядоченному потоку событий журналов информационных систем

Информационные системы формируют большие объёмы событийных журналов, которые используются для анализа работы приложений и сервисов. При этом события могут поступать в аналитический контур позже момента их фактического возникновения и не в исходном порядке. Такая рассинхронизация приводит к ошибкам при построении агрегированных временных показателей, а регулярный полный пересчёт многомерного аналитического куба требует значительных вычислительных затрат. Целью работы является разработка подхода к обновлению многомерного куба по потоку журнальных событий с учётом задержек и нарушения порядка их поступления. Ведущим подходом является разделение итогового представления куба на базовый куб и компенсационный слой. Своевременно поступающие события обновляют базовый куб, а запаздывающие события в пределах заданного горизонта компенсации вносят поправки в компенсационный слой. Для исключения повторного учёта событий используется проверка уникальных идентификаторов. В работе представлена формальная модель события, описаны правила отнесения событий к ячейкам куба по времени возникновения, предложен алгоритм инкрементального обновления и проведён вычислительный эксперимент на программном прототипе. Результаты эксперимента показали, что предложенный метод снижает ошибку агрегатов по сравнению с оконным методом и требует меньшего объёма повторной обработки данных по сравнению с пакетным пересчётом. Материалы статьи представляют практическую ценность для разработки аналитических контуров мониторинга, аудита, анализа событий безопасности и пользовательской активности.

1. Фролов В.А., Хайруллин Г.И., Афанасьев Р.З. Анализ форматов хранения многомерных моделей данных в контексте многомерных кубов. Computational nanotechnology. 2025;12(4):187–194. https://doi.org/10.33693/2313-223X-2025-12-4-187-194

2. Неупокоева Е.В., Быстров В.В. Анализ OLAP-решений для исследования жизнеспособности региональных социально-экономических систем. Труды Кольского научного центра РАН. Серия: Технические науки. 2023;14(7):52–67. https://doi.org/10.37614/2949-1215.2023.14.7.006

3. Akidau T., Begoli E., Chernyak S., et al. Watermarks in stream processing systems: semantics and comparative analysis of Apache Flink and Google cloud dataflow. Proceedings of the VLDB Endowment. 2021;14(12):3135–3147. https://doi.org/10.14778/3476311.3476389

4. Fragkoulis M., Carbone P., Kalavri V., et al. A survey on the evolution of stream processing systems. The VLDB Journal. 2024;33:507–541. https://doi.org/10.1007/s00778-023-00819-8

5. Svingos C., Hernich A., Gildhoff H., et al. Foreign Keys Open the Door for Faster Incremental View Maintenance. Proceedings of the ACM on Management of Data. 2023;1(1):1–25. https://doi.org/10.1145/3588720

6. Cuzzocrea A., Moussa R., Vercelli G. An Innovative Lambda-Architecture-Based Data Warehouse Maintenance Framework for Effective and Efficient Near-Real-Time OLAP over Big Data. In: Big Data – BigData 2018: 7th International Congress, Held as Part of the Services Conference Federation, SCF 2018, June 25–30, 2018, Seattle, WA, USA. Cham: Springer; 2018. P. 149–165. https://doi.org/10.1007/978-3-319-94301-5_12

7. Tahir J., Mayer R., Doblander C., et al. How Reliable are Streams? End-to-End Processing-Guarantee Validation and Performance Benchmarking of Stream Processing Systems. Proceedings of the VLDB Endowment. 2024;18(3):585–598. https://doi.org/10.14778/3712221.3712227

8. Ступников С.А., Скворцов Н.А., Брюхов Д.О. Перспективные методы реализации инкрементального обновления материализованных представлений в современных реляционных системах управления базами данных. Системы и средства информатики. 2025;35(1):95–110. https://doi.org/10.14357/08696527250105

9. Логиновский О.В., Шинкарев А.А., Коваль М.Е. Разработка архитектуры систем информационного поиска на основе очередей сообщений в корпоративных информационных системах. Прикладная математика и вопросы управления. 2021;(1):119–140. (In Russ.). URL: https://doi.org/10.15593/2499-9873/2021.01.07

10. Tang B., Han S., Yiu M.L., et al. Extracting Top-K Insights from Multi-dimensional Data. In: Proceedings of the 2017 ACM International Conference on Management of Data: SIGMOD ’17, May 14–19, 2017, Chicago, IL, USA. New York: Association for Computing Machinery; 2017. P. 1509–1524. https://doi.org/10.1145/3035918.3035922

11. Dehne F., Kong Q., Rau-Chaplin A., et al. Scalable real-time OLAP on cloud architectures. Journal of Parallel and Distributed Computing. 2015;79–80:31–41. https://doi.org/10.1016/j.jpdc.2014.08.006

12. Самарев Р.С. Обзор состояния области потоковой обработки данных. Труды Института системного программирования РАН. 2017;29(1):231–260. (In Russ.).