Теоретические основы мониторинга изменений больших данных в крупномасштабных разреженных невзвешенных сетях с облачной обработкой

Сети широко используются для представления интерактивных взаимосвязей между отдельными элементами в сложных системах больших данных, таких как облачный Интернет. Определяемые причины в системах могут приводить к резкому увеличению или уменьшению частоты взаимодействия в соответствующей сети, что позволяет выявлять такие определяемые причины, отслеживая уровень взаимодействия в сети. Один из методов обнаружения изменений заключается в том, что сначала между каждой парой узлов, которые взаимодействовали в течение заданного интервала времени, проводится ребро, чтобы создать сетевой граф. Затем топологические характеристики графа, такие как степень, близость и посредничество, могут рассматриваться как одномерные или многомерные данные для онлайн-мониторинга. Однако существующие методы статистического управления процессами (SPC) для невзвешенных сетей почти не учитывают ни разреженность сети, ни направление взаимодействия между двумя узлами сети, то есть парное взаимодействие. При исключении неактивных парных взаимодействий предложенная процедура оценки параметров обеспечивает более высокую согласованность при меньших вычислительных затратах, чем альтернативный вариант, когда сети являются крупномасштабными и разреженными. Разработанные на основе матричной вероятностной модели для описания направленных парных взаимодействий в рамках независимых от времени невзвешенных сетей больших данных с облачной обработкой матрицы значительно упрощают оценку параметров, эффективность которой повышается за счет автоматического исключения парных взаимодействий, которые на самом деле не происходят. Затем предложенная модель интегрируется в функцию многомерного распределения для онлайн-мониторинга уровня коммуникации в сети.

1. Paranjape A., Benson A.R., Leskovec J. Motifs in Temporal Networks. In: WSDM '17: Proceedings of the Tenth ACM International Conference on Web Search and Data Mining, 06–10 February 2017, Cambridge, United Kingdom. New York: Association for Computing Machinery; 2017. P. 601–610. https://doi.org/10.1145/3018661.3018731

2. Li B., Solea E. A Nonparametric Graphical Model for Functional Data with Application to Brain Networks Based on fMRI. Journal of the American Statistical Association. 2018;113(524):1637–1655. https://doi.org/10.1080/01621459.2017.1356726

3. Yang H., Kumara S., Bukkapatnam S.T.S., Tsung F. The Internet of Things for Smart Manufacturing: A Review. IISE Transactions. 2019;51(11):1190–1216. https://doi.org/10.1080/24725854.2018.1555383

4. Zou N., Li J. Modeling and Change Detection of Dynamic Network Data by a Network State Space Model. IISE Transactions. 2017;49(1):45–57. https://doi.org/10.1080/0740817X.2016.1198065

5. Pandit Sh., Chau D.H., Wang S., Faloutsos Ch. Netprobe: A Fast and Scalable System for Fraud Detection in Online Auction Networks. In: WWW '07: Proceedings of the 16th International Conference on World Wide Web, 08–12 May 2007, Banff, Alberta, Canada. New York: Association for Computing Machinery; 2007. P. 201–210. https://doi.org/10.1145/1242572.1242600

6. McCulloh I., Carley K.M. Detecting Change in Longitudinal Social Networks. Journal of Social Structure. 2011;12(1). https://doi.org/10.21307/joss-2019-031

7. Woodall W.H., Zhao M.J., Paynabar K., Sparks R., Wilson J.D. An Overview and Perspective on Social Network Monitoring. IISE Transactions. 2017;49(3):354–365. https://doi.org/10.1080/0740817X.2016.1213468

8. Hosseini S.S., Noorossana R. Performance Evaluation of EWMA and CUSUM Control Charts to Detect Anomalies in Social Networks Using Average and Standard Deviation of Degree Measures. Quality and Reliability Engineering International. 2018;34(4):477–500. https://doi.org/10.1002/qre.2267

9. Marchette D. Scan Statistics on Graphs. WIREs Computational Statistics. 2012;4(5):466–473. https://doi.org/10.1002/wics.1217

10. Perry M.B. An EWMA Control Chart for Categorical Processes with Applications to Social Network Monitoring. Journal of Quality Technology. 2019;52(2):182–197. https://doi.org/10.1080/00224065.2019.1571343

11. Goldenberg A., Zheng A.X., Fienberg S.E., Airoldi E.M. A Survey of Statistical Network Models. Foundations and Trends® in Machine Learning. 2010;2(2):129–233. https://doi.org/10.1561/2200000005

12. Dong H., Chen N., Wang K. Modeling and Change Detection for Count-Weighted Multilayer Networks. Technometrics. 2020;62(2):184–195. https://doi.org/10.1080/00401706.2019.1625812

13. Azarnoush B., Paynabar K., Bekki J., Runger G. Monitoring Temporal Homogeneity in Attributed Network Streams. Journal of Quality Technology. 2016;48(1):28–43. https://doi.org/10.1080/00224065.2016.11918149

14. Gahrooei M.R., Paynabar K. Change Detection in a Dynamic Stream of Attributed Networks. Journal of Quality Technology. 2018;50(4):418–430. https://doi.org/10.1080/00224065.2018.1507558

15. Holland P.W., Leinhardt S. An Exponential Family of Probability Distributions for Directed Graphs. Journal of the American Statistical Association. 1981;76(373):33–50. https://doi.org/10.1080/01621459.1981.10477598

16. Гетманская Д.В. Исследование парных взаимодействий в мониторинге невзвешенных ненаправленных сетей. Системы управления и информационные технологии. 2025;(2-1):30–36.