Экспериментальное исследование кооперативного распределения ресурсов в системах обработки больших данных на основе значения Шепли и машинного обучения

Оптимальное и справедливое распределение вычислительных ресурсов в динамичных средах обработки больших данных (Big Data), таких как Apache Spark, остается сложной задачей. Традиционные планировщики часто не учитывают синергетические эффекты кооперации между задачами, что приводит к неэффективности и конфликтам. Целью данной работы является экспериментальное исследование и верификация гибридного подхода к кооперативному распределению ресурсов, основанного на формальных принципах теории кооперативных игр и адаптивных возможностях машинного обучения. В работе формализована модель кооперативной игры, где коалиции параллельных задач характеризуются функцией полезности, зависящей от выделенных ресурсов. Для обеспечения устойчивости и справедливости введены условия равновесия (ядро игры), а распределение основано на значении Шепли, оценивающем маржинальный вклад каждой задачи. Для преодоления аналитической сложности оценки полезности в реальных условиях предложено использование ML-моделей (градиентный бустинг, графовые нейронные сети), обученных на исторических метриках кластера, в качестве аппроксиматоров характеристической функции игры. Разработан и развернут экспериментальный стенд на базе Apache Spark с системой мониторинга Prometheus/Grafana. В ходе экспериментов показано, что предложенный подход обеспечивает динамическое и сбалансированное распределение ресурсов (CPU, память), повышает стабильность коалиций задач и улучшает общую справедливость распределения (индекс Джинни, fairness index) по сравнению с базовыми сценариями. Визуализация ключевых метрик подтвердила достижение состояний, близких к ядру игры. Исследование демонстрирует практическую применимость и эффективность сочетания теоретико-игровых моделей и машинного обучения для интеллектуального управления ресурсами в распределенных системах Big Data, открывая путь к созданию самооптимизирующихся и кооперативных оркестраторов.

1. Бляхеров М.В., Петрова Е.С. Теоретико-игровые модели координации ресурсов в распределённых системах потокового анализа данных. Моделирование, оптимизация и информационные технологии. 2025;13(4). https://doi.org/10.26102/2310-6018/2025.51.4.068

2. Kim S. Cooperative Game-Based Virtual Machine Resource Allocation Algorithms in Cloud Data Centers. Mobile Information Systems. 2020;2020. https://doi.org/10.1155/2020/9840198

3. Bertossi L., Kimelfeld B., Livshits E., Monet M. The Shapley Value in Database Management. arXiv. URL: https://arxiv.org/abs/2401.06234 [Accessed 26th December 2025].

4. Shapley L.S. A Value for n-Person Games. In: Contributions to the Theory of Games: Volume II. Princeton: Princeton University Press; 1953. P. 307–317. https://doi.org/10.1515/9781400881970-018

5. Colini-Baldeschi R., Scarsini M., Vaccari S. Variance Allocation and Shapley Value. arXiv. URL: https://arxiv.org/abs/1606.09424 [Accessed 26th December 2025].

6. Zhou J., Wen G., Lv Y., Yang T., Chen G. DRAG: Distributed Resource Allocation Games over Multiple Interacting Coalitions. arXiv. URL: https://arxiv.org/abs/2210.02919 [Accessed 26th December 2025].

7. Cardellini V., De Nitto Personé V., Di Valerio V., et al. A Game-Theoretic Approach to Computation Offloading in Mobile Cloud Computing. Mathematical Programming. 2016;157(2):421–449. https://doi.org/10.1007/s10107-015-0881-6

8. Разумовский Д.А., Волков Д.Д., Стучилин В.В. Архитектура системы сбора и хранения метрик использования ресурсов Spark-приложений в кластерных системах обработки больших данных. Международный научно-исследовательский журнал. 2025;(12). https://doi.org/10.60797/IRJ.2025.162.81

9. Elradi M.D. Prometheus and Grafana: A Metrics-focused Monitoring Stack. Journal of Computer Allied Intelligence. 2025;3(3):28–39. https://doi.org/10.69996/jcai.2025015

10. Mehdi A., Bali M.K., Abbas S.I., Singh M. Unleashing the Potential of Grafana: A Comprehensive Study on Real-Time Monitoring and Visualization. In: 2023 14th International Conference on Computing Communication and Networking Technologies (ICCCNT), 06–08 July 2023, Delhi, India. IEEE; 2023. https://doi.org/10.1109/ICCCNT56998.2023.10306699