Современные распределённые системы потокового анализа данных, такие как Apache Spark, сталкиваются с фундаментальной проблемой координации ресурсов в условиях стратегического поведения вычислительных узлов. Традиционные алгоритмы планирования (FIFO, Fair Scheduler) не учитывают, что каждый исполнитель (executor) стремится максимизировать собственную локальную производительность, что приводит к системным проблемам: «трагедии общих ресурсов», дисбалансу нагрузки из-за перекоса данных (Data Skew) и общему снижению эффективности кластера. В статье предлагается подход к решению этой проблемы на основе теоретико-игрового моделирования. Исследование систематизирует и адаптирует кооперативные и некооперативные модели теории игр для задач управления ресурсами в среде Apache Spark. В рамках кооперативного подхода детально формализован и адаптирован алгоритм Shapley Value, позволяющий количественно оценить вклад каждого вычислительного узла в общую производительность системы и обеспечить справедливое распределение вычислительных ресурсов между участниками коалиции. Для управления конкуренцией разработан аукционный механизм, основанный на принципе Викри (второй цены), который стимулирует узлы к честному заявлению своих потребностей. Практическая значимость работы подтверждена разработкой и внедрением модульной подсистемы оптимизации, интегрированной со стеком мониторинга Prometheus/Grafana. Экспериментальные результаты на синтетических данных демонстрируют, что предложенный подход позволяет снизить среднее время выполнения задач и улучшить балансировку нагрузки по сравнению со стандартными планировщиками. Работа вносит вклад в создание самооптимизирующихся распределённых систем, способных эффективно функционировать в условиях конкуренции за ресурсы.
1. Zaharia M., Chowdhury M., Das T., et al. Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing. In: NSDI'12: Proceedings of the 9th USENIX Conference on Networked Systems Design and Implementation, 25–27 April 2012, San Jose, CA, USA. Berkeley: USENIX Association; 2012. URL: https://dl.acm.org/doi/10.5555/2228298.2228301
2. Nash J.F. Equilibrium Points in n-Person Games. Proceedings of the National Academy of Sciences. 1950;36(1):48–49. https://doi.org/10.1073/pnas.36.1.48
3. Shapley L.S. A Value for n-Person Games. In: Contributions to the Theory of Games II. Princeton: Princeton University Press; 1953. P. 307–317.
4. Leyton-Brown K., Shoham Y. Essentials of Game Theory. A Concise, Multidisciplinary Introduction. Morgan & Claypool Publishers; 2008. 88 p.
5. Марц Н., Уоррен Дж. Большие данные. Принципы и практика построения масштабируемых систем обработки данных в реальном времени. Москва: Вильямс; 2016. 368 с.
6. Перрен Ж.-Ж. Spark в действии. С примерами Java, Python и Scala. Москва: ДМК Пресс; 2021. 636 с.
7. Qiu H., Zhu K., Luong N.C., Yi Ch., Niyato D., Kim D.I. Applications of Auction and Mechanism Design in Edge Computing: A Survey. arXiv. URL: https://arxiv.org/abs/2105.03559 [Accessed 15th October 2025].
8. Таулли Т. Основы искусственного интеллекта. Нетехническое введение. Санкт-Петербург: БХВ-Петербург; 2021. 288 с.
9. Vickrey W. Counterspeculation, Auctions, and Competitive Sealed Tenders. Journal of Finance. 1961;16(1):8–37. https://doi.org/10.1111/J.1540-6261.1961.TB02789.X
10. Cardellini V., De Nitto Personé V., Di Valerio V., et al. A Game-Theoretic Approach to Computation Offloading in Mobile Cloud Computing. Mathematical Programming. 2016;157(2):421–449. https://doi.org/10.1007/s10107-015-0881-6
Бляхеров Михаил Викторович
Воронежский институт высоких технологий
Воронеж, Российская Федерация
Петрова Елена Сергеевна
Воронежский государственный технический университет
Воронеж, Российская Федерация
