Современные распределённые системы потокового анализа данных, такие как Apache Spark, сталкиваются с фундаментальной проблемой координации ресурсов в условиях стратегического поведения вычислительных узлов. Традиционные алгоритмы планирования (FIFO, Fair Scheduler) не учитывают, что каждый исполнитель (executor) стремится максимизировать собственную локальную производительность, что приводит к системным проблемам: «трагедии общих ресурсов», дисбалансу нагрузки из-за перекоса данных (Data Skew) и общему снижению эффективности кластера. В статье предлагается подход к решению этой проблемы на основе теоретико-игрового моделирования. Исследование систематизирует и адаптирует кооперативные и некооперативные модели теории игр для задач управления ресурсами в среде Apache Spark. В рамках кооперативного подхода детально формализован и адаптирован алгоритм Shapley Value, позволяющий количественно оценить вклад каждого вычислительного узла в общую производительность системы и обеспечить справедливое распределение вычислительных ресурсов между участниками коалиции. Для управления конкуренцией разработан аукционный механизм, основанный на принципе Викри (второй цены), который стимулирует узлы к честному заявлению своих потребностей. Практическая значимость работы подтверждена разработкой и внедрением модульной подсистемы оптимизации, интегрированной со стеком мониторинга Prometheus/Grafana. Экспериментальные результаты на синтетических данных демонстрируют, что предложенный подход позволяет снизить среднее время выполнения задач и улучшить балансировку нагрузки по сравнению со стандартными планировщиками. Работа вносит вклад в создание самооптимизирующихся распределённых систем, способных эффективно функционировать в условиях конкуренции за ресурсы.
Modern distributed streaming data analysis systems such as Apache Spark face the fundamental problem of resource coordination in the context of the strategic behavior of computing nodes. Traditional scheduling algorithms (FIFO, Fair Scheduler) do not take into account that each executor strives to maximize its own local performance, which leads to systemic problems: "tragedies of shared resources", load imbalance due to data skew and an overall decrease in cluster efficiency. The article suggests an approach to solving this problem based on game-theoretic modeling. The research systematizes and adapts cooperative and non-cooperative game theory models for resource management tasks in the Apache Spark environment. As part of the cooperative approach, the Shapley Value algorithm has been formalized and adapted in detail, making it possible to quantify the contribution of each computing node to the overall performance of the system and ensure a fair distribution of computing resources among the coalition participants. To manage competition, an auction mechanism based on the Vickery principle (second price) has been developed, which encourages nodes to honestly state their needs. The practical significance of the work is confirmed by the development and implementation of a modular optimization subsystem integrated with the Prometheus/Grafana monitoring stack. Experimental results based on synthetic data demonstrate that the proposed approach reduces the average task execution time and improves load balancing compared to standard schedulers. The work contributes to the creation of self-optimizing distributed systems capable of operating effectively in conditions of competition for resources.
The authors declare that there are no conflicts of interest present.