<?xml version="1.0" encoding="UTF-8"?>
<article article-type="research-article" dtd-version="1.3" xml:lang="ru" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNamespaceSchemaLocation="https://metafora.rcsi.science/xsd_files/journal3.xsd">
  <front>
    <journal-meta>
      <journal-id journal-id-type="publisher-id">moitvivt</journal-id>
      <journal-title-group>
        <journal-title xml:lang="ru">Моделирование, оптимизация и информационные технологии</journal-title>
        <trans-title-group xml:lang="en">
          <trans-title>Modeling, Optimization and Information Technology</trans-title>
        </trans-title-group>
      </journal-title-group>
      <issn pub-type="epub">2310-6018</issn>
      <publisher>
        <publisher-name>Издательство</publisher-name>
      </publisher>
    </journal-meta>
    <article-meta>
      <article-id pub-id-type="doi">10.26102/2310-6018/2026.56.5.012</article-id>
      <article-id pub-id-type="custom" custom-type="elpub">2226</article-id>
      <title-group>
        <article-title xml:lang="ru">Экспериментальное исследование кооперативного распределения ресурсов в системах обработки больших данных на основе значения Шепли и машинного обучения</article-title>
        <trans-title-group xml:lang="en">
          <trans-title>Experimental study of cooperative resource allocation in big data processing systems based on Shapley value and machine learning</trans-title>
        </trans-title-group>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <name-alternatives>
            <name name-style="eastern" xml:lang="ru">
              <surname>Бляхеров</surname>
              <given-names>Михаил Викторович</given-names>
            </name>
            <name name-style="western" xml:lang="en">
              <surname>Blyakherov</surname>
              <given-names>Mikhail Victorovich</given-names>
            </name>
          </name-alternatives>
          <email>mikhail.blyakherov@gmail.com</email>
          <xref ref-type="aff">aff-1</xref>
        </contrib>
        <contrib contrib-type="author">
          <contrib-id contrib-id-type="orcid">0000-0002-1476-6897</contrib-id>
          <name-alternatives>
            <name name-style="eastern" xml:lang="ru">
              <surname>Львович</surname>
              <given-names>Игорь Яковлевич</given-names>
            </name>
            <name name-style="western" xml:lang="en">
              <surname>Lvovich</surname>
              <given-names>Igor Yakovlevich</given-names>
            </name>
          </name-alternatives>
          <email>i-ya-lvovich@vivt.ru</email>
          <xref ref-type="aff">aff-2</xref>
        </contrib>
      </contrib-group>
      <aff-alternatives id="aff-1">
        <aff xml:lang="ru">Воронежский институт высоких технологий</aff>
        <aff xml:lang="en">Voronezh Institute of High Technologies</aff>
      </aff-alternatives>
      <aff-alternatives id="aff-2">
        <aff xml:lang="ru">Воронежский институт высоких технологий</aff>
        <aff xml:lang="en">Voronezh Institute of High Technologies</aff>
      </aff-alternatives>
      <pub-date pub-type="epub">
        <day>01</day>
        <month>01</month>
        <year>2026</year>
      </pub-date>
      <volume>1</volume>
      <issue>1</issue>
      <elocation-id>10.26102/2310-6018/2026.56.5.012</elocation-id>
      <permissions>
        <copyright-statement>Copyright © Авторы, 2026</copyright-statement>
        <copyright-year>2026</copyright-year>
        <license license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/">
          <license-p>This work is licensed under a Creative Commons Attribution 4.0 International License</license-p>
        </license>
      </permissions>
      <self-uri xlink:href="https://moitvivt.ru/ru/journal/article?id=2226"/>
      <abstract xml:lang="ru">
        <p>Оптимальное и справедливое распределение вычислительных ресурсов в динамичных средах обработки больших данных (Big Data), таких как Apache Spark, остается сложной задачей. Традиционные планировщики часто не учитывают синергетические эффекты кооперации между задачами, что приводит к неэффективности и конфликтам. Целью данной работы является экспериментальное исследование и верификация гибридного подхода к кооперативному распределению ресурсов, основанного на формальных принципах теории кооперативных игр и адаптивных возможностях машинного обучения. В работе формализована модель кооперативной игры, где коалиции параллельных задач характеризуются функцией полезности, зависящей от выделенных ресурсов. Для обеспечения устойчивости и справедливости введены условия равновесия (ядро игры), а распределение основано на значении Шепли, оценивающем маржинальный вклад каждой задачи. Для преодоления аналитической сложности оценки полезности в реальных условиях предложено использование ML-моделей (градиентный бустинг, графовые нейронные сети), обученных на исторических метриках кластера, в качестве аппроксиматоров характеристической функции игры. Разработан и развернут экспериментальный стенд на базе Apache Spark с системой мониторинга Prometheus/Grafana. В ходе экспериментов показано, что предложенный подход обеспечивает динамическое и сбалансированное распределение ресурсов (CPU, память), повышает стабильность коалиций задач и улучшает общую справедливость распределения (индекс Джинни, fairness index) по сравнению с базовыми сценариями. Визуализация ключевых метрик подтвердила достижение состояний, близких к ядру игры. Исследование демонстрирует практическую применимость и эффективность сочетания теоретико-игровых моделей и машинного обучения для интеллектуального управления ресурсами в распределенных системах Big Data, открывая путь к созданию самооптимизирующихся и кооперативных оркестраторов.</p>
      </abstract>
      <trans-abstract xml:lang="en">
        <p>Optimal and equitable allocation of computing resources in dynamic Big Data environments such as Apache Spark remains a challenge. Traditional planners often do not take into account the synergetic effects of cooperation between tasks, which leads to inefficiency and conflicts. The purpose of this work is to experimentally investigate and verify a hybrid approach to cooperative resource allocation based on the formal principles of cooperative game theory and adaptive machine learning capabilities. The paper formalizes a model of a cooperative game, where coalitions of parallel tasks are characterized by a utility function depending on the allocated resources. To ensure stability and fairness, equilibrium conditions (the core of the game) have been introduced, and the distribution is based on the Shapley value, which estimates the marginal contribution of each task. To overcome the analytical complexity of evaluating utility in real conditions, it is proposed to use ML models (gradient boosting, graph neural networks) trained on historical cluster metrics as approximators of the characteristic function of the game. An experimental bench based on Apache Spark with the Prometheus/Grafana monitoring system has been developed and deployed. Experiments have shown that the proposed approach provides a dynamic and balanced allocation of resources (CPU, memory), increases the stability of task coalitions, and improves overall distribution equity (Ginny index) compared to the baseline scenarios. Visualization of key metrics confirmed the achievement of states close to the core of the game. The study demonstrates the practical applicability and effectiveness of combining game-theoretic models and machine learning for intelligent resource management in distributed Big Data systems, paving the way for the creation of self-optimizing and cooperative orchestrators.</p>
      </trans-abstract>
      <kwd-group xml:lang="ru">
        <kwd>распределение ресурсов</kwd>
        <kwd>кооперативная теория игр</kwd>
        <kwd>значение Шепли</kwd>
        <kwd>машинное обучение</kwd>
        <kwd>большие данные</kwd>
        <kwd>Apache Spark</kwd>
        <kwd>мониторинг</kwd>
      </kwd-group>
      <kwd-group xml:lang="en">
        <kwd>resource allocation</kwd>
        <kwd>cooperative game theory</kwd>
        <kwd>Shapley value</kwd>
        <kwd>machine learning</kwd>
        <kwd>big data</kwd>
        <kwd>Apache Spark</kwd>
        <kwd>monitoring</kwd>
      </kwd-group>
      <funding-group>
        <funding-statement xml:lang="ru">Исследование выполнено без спонсорской поддержки.</funding-statement>
        <funding-statement xml:lang="en">The study was performed without external funding.</funding-statement>
      </funding-group>
    </article-meta>
  </front>
  <back>
    <ref-list>
      <title>References</title>
      <ref id="cit1">
        <label>1</label>
        <mixed-citation xml:lang="ru">Бляхеров М.В., Петрова Е.С. Теоретико-игровые модели координации ресурсов в распределённых системах потокового анализа данных. Моделирование, оптимизация и информационные технологии. 2025;13(4). https://doi.org/10.26102/2310-6018/2025.51.4.068</mixed-citation>
      </ref>
      <ref id="cit2">
        <label>2</label>
        <mixed-citation xml:lang="ru">Kim S. Cooperative Game-Based Virtual Machine Resource Allocation Algorithms in Cloud Data Centers. Mobile Information Systems. 2020;2020. https://doi.org/10.1155/2020/9840198</mixed-citation>
      </ref>
      <ref id="cit3">
        <label>3</label>
        <mixed-citation xml:lang="ru">Bertossi L., Kimelfeld B., Livshits E., Monet M. The Shapley Value in Database Management. arXiv. URL: https://arxiv.org/abs/2401.06234 [Accessed 26th December 2025].</mixed-citation>
      </ref>
      <ref id="cit4">
        <label>4</label>
        <mixed-citation xml:lang="ru">Shapley L.S. A Value for n-Person Games. In: Contributions to the Theory of Games: Volume II. Princeton: Princeton University Press; 1953. P. 307–317. https://doi.org/10.1515/9781400881970-018</mixed-citation>
      </ref>
      <ref id="cit5">
        <label>5</label>
        <mixed-citation xml:lang="ru">Colini-Baldeschi R., Scarsini M., Vaccari S. Variance Allocation and Shapley Value. arXiv. URL: https://arxiv.org/abs/1606.09424 [Accessed 26th December 2025].</mixed-citation>
      </ref>
      <ref id="cit6">
        <label>6</label>
        <mixed-citation xml:lang="ru">Zhou J., Wen G., Lv Y., Yang T., Chen G. DRAG: Distributed Resource Allocation Games over Multiple Interacting Coalitions. arXiv. URL: https://arxiv.org/abs/2210.02919 [Accessed 26th December 2025].</mixed-citation>
      </ref>
      <ref id="cit7">
        <label>7</label>
        <mixed-citation xml:lang="ru">Cardellini V., De Nitto Personé V., Di Valerio V., et al. A Game-Theoretic Approach to Computation Offloading in Mobile Cloud Computing. Mathematical Programming. 2016;157(2):421–449. https://doi.org/10.1007/s10107-015-0881-6</mixed-citation>
      </ref>
      <ref id="cit8">
        <label>8</label>
        <mixed-citation xml:lang="ru">Разумовский Д.А., Волков Д.Д., Стучилин В.В. Архитектура системы сбора и хранения метрик использования ресурсов Spark-приложений в кластерных системах обработки больших данных. Международный научно-исследовательский журнал. 2025;(12). https://doi.org/10.60797/IRJ.2025.162.81</mixed-citation>
      </ref>
      <ref id="cit9">
        <label>9</label>
        <mixed-citation xml:lang="ru">Elradi M.D. Prometheus and Grafana: A Metrics-focused Monitoring Stack. Journal of Computer Allied Intelligence. 2025;3(3):28–39. https://doi.org/10.69996/jcai.2025015</mixed-citation>
      </ref>
      <ref id="cit10">
        <label>10</label>
        <mixed-citation xml:lang="ru">Mehdi A., Bali M.K., Abbas S.I., Singh M. Unleashing the Potential of Grafana: A Comprehensive Study on Real-Time Monitoring and Visualization. In: 2023 14th International Conference on Computing Communication and Networking Technologies (ICCCNT), 06–08 July 2023, Delhi, India. IEEE; 2023. https://doi.org/10.1109/ICCCNT56998.2023.10306699</mixed-citation>
      </ref>
    </ref-list>
    <fn-group>
      <fn fn-type="conflict">
        <p>The authors declare that there are no conflicts of interest present.</p>
      </fn>
    </fn-group>
  </back>
</article>