Разработка системы адаптивного управления ресурсами контейнеризированных САПР на основе обучения с подкреплением

Данный проект посвящен разработке адаптивной системы управления ресурсами для контейнеризированных приложений автоматизированного проектирования (САПР) с использованием обучения с подкреплением. Современные рабочие нагрузки САПР характеризуются высокой изменчивостью вычислительных требований, что делает традиционные механизмы автоматического масштабирования на основе пороговых значений недостаточными для поддержания производительности и надежности в динамических условиях. Для решения этой проблемы предлагаемая система сравнивает классическое автоматическое масштабирование подов Kubernetes на основе пороговых значений (HPA) со стратегией автоматического масштабирования на основе Q-обучения, применяемой к кластерам контейнеров. Экспериментальная установка реализована как симуляция распределенного контейнеризированного кластера и включает в себя настраиваемые модели рабочей нагрузки, представляющие собой легкие, средние, тяжелые и пиковые шаблоны запросов. Производительность системы оценивается с использованием метрик, таких как время отклика, пропускная способность, доступность, экономическая эффективность, среднее время восстановления и ложноположительные события масштабирования. Агент обучения с подкреплением наблюдает за отслеживаемыми системными метриками и изучает политики масштабирования, которые оптимизируют долгосрочную производительность и стабильность за счет многократного взаимодействия с окружающей средой. Интерфейс приложения позволяет пользователям управлять параметрами моделирования, включая количество запусков политик, количество эпизодов за запуск и шагов в эпизоде, а также параметрами конфигурации кластера, такими как количество узлов и ядер на узел. Интенсивность рабочей нагрузки может быть скорректирована для анализа поведения системы в различных сценариях эксплуатации. Такая конфигурация позволяет проводить систематическую оценку адаптивных стратегий автомасштабирования и их влияния на эффективность использования ресурсов и отказоустойчивость в контейнеризированных системах САПР. Исследование представляет собой методологическую новизну благодаря интерактивному интерфейсу оценки, основанному на экспериментах, который объединяет логику моделирования и оркестровки.

1. Богатырев В.А., Богатырев А.В., Богатырев С.В. Оценка надежности выполнения кластерами запросов реального времени. Известия высших учебных заведений. Приборостроение. 2014;57(4):46–48.

2. Богатырев В.А., Фунг В.К. Многокритериальная оптимизация структуры кластера с контейнерной виртуализацией. Известия высших учебных заведений. Приборостроение. 2025;68(5):371–379. https://doi.org/10.17586/0021-3454-2025-68-5-371-379

3. Фунг В.К., Богатырев В.А., Кармановский Н.С., Лэ В.Х. Оценка вероятностно-временных характеристик компьютерной системы с контейнерной виртуализацией. Научно-технический вестник информационных технологий, механики и оптики. 2024;24(2):249–255. https://doi.org/10.17586/2226-1494-2024-24-2-249-255

4. Гусев А.О., Костылева В.В., Разин И.Б. Сравнение алгоритмов балансировки нагрузки. В сборнике: Инновационное развитие техники и технологий в промышленности (ИНТЕКС-2020): Сборник материалов Всероссийской научной конференции молодых исследователей с международным участием, посвященной Юбилейному году в ФГБОУ ВО «РГУ им. А.Н. Косыгина», 14–16 апреля 2020 года, Москва, Россия. Москва: РГУ им. А.Н. Косыгина; 2020. С. 143–146.

5. Zhu J., Zheng Z., Zhou Y., Lyu M.R. Scaling service-oriented applications into geo-distributed clouds. In: 2013 IEEE Seventh International Symposium on Service-Oriented System Engineering, 25–28 March 2013, San Francisco, CA, USA. IEEE; 2013. P. 335–340. https://doi.org/10.1109/SOSE.2013.56

6. Sharma A., Schuhknecht F.M., Dittrich J. The Case for Automatic Database Administration using Deep Reinforcement Learning. arXiv. URL: https://doi.org/10.48550/arXiv.1801.05643 [Accessed 17th January 2026].

7. Munaf R.M., Ahmed J., Khakwani F., Rana T. Microservices architecture: Challenges and proposed conceptual design. In: 2019 International Conference on Communication Technologies (ComTech), 20–21 March 2019, Rawalpindi, Pakistan. IEEE; 2019. P. 82–87. https://doi.org/10.1109/COMTECH.2019.8737831

8. Руденко В.Д., Юдин Н.Е., Васин А.А. Обзор выпуклой оптимизации марковских процессов принятия решений. Компьютерные исследования и моделирование. 2023;15(2):329–353. https://doi.org/10.20537/2076-7633-2023-15-2-329-353

9. Фунг В.К., Богатырев В.А., До М.К. Имитационная модель вычислительного кластера с контейнерной виртуализацией. Вестник компьютерных и информационных технологий. 2025;22(8):3–12. https://doi.org/10.14489/vkit.2025.08.pp.003-012

10. Utkin L.V. Knowledge representation for characterizing economical and technical measures under uncertainty: general approach. In: 9th Interchair Meeting of Economists and Organisers in Wood Industry, Sopron, Hungary. 1998. P. 220.

11. Chadi M.-A., Mousannif H. Understanding Reinforcement Learning Algorithms: The Progress from Basic Q-learning to Proximal Policy Optimization. arXiv. URL: https://doi.org/10.48550/arXiv.2304.00026 [Accessed 15th January 2026].

12. Nguyen Th.-T., Yeom Y.-J., Kim T., Park D.-H., Kim S. Horizontal Pod Autoscaling in Kubernetes for Elastic Container Orchestration. Sensors. 2020;20(16). https://doi.org/10.3390/s20164621

13. Shan Ch., Wu Ch., Xia Y., et al. Adaptive resource allocation for workflow containerization on Kubernetes. Journal of Systems Engineering and Electronics. 2023;34(3):723–743. https://doi.org/10.23919/JSEE.2023.000073