РАЗРАБОТКА МЕТОДА САМОАДАПТАЦИИ ПРИКЛАДНОЙ ПРОГРАММНОЙ СИСТЕМЫ НА ОСНОВЕ ТЕХНОЛОГИИ МАШИННОГО ОБУЧЕНИЯ

В статье рассмотрены вопросы разработки метода самоадаптации прикладных программных систем на основе технологии машинного обучения. Рассмотрены различия между Model-Based и Model-Free подходами в обучении с подкреплением, обоснован выбор ModelBased подхода для создания метода самоадаптации программного обеспечения. Рассмотрено определение расширенного марковского процесса принятия решений, учитывающего роль ситуации в ходе самоадаптации программы. Предложена математическая модель пространства состояний программной системы, основанная на гиперграфовой формализации модели характеристик. На основе расширенного определения марковского процесса принятия решений, предложенной модели пространства состояний системы и концепции Model-Based подхода к машинному обучению с подкреплением разработан новый метод самоадаптации программного обеспечения, учитывающий влияние действий, производимых системой, на состояние окружающей среды. Приведен практический пример использования метода.

1. Han H. Model-based Reinforcement Learning Approach for Planning in Self-Adaptive System. International Conference on Ubiquitous Information Management and Communication. New Jersey: IEEE; 2015:156-178.

2. Simmonds J., Bastarrica M.C. Modeling variability in software process lines. Departamento de Ciencias de la Computación. 2011;4:93-100.

3. Бершадский А.М., Бождай А.С., Евсеева Ю.И., Гудков А.А. Математическая модель рефлексии самоадаптивных программных систем. Известия Волгоградского государственного технического университета. 2018;8:7-14.

4. Бождай А.С., Евсеева Ю.И. Метод рефлексивной самоадаптации программных систем. Известия высших учебных заведений. Поволжский регион. Технические науки. 2018;46(2):74-86.

5. Machine Learning Proceedings 1991: Proceedings of the Eighth International Workshop (ML91). Elsevier Science; 2014.

6. Silver D. Reinforcement learning and simulation-based search in computer go. Alta., Canada: University of Alberta Edmonton; 2009

7. Fishman, George S. Monte Carlo: concepts, algorithms, and applications. Springer; 1996.

8. Colum R. Efficient Selectivity and Backup Operators in Monte-Carlo Tree Search. Computers and Games, 5th International Conference. Turin, Italy: Springer; 2006.