В статье рассмотрены вопросы разработки метода самоадаптации прикладных программных систем на основе технологии машинного обучения. Рассмотрены различия между Model-Based и Model-Free подходами в обучении с подкреплением, обоснован выбор ModelBased подхода для создания метода самоадаптации программного обеспечения. Рассмотрено определение расширенного марковского процесса принятия решений, учитывающего роль ситуации в ходе самоадаптации программы. Предложена математическая модель пространства состояний программной системы, основанная на гиперграфовой формализации модели характеристик. На основе расширенного определения марковского процесса принятия решений, предложенной модели пространства состояний системы и концепции Model-Based подхода к машинному обучению с подкреплением разработан новый метод самоадаптации программного обеспечения, учитывающий влияние действий, производимых системой, на состояние окружающей среды. Приведен практический пример использования метода.
The article discusses development and application issues of software self-adaptation method based on machine learning technology. The differences between the Model-Based and Model-Free approaches in reinforcement learning are considered, the choice of the Model-Based approach for creating a software self-adaptation method is substantiated. The definition of an expanded Markov decision-making process that takes into account the role of the situation in the course of program selfadaptation is considered. A mathematical model of the state space of the software system is proposed, based on the hypergraphic formalization of the model of characteristics. Based on the expanded definition of the Markov decision-making process, the proposed model of the state space of the system, and the concept of the Model-Based approach to machine learning with reinforcement, a new method of software self-adaptation was developed that takes into account the effect of the actions performed by the system on the state of the environment. A practical example of using the method is given.
The authors declare that there are no conflicts of interest present.