Актуальность темы статьи обусловлена растущим интересом к мультиагентному имитационному моделированию динамических систем различной физической и социальной природы. В настоящее время на первый план выходит концепция интеллектуального агента как имитационной модели поведения активного элемента в сложных ситуациях и стратегиях взаимодействия с другими активными элементами и средой для достижения цели. В общей концепции интеллектуального агента и агентных технологий имитации взаимодействия динамических объектов в направлении достижения цели предлагается метод структурнопараметрического моделирования интеллектуальных агентов и мультиагентных систем с алгоритмами идентификации и прогнозирования состояния агентов, а также программная реализация мультиагентных имитационных моделей производственных, социальных и маркетинговых систем. В этой связи актуальность темы обусловливается необходимостью повышения эффективности мультиагентного обучения с подкреплением в теоретико-игровых задачах поиска оптимальных стратегий. В статье описываются алгоритмы мультиагентного обучения с подкреплением в теоретико-игровых задачах, такие как minimax-Q, когда реализуется минимизации возможных потерь из тех, которые агенту нельзя предотвратить при развитии событий по наихудшему для него сценарию и WoLF-PHC (Win or Learn Fast – Policy Hill Climbing), реализующему политику быстрого выигрыша или быстрого обучения. Показаны достоинства и недостатки данных подходов, принципы их модернизации и возможности реализации указанных подходов в средах имитационного моделирования.
The relevance of the topic of the article is due to the growing interest in multi-agent simulation of dynamic systems of various physical and social nature. Currently, the concept of an intelligent agent as a simulation model of the behavior of the active element in complex situations and strategies for interaction with other active elements and the environment to achieve the goal is coming to the fore. In the general concept of an intelligent agent and agent technologies for simulating the interaction of dynamic objects in the direction of achieving a goal, a method of structural-parametric modeling of intelligent agents and multi-agent systems with algorithms for identifying and predicting the state of agents, as well as software for multi-agent simulation models of production, social and marketing systems. In this regard, the relevance of the topic is determined by the need to increase the effectiveness of multi-agent training with reinforcement in the game-theoretic problems of finding optimal strategies. The article describes multi-agent learning algorithms with reinforcement in game-theoretic problems, such as minimax-Q, when minimizing possible losses from those that cannot be prevented by an agent when events develop according to his worst-case scenario and WoLF-PHC (Win or Learn Fast – Policy Hill Climbing), which implements a policy of quick gain or quick training. In this case, the WoLF-PHC algorithm, which is a modification of the PHC algorithm. The algorithm has different learning speeds when winning an agent and a pro-game. Agent training rates vary to maintain algorithm convergence. The main idea of this algorithm is to learn quickly, losing, and slowly, winning. The advantages and disadvantages of these approaches, the principles of their modernization and the possibility of implementing these approaches in simulation environments are shown.
The authors declare that there are no conflicts of interest present.