随着社会和科技的发展,离散事件动态系统(DEDS)的性能分析和优化应用已经成为控制与系统、管理、计算机等学科交叉领域内的一个前沿研究方向。半马尔可夫决策过程(SMDP)作为现实中一类广泛的系统模型,可以用来描述大部分的实际系统。由于实际应用的需要,SMDP的优化控制已经成为控制理论界的研究热点之一。性能势理论的完善为SMDP的优化控制提供了一个较为完整的理论框架。 本文主要在性能势的基础上,研究SMDP在紧致行动集上的异步优化算法,且所有算法是折扣准则和平均准则统一的。首先介绍了SMDP在紧致行动集上基于无穷小矩阵A_α~ν的标准数值迭代,给出算法,并证明其收敛性,另外讨论了两种性能准则下的异步数值迭代算法,其中主要介绍Gauss-Seidel迭代和基于样本轨道仿真的异步数值迭代。然后基于性能势的思想对有关的算法进行改进。以上研究结果均可适用于连续时间马尔可夫决策过程(CTMDP)。 传统的理论计算优化算法优化精度高,优化速度快,但不能适用于大规模系统,而基于仿真的优化算法,如TD学习、NDP优化等可以解决理论优化算法的问题,结合这两种方法的特点,本文讨论了异步策略迭代的几种形式,如M步向前策略迭代,基于TD学习的M步向前策略迭代,基于NDP学习的M步向前策略迭代算法。以上几种算法均是折扣准则与平均准则统一的。 本文用一个SMDP的数值实例来说明相关优化算法的应用,比较各种算法的优缺点,该结果可以直接运用到连续时间马尔可夫决策过程中。 在异步优化算法的基础上,文章还介绍了优化仿真平台的构建问题,该平台可根据实际系统的需要,设定参数值,为部分系统的性能优化提供便利。