本文主要针对一类Markov跳变系统自适应优化控制算法进行了深入地研究。Markov跳变系统作为一种混杂动态系统,其内部各子系统之间的跳变和切换遵循一定的跳变规律。Markov跳变系统包含状态和模态两种动态机制,这就导致跳变系统子系统之间由于切换率存在一定的耦合关系。基于此,本文引入了子系统分解技术,用于对各子系统之间的耦合关系进行解耦。在子系统分解技术基础上,对Markov跳变系统自适应优化控制算法进行了进一步的研究。另一方面,强化学习算法作为一种智能学习算法,可用来在线求解线性/非线性系统的优化控制问题的相关算法,并获得了许多好的研究成果。针对跳变系统的自适应优化控制研究中,现有的成果更多的是离线的方法。即使存在在线求解的成果,求解过程也是与系统模型相关的,即求解时需要提前获知系统内部动态矩阵信息。基于此,本文提出了一种新的强化学习算法,根据在线的学习和迭代算法求解满足Markov跳变系统满足给定的性能指标的优化控制器。具体研究内容如下:(1)研究了一类连续时间Markov跳变系统的优化控制问题。基于子系统分解技术提出了一种在线的强化学习算法,首先通过Bellman优化准则,将跳变系统的优化控制求解问题转换为求解一组具有耦合关系的Riccati方程。通过等价转换Riccati方程,采用强化学习算法在线求得跳变系统的自适应优化控制器。在此求解过程中,系统的内部动态矩阵的相关信息是不需要提前预知的,即算法是与系统模型无关的。随后,给出了所设计算法的收敛证明,并通过仿真结果验证了算法的正确性和可应用性。(2)研究了一类连续时间Markov跳变系统的两层零和控制问题。利用提出的强化学习算法,在线求解满足系统零和控制策略指标的控制器,并证明了所设计算法的收敛性和可行性。(3)研究了一类连续时间Markov跳变系统非零和微分反馈Nash控制问题。通过算法公式变换简化双输入系统的耦合关系的Riccati方程,结合子系统分解技术和离线策略迭代算法,求解出Markov跳变系统非零和微分反馈Nash控制器。该算法的迭代过程主要分为策略迭代和策略更新两步完成。数值仿真也验证了本文设计算法的有效性。最后,对于本文所设计的优化控制算法,给出了概括性的总结,并展望指出有待解决的问题和今后的具体研究方向。