奇异摄动系统是一类快、慢动态耦合的双时间尺度系统,广泛存在于电力系统、化工过程、机器人等领域。现有奇异摄动系统最优控制方法主要局限于模型参数已知的情况。自适应动态规划是一种可以在模型完全未知下设计最优控制器的自学习技术,已经广泛用于解决弱耦合、双线性、交联等复杂系统相关最优控制问题。由于共存的快、慢现象,现有自学习最优控制方法直接应用到模型未知的奇异摄动系统上会导致“病态数值问题”。因此,本论文面向模型未知的线性奇异摄动系统,把自适应动态规划方法和系统的双时间尺度结构特点相结合,研究基于策略迭代的自学习最优控制方法,目标是克服常规自学习控制方法的“病态数值问题”,提出良性的在线学习算法。主要工作概括如下:1.针对模型未知的线性奇异摄动系统最优状态调节控制问题,设计一种基于策略迭代的在线学习算法。首先,基于代价函数参数矩阵解的结构特点,重构传统Kleinman算法涉及的Lyapunov方程,提出一种改进的Kleinman算法;其次,根据积分贝尔曼方程和系统双时间尺度特性,设计一种基于数据的良性在线策略迭代算法;然后,在分析两种算法等价性的基础上证明所提在线算法的收敛性与闭环系统的稳定性;最后,通过仿真验证所提方法具有更好的鲁棒性。2.针对模型未知的线性奇异摄动系统混合H₂/H_∞控制问题,设计一种基于策略迭代的在线学习算法。首先,基于代价函数参数矩阵解的结构特点,重构递归迭代算法所涉及的Lyapunov方程组,提出一种以任意稳定反馈增益为初始条件的离线算法;其次,利用实时测量的数据,设计一种良性的在线策略迭代算法;然后,分析所提在线算法的收敛性与闭环系统的稳定性;最后,通过数值仿真验证所提方法的可行性。3.针对模型未知的线性奇异摄动系统最优输出跟踪控制问题,设计一种基于策略迭代的在线学习算法。首先,构造由参考轨迹和原系统组成的增广模型,将跟踪问题转换为增广系统的调节控制;其次,设计一种基于数据的良性策略迭代算法,同时学习前馈和反馈控制增益矩阵;然后,证明所提在线算法的收敛性与闭环系统的稳定性;最后,通过一个直流电机系统的仿真例子验证所提方法的有效性。