很多实际的工程系统在运行过程中存在模型不确定、噪声干扰和参数嬗变等现象,给系统跟踪控制带来新的问题,常用的解决方法主要有模型自适应控制、鲁棒控制等。其中,鲁棒H_∞反馈控制方法虽然对系统的有界不确定性具有很好的效果,但在设计控制器时仍需要知道系统参数信息,对于参数未知或状态不可测系统,该方法的应用具有很大的局限性。因此,本文针对未知离散线性系统的H_∞跟踪控制律的设计问题,提出了一系列新的在线强化Q学习算法,解决了受控系统模型不确定和鲁棒控制问题。基于此,本文研究工作主要包括:1)针对H_∞跟踪控制问题,构建了一个由原受控系统和命令发生器系统组成的增广系统模型,引入了折扣性能函数,并建立折扣的博弈代数Riccati方程。接着,提出了博弈代数Riccati方程唯一解的存在条件,给出了保证系统闭环稳定的折扣因子的下界,并证明了H_∞跟踪控制律的稳定性。2)基于上述模型与理论,推导了on-policy Q函数和递归Bellman方程,并以此提出了在系统动态信息未知时习得H_∞跟踪控制律的全状态反馈和输出反馈两种on-policy强化Q学习算法。经证明,在引入保证持续激励条件的激励噪声后,该on-policy Q学习方法不会使得Q函数Bellman方程的参数估计出现偏差,因此该算法的解必然收敛到博弈代数Riccati方程的唯一正定解,亦即理想解。输出反馈的实现是依据状态重构技术,通过输入、输出以及参考信号数据替代状态量,避免了全状态可测的要求。3)以上on-policy强化Q学习算法,在迭代学习跟踪控制律的过程中,其干扰量也会被以最坏干扰律的形式迭代更新,因此on-policy Q学习算法无法被应用于那些干扰量不可被调控或断开的受控系统。为了克服这一缺陷和拓展强化Q算法的应用范围,本文结合off-policy控制思想,进一步提出了一种新颖的基于全状态反馈和输出反馈的off-policy Q学习算法。同样,这两种off-policy Q学习算法也具有参数估计无偏差性和收敛性。综上所述,本文针对未知离散线性系统的H_∞跟踪控制问题,共提出了基于全状态反馈与输出反馈的on-policy和off-policy的4种Q学习算法。单相电压源UPS逆变器和并网三相光伏发电逆变器的案例仿真结果,验证了所提各个Q学习算法的有效性。