在控制系统的设计上,线性二次跟踪（linear quadratic tracking,LQT）问题是一个重要的研究领域。LQT的目的是为了设计一种控制器,使得其输出信号通过最小化预定义的性能指标以最优的方式跟踪上参考信号轨迹。将基于状态反馈的强化Q学习（Reinforcement Q-Learning,RQL）方法应用于LQT问题可以求解线性系统动力学信息未知的情况,但是需要系统状态变量是完全可测量的,同时基于策略迭代（PI）的RQL方法还需要一个初始稳定可控的控制策略,这限制了RQL在实际工程中的应用范围。本文循序渐进地研究了三种基于输出反馈的Q学习算法（Q学习、多步Q学习和自适应Q学习）用于求解未知离散时间线性系统的LQT问题,有效地避免了需要初始稳定控制策略以及系统状态不可测量或不易测量的局限性,同时也保留了无需事先了解系统动力学信息的优点。以下是对三种基于输出反馈的Q学习算法的简要概述:1.基于输出反馈的强化Q学习算法求解未知离散时间线性系统跟踪控制问题,首先通过构建增广系统将跟踪控制问题转化为具有折扣性能指标函数的调节问题,其求解依赖于基于Q函数的贝尔曼方程。然后,提出了一种新的基于输出反馈强化Q学习机制的VI方案,用于在未知系统动力学信息以及系统状态不可观测或不易观测的情况下求解Q函数贝尔曼方程,最终求得最优跟踪控制策略。2.基于输出反馈的多步Q学习算法求解未知离散时间线性系统跟踪控制问题。众所周知,VI方法无需初始稳定控制策略,但是收敛速度会下降。多步Q学习算法中引入了多步效用函数来评估价值函数,将VI与PI中策略评估相结合,实现了在无需初始稳定控制策略下提高算法收敛速度的目的。3.基于输出反馈的自适应Q学习算法求解未知离散时间线性系统跟踪控制问题。自适应Q学习类似于多步Q学习算法,也是通过结合VI和PI方法中的策略评估操作,通过自适应参数实现两种方法之间的平衡。既加速了VI算法的收敛速度,又避免了PI算法需要初始稳定控制策略的弊端。