人工智能,作为21世纪三大尖端技术之一,正在以它巨大的影响力改变着世界。它所涉及的学科十分广泛,极富挑战性。机器学习是促动人工智能不断发展的强大动力,而强化学习作为机器学习中的一种热门的算法,也被广泛的应用在各行各业之中。利用强化学习技术解决优化控制问题引起了众多学者的注意,本文基于此课题,进行了深入的研究。由于实际应用中,被控系统的状态很难直接的测量,且测量的成本很高。因此,模型参数未知的系统利用状态数据学习最优控制器将面临挑战性难题。我们提出了一种利用强化学习Q-Learning算法来解决线性离散系统的跟踪控制问题。同时根据是否在系统中考虑干扰项的情况,提出两种算法。并通过实验进行了仿真验证,结果表明,在系统考虑干扰项的情况下,具有更好的跟踪效果。基于此,本文的主要研究工作包括:1.针对离散时间未知线性系统,提出非策略Q-学习算法,来求解线性二次跟踪控制（LQT）控制问题。为了解决此问题,本文采用构建增广的非最小状态空间方程模型转化的方法,提出一种非策略Q-学习方法,不要求系统模型参数已知,不利用系统状态数据,无需设计状态观测器,仅利用输入输出增量数据,使系统稳定地跟踪参考信号。2.在系统中考虑干扰项,并且对所提出的算法,进行了优化,将普通的最优跟踪控制问题,转化为H∞的跟踪控制问题。与一般的跟踪控制问题相比,H∞的跟踪控制问题具有更好的抗干扰性,这一点在仿真实验中进行了验证。鉴于具有抗干扰性以及更好的跟踪效果,此算法针对SC-1乙烯裂解炉的出口温度这一实际例子进行了仿真,结果表明,利用本算法,可以很好的跟踪乙烯裂解炉的出口温度,表明本算法具有一定的实际意义。3.本文的贡献在于考虑实际系统模型参数未知以及状态不可测的情况给状态反馈控制实现带来的挑战性难题,避免系统模型参数未知给状态观测器设计和输出反馈控制器设计带来的计算复杂性,通过非最小状态空间模型转化,基于可测的系统输出数据和控制输入,实时在线学习抗干扰跟踪控制策略,实现系统稳定跟踪参考目标并且具有一定的抗干扰能力。