时滞无处不在,传输系统、化工过程系统、电力系统都是典型的时滞系统。时滞的出现可能会导致控制器效用的降低,严重的话可能会导致系统性能恶化,甚至系统不稳定。因此人们对时滞系统的研究没有间断过,特别是在控制领域,时滞问题一直是该领域关注的焦点问题。自适应动态规划(Adaptive Dynamic Programming, ADP)是一种以动态规划、强化学习和反向传播为基础而发展起来的优化算法。自适应动态规划的核心思想为通过近似系统的性能指标函数以得到其最优控制,该算法避免了动态规划的“维数灾”问题,是一种很适合于在混杂、非线性和非定常的环境下使用的算法,并且该算法还被认为是求解最优控制问题很有效的方法。近年来,得到了许多学者的密切关注。本文首先对时滞系统和自适应动态规划的基本原理进行了阐述,之后重点研究了基于HDP算法的时滞最优跟踪控制问题：针对一类无时滞的非线性离散系统,通过定义误差函数、系统转换以及使用针对时变跟踪问题所提出的一种新型性能指标函数,将最优跟踪控制问题转化成为最优调节问题,之后使用HDP算法解决了该系统的最优跟踪控制问题；在无时滞最优跟踪控制的基础之上,通过引入时滞函数,对一类带状态时滞和控制时滞的非线性离散系统,使用HDP算法解决了该时滞系统的最优时变跟踪问题,并对算法的神经网络实现进行了详细的说明。为了验证算法的有效性,针对无时滞系统和时滞系统都给出了定点跟踪和时变跟踪的仿真实例。本文最后对所做的研究进行了总结与展望。