随着人工智能领域的蓬勃发展,人工智能技术在人们日常生活中的应用日益广泛。其中机器学习日渐成为人工智能中最不可或缺的重要技术,而深度强化学习以其独特的学习模式成为了机器学习领域最炙手可热的研究方向之一。在深度强化学习中,模型的学习不需要提前采集大量标注的样本数据用于训练,也不需要考虑样本覆盖率问题,而是通过其独特的交互学习模式边学习边采集训练数据,甚至还能实现自我学习。这也使得深度强化学习在需要短时间内决策的领域中具有得天独厚的优势,包括博弈论、机器人控制、自动驾驶以及股票风险预测等。在深度强化学习中,价值函数（Value Function）扮演了非常重要的角色,这是因为价值函数是深度强化学习中智能体（Agent）做出决策的重要依据。而时序差分（Temporal Difference,TD）使得智能体不用探索整条马尔科夫决策过程（Markov Decision Process,MDP）所产生的探索轨迹,便能对价值函数进行预测估计,这意味着智能体在探索过程中便能做出决策,同时根据当前迭代过程对下一迭代过程的价值函数进行优化。此外,深度强化学习技术使得强化学习能应对庞大的连续状态空间任务,这意味着深度强化学习的应用能更贴近实际需要。虽然时序差分方法优化了预测准确性,但是由于引入了神经网络,使得神经网络在对价值函数进行预测估计时会向着误差最大的方向学习,这就加剧了时序差分方法本身的有偏估计（Biased estimate）特性,从而引起稳定性和收敛性等问题。针对时序差分方法的有偏估计特性存在的预测准确性问题,本文对不同的深度强化学习算法给出不同的时序差分优化算法。1)基于价值的深度强化学习算法,本文给出基于深度强化学习的折扣多步Q网络算法,并对算法的相关性能进行验证;2)基于策略梯度（Policy Gradient,PG）算法,本文给出基于深度强化学习的平滑多步策略梯度算法,并对算法的相关性能进行验证。1)给出基于深度强化学习的折扣多步Q网络算法（DMQN）。本文通过对基于值的算法中评价网络的时序差分更新公式分析,发现神经网络在对真实的价值函数进行拟合时,基于价值的深度强化学习在策略评价阶段的max操作,使得智能体总会往误差最大的方向学习,这样加剧了时序差分方法本来的估计不准确问题,从而引发严重的过估计问题。针对此问题,本文给出一种折扣多步学习方法,通过多步学习方式,促使智能体在每次更新前多探索几步,这样能在很大程度上缓解由预测的价值函数所带来的估计误差;此外,为了减小多步探索过程中截断收益（Truncated Return）所带来的误差,本文为截断收益增加折扣因子。经过多组对比实验的实验与结果分析,相比于DQN、Dueling DQN和Noisy DQN算法,本文给出的DMQN算法在稳定性、收敛性、过估计问题和奖励方面的性能均有明显地优势。在Pendulum-v0环境中,DMQN算法在稳定性上优于DQN、Dueling DQN和Noisy DQN算法;在收敛性上优于Dueling DQN算法;DMQN算法过估计次数占总训练步数的比例为24.74%,明显少于其它基于价值的算法;DMQN算法在训练过程中获得的奖励为-38858.20,明显多于其它基于价值的算法。2)给出基于深度强化学习的平滑多步策略梯度算法（SMPG）。本文通过对策略梯度算法分析,发现策略梯度算法中价值函数在由时序差分方法进行估计预测时同样存在估计不准确问题,并且这种估计误差会沿着策略网络继续向前传递,使得策略梯度算法的过估计累积迭代,进一步加剧时序差分方法预测的不准确性。针对此问题,一方面本文借用softmax操作对时序差分方法价值函数预测部分进行了平滑处理;另一方面,采用多步学习方法减小时序差分方法价值函数预测部分在时序差分方法中所占的比重。经过多组对比实验的实验与结果分析,相比于DDPG、TD3和SD3算法,本文给出的SMPG算法在稳定性、收敛性和奖励方面的性能均有明显地优势。在Half Cheetah-v2环境中,SMPG算法在稳定性和收敛性上明显优于TD3算法,在奖励上明显优于TD3算法和DDPG算法。在Ant-v2环境中,SMPG算法在稳定性和收敛性上明显优于TD3算法和DDPG算法,在奖励上明显优于TD3算法和DDPG算法,在过估计上明显优于DDPG算法。经过本文对比实验验证,本文提出的两个时序差分优化算法对于改进深度强化学习算法的稳定性、收敛性、过估计问题和奖励方面的优化都是有效的,并且能推动深度强化学习在博弈论、机器人控制和自动驾驶等领域的应用。