近年来,人工智能技术已经被成功地应用于各种生活场景中。强化学习是人工智能技术中的一个热门研究领域,已经在电子游戏、机器人和自动驾驶等领域获得了一定的成功。强化学习的思想是:智能体通过与环境不断地交互,从得到的环境反馈信息中调整、优化动作策略,从而解决序列决策的问题。深度强化学习将函数逼近与强化学习的思想相结合,可用于解决高维状态空间和动作空间任务。但是,当使用函数逼近技术时,由于函数近似误差的存在,容易造成对值函数的高估,从而恶化策略性能。本文针对Q值函数估值偏差问题,提出了两种缓解Q值函数过估计的强化学习算法,主要工作内容分为以下两部分:（1）针对使用单个值函数估计器容易造成过估计,使用双值函数估计器容易造成欠估计的问题,提出了基于加权集合Q网络的确定性策略梯度（WEQ）。首先,分别分析单个值函数估计器导致过估计、双值函数估计器造成欠估计的问题。然后,提出一种组合多值函数估计器的方法,在每次更新值函数网络参数时,从值函数估计器集合中随机抽取两个值函数估计器分别输出两个Q值。最后,取这两个Q值的最小值与所有网络输出值的均值加权相加,从而得到Q值函数更新过程中的时序差分目标。该时序差分目标的计算方法将过估计和欠估计相结合,达到平衡低估和高估的目的。本文所提WEQ不仅可以通过调整权重因子来控制估值偏差,而且还可以有效降低估值过程中误差的方差,减小训练过程中的波动。（2）针对值函数在迭代过程中容易产生过估计的问题,利用值分布包含更多价值信息的特性,提出了基于值分布的确定性策略梯度（TQSW）。首先,在分位数回归的基础上,将值分布网络输出的分布中所有分位点混合,并从得到的混合分布中截去部分最大位置的分位点。其次,使用剩余分位点组成的混合分布来计算目标分布,以缓解值函数过估计问题。然后,引入基于值函数估值标准差计算得到的稳定权重系数以降低算法训练过程中的波动,提升模型的稳定性。最后,通过最小化预测分布和目标分布之间的瓦瑟斯坦距离来训练值分布网络。本文所提TQSW不仅可以通过调整截去混合分布中最大位置分位点的数量有效控制估值偏差,而且还可以通过稳定权重系数有效增强训练过程的稳定性,提升算法性能。本文在MuJoCo连续控制任务中验证了所提强化学习算法的性能。实验结果表明:本文所提算法可以有效控制估值过程中的偏差,并且在实验任务中获得了更高的回报。本文中包含图16幅,表5个,参考文献82篇。