近年来,强化学习已成为人工智能领域的研究热点之一。基于值的强化学习是强化学习中一个重要分支,其通过缩小当前值函数与时序差分目标的差异求解最优值函数,并根据求解得到的最优值函数确定最优策略。因此,优化值函数可提升智能体学习效率和策略性能。本文主要围绕基于值函数优化的强化学习展开研究,主要内容如下:（1）针对强化学习中的奖励机制设计问题展开研究,提出基于平均累积奖励机制的近端策略优化。首先,将平均奖励引入值函数的设计并给出基于平均累积奖励机制的策略目标函数;然后,理论证明最大化平均累积奖励机制的策略目标函数可得一个策略性能单调上升的策略序列,并由此提出基于平均累积奖励机制的近似策略迭代算法;最后,将平均累积奖励机制引入到近端策略优化算法中,提出基于平均累积奖励机制的近端策略优化算法。（2）针对异策略执行家-评论家强化学习算法在训练过程中易于出现值函数估计偏差和策略学习过程不稳定的问题,提出一种基于组合Q网络的确定性策略梯度。一方面,针对值函数估计偏差问题,通过构造一种组合Q网络机制来对多个Q网络的输出进行自适应加权组合,从而得到更为准确的TD目标。在值函数估计过程中,权值能够根据Q值估计与折扣回报间的偏差进行自适应调整。另一方面,通过约束新旧策略之间的L2范数来增强策略学习过程的稳定性。本文在MuJoCo平台上评估了所提算法的有效性。实验结果表明:本文所提算法均能有效提升智能体的学习性能。本文含有图11幅,表14个,参考文献91篇。