近年来,人工智能已成为世界各国重要的国家发展战略之一。如何让智能系统通过感知外界环境、实现自主地学习并完成相应决策任务仍然是当前人工智能领域面临的一项挑战。强化学习是解决上述挑战的有效人工智能技术。在强化学习中,智能体在与环境的交互中学习,利用评价性的反馈信号实现决策的优化。为了探索到最优策略,在改进策略时,基于值的强化学习算法采用贪婪策略改进机制。不幸的是,传统贪婪策略改进忽略了智能体训练过程中的值函数估计误差,进而导致学习到的策略与最优策略之间的策略性能差异增大,并加剧了策略改进过程的不稳定性。另外,近端策略优化（PPO,Proximal Policy Optimization）、信赖域策略优化（TRPO,Trust Region Policy Optimization）等策略约束型同策略强化学习算法在每一次策略更新中都近似地强制执行约束条件以保证策略改进过程的稳定性。但是,目前尚不清楚如何将策略约束优化思想与不属于策略梯度家族的方法结合使用。为此,本文分别针对在线情形和离线情形下的策略约束型强化学习,研究如何提高策略学习过程的稳定性、学习速率和降低策略性能差异。主要工作包括:（1）针对PPO裁剪边界设置保守的问题,提出可信边界近端策略优化（ABPPO）。首先,分析了PPO的裁剪操作对保守策略迭代目标函数的影响,给出了PPO裁剪边界与TRPO信赖域边界之间的关系,设计了一种可信边界设置规则。然后,在此基础上提出了ABPPO。为了确保策略更新过程中新旧策略差异能更好地保持在裁剪范围内,基于回滚剪裁和惩罚策略差异的思想,分别提出两个改进的PPO算法:基于回滚裁剪的可信边界近端策略优化（RMABPPO）、基于惩罚策略概率差异的可信边界近端策略优化（P3DABPPO）。（2）针对异策略Actor-Critic中Q函数估计不准和智能体探索能力不足的问题,提出一种基于相对熵矫正策略改进的鲁棒Actor-Critic（RAC）。首先,利用当前估计Q函数下的局部最优策略来引导策略改进,设计出一种鲁棒策略改进机制（RPIM）。RPIM通过约束策略改进过程中新旧策略之间的相对熵,提高策略改进过程的稳定性。理论分析表明:在更新策略时,RPIM赋予了策略熵增加的激励,有利于提高智能体的探索能力。然后,应用所提出的RPIM来矫正策略改进过程,提出RAC。最后,从理论上证明RAC的收敛性。（3）针对策略迭代的加速问题,提出一种基于耦合策略改进的双并行策略迭代（DPPI）。与常规的策略迭代不同,DPPI考虑了两个并行的策略迭代。首先,在每个策略迭代步,分别评估两个并行策略的性能,并将较优的策略定义为主导策略。然后,主导策略以柔性方式引导并行策略改进。理论分析表明:在一定条件下,每次并行策略改进所获得的两个新策略的Q函数都大于之前所有主导策略的Q函数,这在一定程度上有助于加快策略迭代过程,提高学习效率。其次,在理论上证明了DPPI的收敛性。最后,将DPPI与双延迟深度确定性策略梯度（TD3）相结合,提出了并行TD3。（4）针对离线强化学习中存在的分布偏移问题,提出广义行为正则化离线Actor-Critic（GOAC）。首先,为了降低分布偏移对策略改进过程的影响,同时降低学习到的策略与最优策略之间的策略性能差异,GOAC在优化策略时约束行为策略和当前策略之间的斜对称JS散度。理论分析表明:由于斜对称JS散度有界,将其作为策略差异度量有助于降低策略性能差异。然后,为了克服行为策略未知的问题,设计了一个辅助网络来估计行为策略和当前策略之间的斜对称JS散度。最后,从理论上证明了GOAC的收敛性。本文在基于OpenAIGym和Mu JoCo物理引擎的控制套件平台上评估了所提策略约束型强化学习算法的有效性。实验结果表明:本文所提出的策略约束型强化学习算法在奖励、稳定性、学习速度等指标上均达到或超过其它先进强化学习算法。