强化学习算法是一类让智能体在与环境的交互中进行学习的算法,即让智能体学会如何将环境状态映射成自身的动作的方法,并使得环境反馈的回报信号的数值最大化。在引入深度学习后,强化学习算法的应用范围得到拓展且性能得以提升,但同时也带来一些问题。本文的主要工作分为三大部分,分别面向强化学习的三个关键的问题:（1）值函数近似误差对算法造成的负面影响;（2）强化学习算法需要依赖大量的采样;（3）强化学习算法的稳定性较低。第一部分的工作包含第三、四章的内容。第三章通过理论分析演员-评论家结构的强化学习算法的收敛性。分析发现一个重要的结论:该类方法若引入函数近似方法,值函数的近似误差不仅引起过估计现象,而且算法将失去收敛的保障。第四章提出了降低值函数近似误差的有效方法,该章节推导出了演员-评论家结构的算法中Q函数的近似误差的上边界,同时发现:若在训练过程中尽量保证相邻两次迭代的策略拥有较高的相似度,可以降低该误差边界,从而降低实际的误差值。根据该推论,本章提出了一种限制值函数近似误差的强化学习算法——误差控制演员-评论家算法。消融实验证明了上述推论的正确性;对比实验证明了误差控制演员-评论家算法的性能优于其它现有主流的强化学习算法。第二部分的工作（第五章）提出一种利用少量的鲁棒样本引导强化学习训练的方法,从而降低强化学习算法所需的采样量。区别于预训练的方法（只用专家演示样本训练策略的参数初始值）,本章节提出的方法在整个强化学习训练的过程中间隔地使用这些样本引导策略的训练。另外,在获取专家演示样本时往动作值注入适当的噪声从而提高样本的鲁棒性。实验结果证明了用样本全程引导强化学习的训练效果明显优于预训练的方法,而且相比之下,注入噪声的样本效率更高。第三部分的工作（第六章）针对的是强化学习算法的稳定性低的问题。强化学习算法不稳定的因素主要有两点:（1）难以稳定获取高质量的样本;（2）算法对超参数较为敏感。借鉴进化计算中群体优化的思想是解决强化学习稳定性的一种可靠思路,根据该思路提出了群体竞争强化学习提升算法的稳定性。由于群体中的每个智能体探索环境的方式存在差异,且它们的样本可以共享,使得该框架在保证了采样效率的同时又保证了样本的质量（多样性）。此外,在强化学习算法运行期间,不同策略用不同超参数进行训练,一定程度降低了超参数的敏感性。群体竞争强化学习的以上两点作用确保了算法的稳定性。对比实验的结果证明了群体竞争强化学习的算法性能优于其它同类算法框架。