深度强化学习凭借着强化学习的决策能力和深度学习的感知能力,实现了从输入到输出的端对端的学习方式,对于解决复杂的无人设备控制问题有着天然的优势。目前,越来越多的无人设备的控制问题解决方案,开始从传统控制方法转向深度强化学习的方法,但是使用深度强化学习解决连续控制任务面临着“维数灾难”问题。连续控制任务如机械臂、仿真机器人、无人机等智能无人设备存在着复杂的运动控制,同时机械控制存在的摩擦力,关节扭动的转动摩擦力,以及无人机机翼的电压变化,导致强化学习训练时间长,且难以收敛到一个稳定的模型。随着需求的发展,分布式强化学习方法逐渐引起研究人员的关注,越来越多的并行化方法和高性能计算框架用来解决深度强化学习训练耗时长问题。为此,本文针对连续控制任务的问题展开研究,从分布式强化学习入手,提出了一种基于重要性采样的Learner-Actor异步方法和一个基于群体的进化策略搜索方法,在此基础上,设计实现了一个可扩展的多Learner、多Actor强化学习训练框架原型系统,在仿真环境下,对本文的研究成果进行了实验验证。本文的贡献包括以下三点:（1）针对连续控制任务训练时间长的问题,提出了一种基于重要性采样的Learner-Actor的分布式方法,该方法基于重要性采样和V-trace方法,对状态进行处理,使用状态特征编码模拟动作分布,通过对分布的随机采样增加智能体的探索空间,采用对环境状态进行回放输入的方式,增加动作输出的稳定性,进而实现了在连续动作空间的异步采样训练方法。（2）针对连续控制任务中的过估计问题以及策略搜索困难问题,提出了一种基于群体的进化策略搜索方法。该方法的核心思想是:通过并行执行多个智能体进行训练,定期选举最优智能体,与其他智能体结合产生新的个体,组成下一代种群,采用择优和进化的措施,推进训练往最优的方向进行。该算法通过基于群体引导的进化策略搜索提高了off-policy算法的性能,同时使其在复杂的连续控制任务中具有良好的适应性和鲁棒性。（3）基于上述成果,设计并实现一个可扩展的多Learner、多Actor强化学习训练框架的原型系统,通过该原型系统进行了算法的性能测试,并在控制更复杂的四旋翼仿真无人机环境中以及更接近现实世界的稀疏奖励机器人仿真环境中进行了实验验证。实验结果表明本文所提出的算法相比于传统强化学习算法,在性能和鲁棒性均具有明显的提升,并且具有良好的扩展性。