强化学习通过智能体与环境之间的相互作用,智能体以从环境中得到的回报作为评价依据,反复学习获得最优决策,它是实现高级人工智能的有效方法之一。目前,众多领域涉及大规模的强化学习问题,其状态空间和动作空间是连续的,需要多个智能体交互,共同完成序列决策任务,基于单智能体的集中式强化学习架构无法有效地解决此类问题。策略梯度方法对于连续的状态空间和动作空间,可以直接输出所采取动作的概率,快速生成最优策略。但是由于目标函数的非凸性,数据集的无限性,采样数据分布的不稳定性等多种原因,算法收敛速度缓慢。因此,分布式策略梯度算法有待进一步研究,改善算法收敛性能,提高收敛速度是需要完成的目标。基于以上分析,本文研究工作如下:1.为了多个智能体能够在多个环境中尽快找到全局最优策略,提高分布式策略梯度算法的收敛速度,基于多任务强化学习环境,提出了一个基于动量的分布式策略梯度算法。该算法旨在训练每一个智能体在各自的环境中找到一个局部最优策略,同时,智能体之间共享局部最优策略参数;并且结合动量方法,修正梯度下降方向,采用固定步长更新策略参数。在探索自身环境和适应其他智能体的环境之间达到平衡,最终生成一个全局最优策略,获得更多的长期累积回报。2.为了多个智能体能够在一个环境中尽快找到全局最优策略,提高分布式策略梯度算法的收敛速度,基于多智能体强化学习环境,提出了一个基于动量和重要性采样技术的分布式自适应策略梯度方法。该算法旨在训练多个分散的智能体在一个共同的环境中寻找局部最优策略,与中心智能体交互实现信息共享。结合动量方法,修正梯度下降方向;利用重要性采样权重,减小不同采样轨迹造成的偏差;并且采用自适应步长更新策略参数,实现步长和动量衰减系数随着梯度大小自我调整。最终生成一个全局最优策略,最大化全局长期累积回报。本文面向分布式强化学习问题,从两种不同的智能体交互机制入手,提出了两个分布式策略梯度算法,通过改进梯度以及步长,改善了策略梯度算法的收敛性能。并对其进行理论分析及实验验证,结果证明了本文所提算法的高效性。