随着机器人技术的日新月异,大量的机器人被应用到军事、商业、民生各大领域,机器人的智能控制问题成为研究热点。在动态变化路径规划环境中要求智能体能对环境的变化拥有实时决策能力,基于深度学习的强化学习算法在复杂环境任务中有很好的表现。现在,深度强化学习已经广泛应用于解决智能控制问题,但是深度强化学习方法通常有三个核心问题:稀疏回报环境下的时间信用分配,缺乏有效探索,对超参数极其敏感的收敛特性。针对上述问题本文提出了改进的群体智能深度强化学习算法。群体智能算法评价值函数的设定能够直接评判最终结果的好坏,在时间信用分配的问题上有很好表现;同时这种方式也能让算法收集的经验偏向于高长期回报,使得探索经验更加便于训练;群体智能算法只需要考虑搜索时间的问题,能减少算法收敛对超参数的依赖。实验结果表明,该方法具有一定的理论和实用价值。主要研究内容:(1)提出一种改进的遗传神经网络强化学习算法。在算法中提出了符合强化学习特性的适应性函数,提出了分段权重选择交叉的方法繁衍子代和利用梯度信息加快遗传算法对解空间搜索的方法。并在修改的稀疏回报深度强化学习实验环境对算法性能进行了实验验证。(2)根据群体优化的思想,提出了另一种粒子群优化神经网络的强化学习算法。为了应对深度强化学习中网络呈现的伪最优特性,提出了全局历史前几表(所有历史个体中评价前几的个体)的方式,使得算法更平稳。最后在修改的稀疏回报深度强化学习实验环境对算法性能进行了实验验证。(3)在动态路径规划问题环境对算法进行了实验验证。针对一个连续动作空间的动态路径规划环境,分别对非稀疏情况和稀疏情况下进行了验证。实验结果表明,基于群体智能优化的深度强化学习方法能很好的完成不同回报形式的连续动作空间路径规划问题。