移动机器人(Mobile Robot)属于智能机器人的一种,自主避障能力是其完成一切任务的重要保障。传统避碰规划方法受测量不确定性影响和优化算法性能优劣影响的劣势越来越明显,而深度学习通过明显提高移动机器人学习能力与智能化水平,从而打破传统避碰方法上的一些局限,故结合智能算法、深度学习的移动机器人避碰算法是未来的发展趋势。因此,本文设计一种应用于未知静态与动态障碍物环境下的移动机器人避碰规划问题的带辅助任务的深度强化学习方法。本文主要从以下四个方面开展研究:首先,针对基于强化学习的移动机器人国内外研究现状进行了分析与总结,同时对强化学习在无人系统领域的研究进展以及避碰问题研究现状进行了归纳。根据移动机器人与传感器自身特性建立相应模型与坐标系统。其次,针对障碍物环境下的移动机器人避碰问题设计一种基于异步行动者-评论家算法(Asynchronous Advantage Actor-Critic,A3C)的移动机器人避碰规划算法。该算法结合时序差分(Temporal Difference,TD)算法与策略梯度,适用于离散与连续动作空间;而本文考虑到移动机器人运动约束条件,采用连续动作空间并对艏向转角采取相应约束,然后对该算法进行设计,并在不同静、动态障碍物环境下进行仿真验证。然后,本文对A3C算法使用的深度学习神经网络模型进行分析,利用长短时记忆(Long Short Term Memory,LSTM)神经网络序列信息输入特性以及长时记忆功能,使神经网络具备“长时记忆性”从而提升网络学习速度,最终使用LSTM神经网络替代原始A3C网络中的深度神经网络(Deep Neural Networks,DNN)。最后,进一步对A3C算法改进,提出一种有辅助策略的A3C和LSTM相结合的避碰规划算法,设计包括机器人速度控制(Velocity Control,VC)以及对自身的位置估计(Position Estimate,PE)两种辅助策略,并就相应参数、奖励函数等改动做出分析。在动障碍物环境下将A3C结合LSTM的避碰规划算法与A3C结合LSTM和VC避碰规划算法训练后的网络进行对比仿真验证。并且在本文搭建的不同静障碍环境下进行A3C、A3C结合LSTM、A3C结合LSTM再进一步结合PE算法训练后的网络模型进行对比仿真实验。仿真对比结果表明,经历同样训练回合数后,速度控制能够有效提高网络的学习能力并加速模型收敛,从而使移动机器人在该环境下经过大量的训练,最终成功实现躲避障碍物并到达目标的目的。同时,实验结果表明将原始DNN替换为LSTM同样优于改进前A3C算法,而A3C＿LSTM＿PE算法表现最优,证明了避碰规划改进的有效性。