论文部分内容阅读
随着服务机器人、扫地机器人和自动引导车的日渐普及,路径规划作为移动机器人技术的核心成为研究的热点。在面对复杂的环境时,移动机器人需要自主学习来完成路径规划任务。随着近几年深度强化学习研究的火热及其在一些领域的优秀表现,因此考虑将深度强化学习应用到移动机器人路径规划领域。本文将通过搭载RPLIDAR A2激光雷达传感器的移动机器人,基于深度强化学习研究移动机器人的路径规划问题。首先,通过ROS和Gazebo搭建了路径规划仿真实验系统平台。具体包括:通过Gazebo编辑器搭建了一个“回”型场景,用来进行静态避障算法的训练;再用Gazebo编辑器搭建了三个封闭环境,通过向其中加入目标点和静态或动态的障碍物,用来进行趋向目标和动静态路径规划算法的训练;使用URDF设计了bobac移动机器人仿真模型,再将仿真机器人模型加入到仿真场景中,以此完成了路径规划仿真系统实验平台的搭建。其次,针对在仿真系统平台中搭建的“回”型场景,设计了基于深度强化学习的算法研究了移动机器人的静态避障。将激光雷达的测距数据作为深度强化学习算法的状态输入,经过深度强化学习方法处理后直接输出移动机器人的动作。克服了深度强化学习算法在离散动作条件下的难复现、难调参、难收敛等问题。通过仿真实验验证了设计的基于DQN算法的静态避障算法的可行性。然后,将DQN算法与迁移学习相结合研究移动机器人的路径规划问题。具体步骤为:先在没有障碍物、只有路径规划目标点的仿真场景中,基于DQN算法训练机器人具有到达任意目标点的能力;再通过放置4个静态障碍物,利用迁移学习将之前训练好的权值参数作为这一仿真场景的初始参数,训练移动机器人学习静态避障和趋向目标的能力;再通过让放置的4个障碍物作圆周运动,利用迁移学习将之前训练好的权值参数作为这一仿真场景的初始参数,训练移动机器人学习动态避障和趋向目标的能力。最后,搭建了实际的bobac移动机器人平台,分别使用SLAM方法和深度强化学习方法进行路径规划实验,实验证明,本文设计的基于深度强化学习的方法能够解决移动机器人路径规划问题。