随着机器人的使用不断向人们生活中渗透,对于机器人在复杂动态环境中导航能力的要求也不断提高。传统机器人导航算法越来越难满足这些场景的需求。由于近年来强化学习在序列决策问题上取得的惊人成果,一些学者开始使用强化学习来解决导航问题。但在不同的导航场景中,强化学习导航任务的状态空间、奖励函数、训练流程的设计还存在很多科学问题。本文根据移动机器人在真实世界的应用选择了多机器人场景和社交行人场景进行研究。在多机器人导航问题里,需要多个相同策略的机器人在完成各自导航任务时,避开其他机器人以及环境中的障碍物。本文提出了基于栅格地图的多机器人导航算法,该方法以传感器栅格地图作为机器人的状态空间。传感器栅格地图可以由不同参数的深度传感器生成,可以表示障碍物和其他机器人信息,让多机器人导航算法同时拥有处理静态障碍物和动态障碍物的能力。之后本文使用PPO算法,让多个机器人在不同的随机环境中以自我博弈的方式执行导航任务来收集数据进行训练,这种训练方式让多机器人导航算法拥有对不同场景的泛化性。实验表明本文提出的基于栅格地图的多机器人导航算法相比其它的强化学习多机器人导航算法和传统机器人导航算法拥有更好的导航性能,并对传感器噪声有一定鲁棒性。在社交行人环境中,机器人需要合理应对场景中以各种策略移动的行人,这为导航算法引入了两个难题,其一是对行人信息的表示,其二是对行人移动策略的应对。针对原始深度传感器信息对行人感知能力不足的问题,本文将行人信息和传感器信息相融合,提出了行人地图,其将行人的位置与速度信息映射到了栅格地图上,行人地图可以有效的和传感器地图相结合以提高强化学习导航算法在行人环境下的避障成功率。针对场景中策略单一的问题,本文引入了多种不同的行人策略来进行导航算法的训练,这种训练方式可以提高导航算法应对不同策略行人的能力。本文将仿真中训练的导航算法移植到机器人上,并在实际环境中部署相应的场景,模拟了静态场景、动态场景、多机器人场景以及行人场景。机器人可以顺利地完成几种场景的导航任务,说明本文中提出的算法易于移植到真实的环境中运行。最后本文将上述研究成果和传统的导航算法、SLAM系统以及任务规划模块相结合,解决了强化学习导航算法观测范围有限的问题,提高了导航算法的易用性,并部署在实际环境中解决了更复杂的移动机器人导航任务。