机器人技术在近些年来得到了不断的发展,在日常生活中的许多场景下已经存在机器人来替代人进行工作。导航和避障能力是智能化的移动机器人最重要的基本能力之一,在近年已经有研究出现,并开始在行人丰富的复杂环境探索。传统的机器人导航主要是用了SLAM技术以及控制规划方法。SLAM技术通过构建环境的地图,为机器人提供全局信息,在地图基础上调用规划方法生成机器人移动路径。这种方法对传感器精度以及构建地图的精度要求较高,对于不同的场景可能需要手动调整参数。随着强化学习的技术发展,已经有研究在机器人领域使用RL进行策略学习。在行人环境下的导航任务中,存在相关研究通过学习人群的特征,以及人群与机器人之间的特者来指导机器人学习导航避障策略,但目前已有的部分工作是基于二维平面的仿真系统进行构建。针对以上问题,本文基于pybullet构建的行人仿真系统,并研究了基于强化学习的行人环境避障方法,具体工作如下:首先,通过pybullet构建仿真系统,参考gym.env类,构建强化学习的仿真环境,提供智能体交互的场景,为强化学习方法提供数据和奖励函数的收集。该仿真系统主要由四部分组成,在environment模块中实现了环境的主体部分,提供了step,reset接口。在agent模块中构建了行人智能体以及机器人智能体,行人移动策略使用ORCA模型,可以引入社交因素,机器人智能体使用了turtlebot模型,实现了经典的动态窗口避障方法。在sensors模块中提供了深度、RGB摄像头,全局地图传感器以及双向路径规划方法。在task某块提供奖励函数的计算。在此基础上实现了两种仿真世界环境,静态环境中之存在结构化墙壁和障碍物,在动态环境下加入了移动的行人模型,同时结合了静态的障碍使得仿真环境更接近现实。最后在该仿真系统的基础上,研究了经典的动态窗口避障方法和强化学习导航方法。强化学习方法与动态窗口方法在静态的环境下效果接近,在动态的环境中动态窗口表现较差,强化学习方法成功率更高同时到达目标点的速度更快,在移动的过程中考虑到了行人的社交因素,与人的平均距离较远。同时研究了不同观测以及奖励函数对实验结果带来的影响。