基于openAI Gym和DRL的移动机器人路径规划算法研究

来源 :重庆理工大学 | 被引量 : 0次 | 上传用户:papaya007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
移动机器人路径规划技术,即在给定的起始点和目标点之间找到一条符合约束条件的有效路径(约束条件可以是无碰撞、路径最短、耗能低等),作为机器人学的重要技术支持,得到了越来越多的关注和研究。而强化学习作为一种通过不断“试错”与环境交互寻找最优策略的机器算法,具有优异的通用性和有效性,本文结合其优异特性提出高效的移动机器人路径规划算法。结合移动机器人的实际需求对强化学习算法加以改进,最后在仿真环境中进行了仿真实验,验证了改进算法的优异性。具体研究内容如下:1、总结了移动机器人路径规划问题的研究现状,分别分析了使用传统算法、智能算法、基于图论的方法和机器学习算法在解决路径规划问题上的优缺点,综合考虑移动机器人的工作环境和需求,选择了机器学习领域较为热门的强化学习算法进行探讨研究。2、选择了强化学习领域较为经典的Q-learning算法进行研究,在实际使用Q-learning算法解决单机器人路径规划问题时发现Q-learning存在着三个问题。针对这三个问题,笔者对Q-learning算法进行了相应改进,有效提升了Q-learning算法的工作效率和性能表现。3、为将单机器人的Q-learning路径规划算法应用到多机器人领域,结合深度学习思想,实现了多机器人的协调避障的DQN版本;并采用引入先验知识和先验规则的方法,提升算法性能和减少训练开销。最终在仿真实验上,实现了多机器人协调避障的路径规划。4、为进一步提升多机器人的路径规划效率,本文结合深度学习领域注意力机制,将策略体agent赋予类似视觉注意力,并在经验回放机制上进行了改进,提出了基于时间的优先经验回放方法,使得agent能够更多地关注较为重要的部分,加速和优化模型训练过程。5、基于openAI gym工具构建了仿真的迷宫训练环境,经实验证明,本文提出的改进算法,在处理移动机器人路径规划问题时表现优异。
其他文献
无人驾驶拖拉机在农业生产中运用越来越广泛,是农业生产中的关键组成部分。农田中障碍物类型复杂,如机井、泵房、电线杆、树木等,无人驾驶拖拉机在田间作业时,不能排除在前方遇到障碍物的情况,当前方有障碍物时,如果拖拉机没有实时自主避开障碍物的功能,则障碍物会阻碍无人驾驶拖拉机的正常工作,因此研究无人驾驶拖拉机避障路径规划与跟踪控制技术具有重要意义。本文针对无人驾驶拖拉机的实时避障方法进行研究,通过对避障环
高性能高强度铝合金锥形壳体是某弹体的关键结构件之一,其成形效果对弹体的整体使用性能起着决定性作用。当前,高强铝合金锥形壳体零件正面临精密成形和良好成性的调控难题。本项目所研究的2A12硬铝合金锥形壳体件包括圆弧状锥体和薄壁型壳体两部分,在弹体上起着承载、连接、密封的重要作用,是一个需要批量化生产的零件。采用传统的机械切屑加工方法存在生产效率低、材料浪费严重、机加工件使用性能不足等工程问题。随着兵器
由于国内经济的迅猛发展,基建设施的日益完善,汽车在高速路上的行驶速度也普遍超过了100km/h,并且随着排放法规的日益严格,能源问题日益加剧,汽车的燃油经济性就越来越受到关注,而在高速路上,影响汽车燃油经济性的最大因素之一就是汽车的气动阻力系数,因此,如何有效降低汽车的气动阻力系数就成为了众多学者与工程师们所关注的问题。本文以此为基础,以标准的Mira模型为研究对象,研究等离子体主动气动减阻机理,
本文主要以4,4’-对苯二甲基二异氰酸酯(MDI)、聚乙二醇(PEG)、二氧化硅(SiO2)为沥青改性剂,利用聚氨酯原位反应制备了改性沥青。聚氨酯原位反应会诱导改性沥青中的纳米粒子形成网络,在保持改性沥青优异性能的同时,还可对改性沥青的抗车辙能力和疲劳寿命产生积极的影响。通过改变SiO2预混方法、SiO2添加量以及MDI添加量,研究了改性沥青结构与性能的对应关系。(1)SiO2预混方法的影响。以沥
聚芳醚腈(PAEN)具有蠕变小、刚性大、电绝缘性好、耐热性好、机械强度高等特性,可作为聚合物基体材料与高介电常数填料复合,制备柔性聚芳醚腈基高介电复合材料,在航空航天、军工、机械、电子等领域具有广阔的应用前景。本论文首先通过溶胶沉淀法合成钛酸锶钡纳米颗粒,获得了制备钛酸锶钡纳米颗粒的优化工艺条件。结合熔盐辅助热处理,制备出一系列Ba1-xSrxTi O3(x=0.1、0.33、0.5、0.74、0
随着汽车工业和社会经济的发展,国民汽车保有量迅速上升,“停车难”问题日益显著。因停车位的缺乏而引发的种种交通问题,严重阻碍了我国城市化的发展进程。从各地区对此类问题不同的解决措施来看,其核心思想基本都是增加停车位、提高停取车效率。因此,发展智能立体车库,对解决静态交通问题显得尤为重要。智能立体车库是一种具有自动存取车功能的智慧停车设备,拥有自动化程度高、停取车效率高、空间利用率高的特点。作为智能立
汽车在正面碰撞中,前端结构为主要吸能区,而薄壁结构的前纵梁在前端结构的吸能中有着重要地位,同时车辆进行轻量化设计可以满足车辆部分性能的提升,因此前纵梁兼顾耐撞性的轻量化设计有着重要意义。针对前纵梁的轻量化设计,本文首先从碰撞仿真动画中,对前纵梁的耐撞性进行分析,发现纵梁前段吸能不足和中段刚度不够发生扭转,提出利用结构设计和拼焊设计对前纵梁的耐撞性进行改进。首先针对纵梁前段的结构设计,结合薄壁梁的变
冷挤压成形技术是一种节能,低成本、高效,绿色的精密塑性成形方法,而且通过冷挤压成形的零件性能会有所提高。本课题主要研究行星减速器太阳齿轮的成形工艺,通过有限元模拟与实际生产验证,以获得更适合本材料的成形工艺。本次研究所用的齿轮材料是20Cr2Ni4A,常用于重型装备中,如重型汽车、船舶、风力发电机等,相对于一般常用齿轮材料,强度、硬度和耐磨性都更优,因此成形难度也越高。利用Gleeble 1500
耦合振子网络系统是研究自然界和人类社会中自组织系统的协调行为与群集现象的一个重要模型,能够描述诸如神经网络、基因控制网络、蛋白质网络、社会网络、电力网络等自组织系统的结构和动力学特征。其中,耦合调和振子网络系统因其物理结构典型、群集动力学特性丰富等特点,近年来已成为经典物理、量子物理和网络科学领域中的一个研究热点,具有重要的科学意义和潜在的应用价值。从动力学与控制角度出发,针对仅具有相对位移耦合的
随着新媒体逐渐融入人们的日常生活中,人们对其依赖性持续提升。新媒体成功实现了全媒体融合的全面互动,为我国传媒业的健康发展注入了新的内在驱动,也成为我国传媒业发展的方向指引。如今,各类新媒体项目不断涌现,传播内容愈加丰富,传播渠道得到持续拓展。但是,从本质角度来看,新媒体在运作思路方面与传统媒体趋同,并未实现质的改变。合而不融,是我国目前媒体转型过程中普遍存在的问题。新华网作为国内最大的网络媒体公司