强化学习与启发式搜索算法融合的机器人路径规划研究

来源 :云南大学 | 被引量 : 0次 | 上传用户:wxbft
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着机器人应用的普及,越来越多的传统制造业和服务业不断引入移动型机器人进行作业。对于移动型机器人而言最为核心和基础的技术是路径规划。以ROS(Robot Operating System,ROS)为标准操作系统,其中路径规划被划分为全局和局部两个部分。但目前ROS官方的路径规划器存在导航资源消耗大,响应慢的不足,无法应对日益增长的机器人应用需求。针对上述情况,本文研究了一种强化学习与启发式搜索算法融合的机器人路径规划方法,制作了DDPGWOA+A2C路径规划器。该路径规划器中全局规划方面使用了基于深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)改进鲸鱼优化算法(Whale Optimization Algorithm,WOA)得到的新启发式算法DDPGWOA,局部规划方面使用了优势演员评论家(Advantage Actor Critic,A2C)算法。主要研究内容如下:第一,提出了基于DDPG改进WOA算法的新启发式算法DDPGWOA。首先将传统WOA算法中追随最优位置改进为追随最优代理从而增加了算法的探索能力。然后使用DDPG来计算WOA算法的控制参数,改变了原算法先探索后开发的固定模式,提升了WOA算法的智能性。最后在基准测试函数上进行了测试,结果表明DDPGWOA无论在收敛性能,还是在稳定性上都更具优势。第二,对启发式搜索算法的机器人全局路径规划进行了研究,建立了全局路径规划模型,路径初始化方法和路径求解适应度函数,并通过DDPGWOA算法对该模型进行求解。最后与飞蛾扑火算法,灰狼优化算法,粒子群算法和传统鲸鱼优化算法进行了路径规划对比实验,验证了DDPGWOA算法的路径规划能力。第三,使用A2C算法制作了机器人局部路径规划器。首先搭建了训练平台,并设计了回报函数,环境状态和执行动作。然后使用增量地图训练法完成了A2C代理的训练。最后A2C局部路径规划器在仿真和实际场景中都完成了未知环境导航的挑战,验证了A2C局部路径规划器的导航性能。第四,验证了DDPGWOA+A2C路径规划器的导航性能和实用性。首先在仿真环境和真实环境中搭建了实验平台,然后与ROS官方提供的路径规划器进行了导航对比实验。实验结果表明,DDPGWOA+A2C在导航路径长度,导航完成时间和规划响应速度上都更具优势,从而可以提升移动型机器人的工作效率。
其他文献
随着智能车辆行业与车辆应用的发展,车辆对感知,计算与通信的需求不断提高。移动边缘计算与车联网进行融合的车载边缘计算架构,通过部署路侧单元,边缘计算设备以及云服务器等计算资源,将网络下沉至车辆终端,能够有效解决车辆自身计算能力不足,通信与移动性管理的问题。虚拟化技术是边缘计算的支撑技术,能够有效对任务进行分发管理,而容器技术作为虚拟化技术的最新进展,依托其轻量化、隔离性、灵活的生命周期管理特点能大大
学位
本文首先介绍了传统的一阶隐马尔科夫模型及其相关算法,它作为一种具有双重随机过程的统计模型,兼具稳定的概率统计基础和强有力的数学结构,已被普遍应用在语音识别系统、状态预测、金融行业数据分析等领域。但鉴于传统的一阶隐马尔科夫模型难以表示更远状态距离间的依赖关系,也许会忽略很多有效的统计共性,所以本文提出了一个三阶隐马尔科夫模型的预测方法。其次,本文对已有的Baum-Welch算法和Viterbi算法进
学位
乳腺癌已经成为女性癌症发病率之首,在罹患乳腺癌的早期发现并加以治疗,可以显著降低死亡率。超声因其具有无创性、无辐射性、穿透深度、检测费用相对便宜等优势,成为乳腺癌的首选检测方法。而传统超声检测设备由于其价格昂贵,并且设备体积庞大,运输困难,因此只能在固定的地方使用,应用场景受限,并且只能简单地生成被测部位的图像,后续的病情还需要专业医生的诊断,不便于偏远、贫困地区使用。超声检测根据其诊断方式不同又
学位
通讯信号的调制识别技术,指的是接收端通过分析所接受到的通讯信号,进而确定出该通信使用的调制方法。在通讯领域认知无线电方向,调制识别技术一直都是一个较热门的研究方向。当今快速发展的无线电通信复合调制识别技术涉及到国防安全军事和民用领域安全通信系统的正常运行,具有非常重要的作用。传统的调制识别主要采用特征提取与模式分类相结合的方法。在无线通信环境条件日趋复杂化的今天,通讯调制手段也日趋多样化,上述原因
学位
从图像中进行三维重建一直以来都是一个经典的计算机视觉问题,基于深度像机的三维重建和传统的三维重建都有其优劣势,基于深度相机的三维重建在有遮挡和阴影的情况下重建效果较差,且难以应用在实时场景的三维重建中;传统的三维重建由于在非朗伯体曲面上会受到弱纹理,镜面反射等因素的影响,结果往往也不是很理想。近年来随着深度学习的迅速发展,利用深度学习进行三维重建的研究得到了越来越多人的关注,多视图立体(Multi
学位
随着信息技术的迅猛发展,移动医疗作为处理医疗资源短缺与健康需求增长之间的矛盾的主要工具,为医疗卫生事业和社会发展带来了巨大的价值。近年来,应用市场上移动医疗应用层出不穷,用户的数量也大幅增长,但目前我国移动医疗APP用户持续使用意愿普遍不强,用户活跃度、粘性还处在“培养期”,用户的持续使用意愿的影响机制还有待进一步探索。同时,在持续使用APP的过程中,性别差异不容忽视,不同性别的群组使用行为存在巨
学位
在大数据时代下,数据量日益激增,时间序列也由一元时间序列转变为多元时间序列。不管是基于自回归(AR)的一元时间序列模型还是多元时间序列模型,都有其局限性所在。因此本文针对经典时间序列模型在预测中存在的问题,对其进行研究改进。自回归分数阶差分滑动平均(ARFIMA)模型是对现有一元AR时间序列模型的进一步扩展,其主要探究了序列的长记忆性。长记忆参数的计算采用R/S分析法,但是R/S分析法对时间序列个
学位
核小体定位指DNA双螺旋结构相对于组蛋白的位置,并对细胞的生命活动起着重要的调节作用。预测核小体定位不仅有助于理解生物体的生命过程,而且有助于预防和治疗多种疾病。通过生物试验的方式测得核小体定位会消耗大量的时间和资源,伴随高通量技术的发展,DNA序列数据逐渐丰富。因此,利用DNA序列进行核小体定位预测成为了一个重要的研究方向。由于单一维度表征DNA限制了深度学习模型在提取DNA特征和预测上的优势,
学位
企业价值是学术界一直重视的关键议题,企业生产及运营的重点目标即是实现价值最大化。数字经济快速发展,大数据、云计算、区块链等新兴数字技术在企业中逐渐被加深应用,对企业数字化水平产生影响的同时,对其经营绩效、价值提升也带来了一定助力。然而,企业数字化水平是通过何种路径对企业价值产生影响,以及这种影响是否存在差异性,这是一个值得去探析的问题。基于此,该研究主要围绕“企业数字化水平—企业价值”的影响这一主
学位
根据冻脸效应,用户普遍认为静态图像没有动态图像具有吸引力,传统的电商营销模式已经无法满足人们的消费需求。随着移动终端及信息技术的升级迭代,电子商务借助网络信息技术的支撑得以高速发展,2016年,电商直播应运而生。在需求多样化、快节奏的生活中,电商直播以其可视化程度高、实时互动性、个性化的推荐服务特征契合了当代消费者的消费需求,为新冠肺炎疫情防控常态化背景下实体企业的转型升级提供了发展的突破口,成为
学位