【摘 要】
:
路径规划性能的高低直接关系移动机器人行驶路径选择的优劣和行驶的流畅度,如何在各种场景下迅速、准确地规划出一条高效路径且使其具备应对场景动态变化的能力是路径规划算法应当解决的问题。局部路径规划任务由于通过传感器获取的环境信息有限,通常存在维度灾难、路径冗余以及死锁问题,规划出的路径平滑度低。针对上述问题,本文将强化学习和神经网络相结合,研究移动机器人如何安全高效地完成局部路径规划任务。针对利用强化学
论文部分内容阅读
路径规划性能的高低直接关系移动机器人行驶路径选择的优劣和行驶的流畅度,如何在各种场景下迅速、准确地规划出一条高效路径且使其具备应对场景动态变化的能力是路径规划算法应当解决的问题。局部路径规划任务由于通过传感器获取的环境信息有限,通常存在维度灾难、路径冗余以及死锁问题,规划出的路径平滑度低。针对上述问题,本文将强化学习和神经网络相结合,研究移动机器人如何安全高效地完成局部路径规划任务。针对利用强化学习训练移动机器人局部路径规划模型出现的状态信息增多导致的维度灾难、模型泛化能力差以及特殊环境下的死锁等问题,提出Double BP-Q-learning算法。首先,利用神经网络拟合值函数代替Q值表,解决Q值表无法存储过量状态信息的问题;然后加入优先经验回放机制和迁移学习加快算法的收敛速度,在特殊环境下设计特定的动作选择策略来规避死锁状态;最后对Double BP-Q-learning算法进行了仿真验证。结果表明,改进后的Double BP-Q-learning算法训练好的模型泛化能力更强,冗余路段更少,在特殊障碍物环境下能够避开死锁状态到达目标点。针对移动机器人局部路径规划过程中出现的无法处理连续动作信息、算法收敛速度慢以及容易陷入死锁区域导致的目标不可达等问题,提出LSTM-PPO算法。通过PPO(Proximal Policy Optimization)算法中的概率选择动作解决强化学习无法输出高维连续动作问题,将PPO神经网络结构中的全连接层替换为LSTM(Long Short Term Memory)记忆单元,更快地累积奖励优化模型;加入虚拟目标点,通过虚拟目标点的引导使移动机器人走出陷阱区域趋向目标点,减少在死锁区域不必要的训练。最后在特殊障碍物和混合障碍物场景中分别对LSTM-PPO算法进行了仿真验证。验证结果表明,所设计的LSTM-PPO算法在各种场景训练中均能更快地到达奖励峰值,可以加快模型收敛速度、减少冗余路段、提高路径平滑度和缩短路径长度。对移动机器人进行总体设计,搭建基于ROS(Robot Operating System)的Turtlebot3移动机器人仿真实验平台,在Gazebo中构建移动机器人路径规划的场景,通过设计恰当的超参数,在不同障碍物场景中对所提出的算法进行仿真实验验证。仿真实验结果表明,移动机器人使用所设计算法能够顺利完成导航避障和局部路径规划仿真任务,改进后的算法在各场景中有更好的表现。
其他文献
设施农业是结合工程、材料、环境、生物等工程,为生产物提供最适宜生长条件的新兴现代生产方式,是各国大力发展的农业种植模式,尽管我国设施农业已极具规模,但往往会出现长期重茬种植导致病菌虫卵滋生的问题。为此,本文提出一种问题解决方法——深翻改善土质,设施农业中耕整作业大多采用旋耕而无法实现深翻,而能够实现深翻的铧式犁由于其侧移特性在犁耕后会出现一条墒沟,墒沟会使设施农业结构的稳定性受到影响。因此,需要一
胶体的稳定性在很多工业生产过程中十分重要。Zeta电位可以表征与控制胶体分散体系的稳定性。电泳光散射法是测量zeta电位的主要方法,具有测量准确、快速等优点。科研和工业生产对zeta电位测量准确性的要求越来越高,需要进一步提高基于电泳光散射法zeta电位测量的准确性。本文针对电泳光散射法测量zeta电位过程中的关键参数进行研究,主要内容包括:(1)电泳光散射法测量zeta电位的基本原理,是将颗粒电
超市曾经长期是我国零售行业的主体,但是随着超市数量的增多以及网络零售的崛起,超市的发展面临着严峻的挑战,迫切地需要解决中长期发展的战略问题。论文以济南市YZ超市为研究对象,进行了战略层次的发展探讨。作为济南区域具有代表性的本土超市,在外部不利因素的影响下经营业绩受到了很大的冲击,主要表现为客流量减少、经营业绩大幅度下滑、利润空间收窄等,这严重地危及到了YZ超市的发展。因此,以竞争战略为论题对YZ超
作为一个农业大国,我国的秸秆资源较多。目前,农村的农户们大多习惯采取露天燃烧的方法处理秸秆,但这对人们赖以生存的环境、自然、生态安全等带来了众多不利的影响。对此,为了有效的管控秸秆焚烧的行为,各级政府层面出台了很多相关的政策,政府禁止了秸秆的焚烧,推行农作物秸秆还田策略,该策略不但是我国农业生产上的重要革新,也符合国家农业时代战略,有助于我国环境可持续发展。威海市作为全省农作物种植的重要城市,从2
经济效益是衡量科学成果的重要指标,经济效益不仅仅可以提高研发人员的工作积极性,而且在一定程度上可以加速科学成果的转化形成现在的生产力,从而建立起科学性的可行性成果效益。评价指标体系在一定程度上是为了保证科学成果可以进行经济效益分析,而该文是对于科学成果的经济效益进行一定的评论和分类并分析现在的制度有哪些不足,制定相应的可行性的指标,通过指标提供一定的对策和建议。
随着时代的发展,美术课从单纯的技能学习拓展到了综合表现的学习层面,更是成为学校美育的重要组成部分。对普通初中生而言,美术课的学习主要是围绕着某种主题而进行美术表现,在这个过程中,由于初中生对于美术技法和工具的掌握程度有限,严重阻碍着他们活跃思维的形象化表现,导致部分学生因为表现受阻而失去对美术学习的兴趣。针对这种情况,笔者结合教学实践,探索在美术教学中引入综合材料,通过相关教学策略,引导学生借助综