基于深度强化学习的移动机器人人群导航研究

来源 :华东交通大学 | 被引量 : 0次 | 上传用户:wjsj123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着机器人技术的迅猛发展,移动机器人也逐渐进入人类的日常生活中,人群环境中运动的行人给机器人的导航带来了困难。如何使机器人高效地规划出无碰撞路径的同时,遵守人类行走的社交规范,尊重行人的行为意图,是目前移动机器人人群导航领域的研究热点,具有重要的现实意义和研究价值。当前人群导航研究领域内存在的主要问题包括:对环境信息理解不够导致机器人导航效率低,机器人导航系统的泛化能力弱。深度强化学习兼具环境感知能力和实时决策能力,注意力机制能够聚焦重要因素,因此本文将这两种技术相结合,研究机器人在人群环境中安全高效的导航方法。本文首先将人群导航建模为马尔科夫决策过程,设定机器人导航的局部坐标系,设计适应于人群导航的状态空间和动作空间。对稀疏的奖励函数进行优化,设计了符合社交规范的奖励函数,保证机器人快速趋近目标的同时兼顾导航的安全性。其次,设计了三种基于注意力机制的状态价值网络用以拟合状态价值函数,保证机器人系统兼具人群运动推理能力与实时决策能力。采用控制变量法,通过仿真实验分析不同网络结构对导航效率的影响,实验结果表明DADRL(Double Attention Deep Reinforcement Learning)算法的导航效果最好。最后,在仿真环境中,将DADRL与其他三种成熟的人群导航算法进行对比,分析四种算法的导航成功率、平均导航时间、不舒适频率、导航轨迹的平滑性,并进行算法的泛化能力测试。实验结果表明,本文提出的DADRL能够很好的理解行人运动意图,在保证导航成功率的前提下,能够有效地缩短导航时间,与行人保持一定的舒适性,并且一定程度上适应环境的变化。
其他文献
随着我国物质生活水平的逐渐提高,我国汽车保有量也逐年增加。尽管汽车给人民的生活和工作带来许多便利,但也带来了许多问题。如:交通事故、交通拥堵、乱停乱放和停车位资源浪费等。因此,为了解决这些问题,需要大力推动智慧停车场管理、辅助驾驶系统和智慧交通系统的发展。基于深度学习的车辆检测技术是计算机视觉中的一个热门研究方向,也是推动上述系统发展过程中基础且十分重要的技术。然而现有的车辆检测模型还存在很多不足
学位
目的 分析个体化护理对维持性血液透析高血压患者自我管理行为及依从性的影响。方法 根据随机数表法将2020年1月至2021年12月在本院救治82例维持性血液透析高血压患者分为观察组和对照组,每组41例。两组均采用常规护理,同时观察组另予以个体化护理。比较两组基线资料、自我管理能力、依从性以及血压水平。结果 两组基线资料对比(P>0.05);护理后观察组自我管理行为的改善情况相比对照组较好(P<0.0
期刊
矿石分选抛废中对计算机辅助技术的运用,可以有效提升精尾矿分类准确率和处理量。近几年,深度学习技术的运用对矿石分选抛废效果提升巨大,但是该技术的落地实现的前提是数量足够而且均衡的训练集,生成对抗网络的应用可能成为这一难题的解法之一。本论文通过对铅锌矿石X射线图像以及生成对抗网络的研究,提出了一种胶囊鉴别器-生成对抗网络,在一定程度上达到了数据增强的效果。以下是主要工作内容:1、制作矿石图像数据集。本
学位
随着生物信息学的不断发展,处理和分析海量生物数据对于药物开发、疾病诊疗、生物医学研究等多个领域有着积极作用。环状RNA(circRNA)作为一种具有共价闭环结构的新型内源性非编码RNA,可以从多方面调控基因的表达,被验证与人类复杂疾病之间存在潜在关联。目前已有的circRNA-疾病关联预测算法存在缺乏多源数据、没有高效聚合相似性网络特征、特征数据处理过平滑以及特征种类融合不充分等不足之处。为此,本
学位
目的 探讨终末期肾病血液透析患者并发高血压的相关影响因素。方法 本次研究为回顾性分析,将2021年8月至2022年8月收治并确诊的终末期肾病患者70例为研究对象,所有患者均进行血液透析,血液透析时间≥6个月,将血透期间是否发生高血压作为分组依据,将我分为发生组与未发生组。收集所有患者临床资料,记录其血压水平,并检测清C反应蛋白(CRP)、同型半胱氨酸(HCY)、血清磷(P)、血清钙(Ca)、血尿素
期刊
磺胺类抗生素在水环境中广泛存在且难以彻底处理,对生态环境产生了巨大威胁。硝酸盐(NO3-)和亚硝酸盐(NO2-)是自然界中重要的含氮阴离子,特别是在工业废水中浓度较高。它们可以通过紫外光激发,产生活性氧物种(ROS:·OH、O·-、O(~3P)和O2·-等)和活性氮物种(RNS:·NO2、·NO和ONOO-等)等,这些活性成分对水中有机物降解具有重要促进作用。但是紫外/NOx-体系对磺胺类抗生素的
学位
推荐模型是一种有效的信息过滤机制,它根据用户需求从海量数据中找出有价值的内容,并以多种形式推荐给用户,它的出现满足了不同用户的个性化需求,给企业和社会带来巨大效益。但推荐系统目前处于不成熟阶段,仍然存在数据稀疏、低可解释性、未充分利用特征间的跨模态相关性等问题。为此,本文基于上述存在的问题展开研究。首先,在原始Movie Lens数据集基础上,通过爬取电影文本和海报信息构建新的多模态数据集Movi
学位
农作物病害是对果园农业生产的主要威胁。病害导致的产量下降可能会导致不可估量的经济损失。因此,对农作物病害的快速识别具有重要意义。在各种检测方法中,基于计算机视觉的方法具有快速、精度高、可移植性好等优点,逐渐成为农作物病害检测研究的热点。而传统的机器学习算法需要人工提取植物叶片图像特征,难以适应现代化智能农业生产的需求。本文通过研究图像识别和卷积神经网络模型,提出了基于卷积神经网络的植物叶片病害识别
学位
随着信息科学技术的蓬勃发展,物联网(Internet of Thing,Io T)设备广泛应用在各行各业中,然而已知或未知的网络攻击给Io T设备带来不容忽视的安全风险。为了保障Io T设备安全,需要对其流量数据进行异常检测。在各种异常检测方法中,基于机器学习的检测方法不仅依靠人工收集攻击特征、而且需要根据新的攻击来更新特征库,从而难以满足高效、准确的Io T需求。此外,由于Io T设备种类繁多、
学位
卤代苯醌(Halogenatedbenzoquinones,HBQs)作为一种新兴的消毒副产物,近年来已经越来越受到人们的重视。虽然HBQs在饮用水中仅为ng级别,但是其毒性比常见的三卤甲烷(Trihalomethanes,THMs)和卤乙酸(Haloacetic acids,HAAs)强出千倍,对饮用水安全存在巨大潜在威胁,而国内对HBQs的研究调查相对较少。因此,有必要对各水源地的HBQs生成
学位