面向动态人群环境的深度强化学习机器人避障算法研究

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:aiqi527927
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年来,随着世界发达国家以及我国的老龄化和少子化的社会状况愈演愈烈以及移动机器人不断往智能化方向发展,智能移动机器人在人们日常生活中越来越常见。具有高随机性的动态人群环境带来的极大不确定性给移动机器人的避障导航能力提出巨大挑战。近年兴起的深度强化学习方法为移动机器人在动态人群环境中的避障与导航问题提供了新的解决思路和方法。如何让移动机器人在有效地设计出无碰撞路径的同时又符合行人安全与舒适度的需求是目前移动机器人领域非常重要的研究方向,具有广泛的现实意义和重大研究价值。针对这一问题,本文对动态人群环境的深度强化学习避障方法进行了研究。本文基于紧张空间和社会性压力模型对深度强化学习避障算法SARL*进行改进。具体的,本文将动态行人群复杂场景下的导航问题抽象建模为马尔科夫决策过程,根据紧张空间和社会性压力来建模行人之间以及行人与移动机器人之间的交互关系。将社会性压力作为输入状态和奖励函数的一部分,设计行人注意力分数使移动机器人对不同状态下的行人给予不同的关注权重。这些使得深度强化学习的价值网络对当前移动机器人状态的价值评估更加合理与准确,从而使移动机器人做出更合理有效的动作决策。同时,使得移动机器人的决策更符合社会性,更好满足行人的安全和舒适度需求。本文在仿真环境下进行深度强化学习的避障算法的训练与测试,并迁移到真实不同人群环境下进行实验测试。首先在仿真环境中,将结合社会压力的SARL*+Social Stress改进算法与SARL*算法进行对比,实验测试结果表明改进后的方法在导航任务成功率、碰撞率、行人舒适性、轨迹平滑度等方面表现更好,能够使移动机器人在动态行人群中高效且让行人更加舒适的导航。然后,在真实场景中,开展了不同环境下行人群不同运动方式的实际测试,验证了本文方法的实际避障效果。
其他文献
在智能制造的背景下,锯床行业寻求智能化解决方案实现产业升级。目前国内生产的锯床普遍存在以下问题:不能远程获取设备的实时运行状态、锯切参数;锯床在工作过程中,无法获知带锯条磨损状态,很难预测锯条的剩余寿命;实时监测数据量过大,可视化绘制实时性不高,并且数据处理开销大。为了实现远程数据获取和实时监测,本文设计和实现了一套基于物联网技术的带锯床在线监测系统:通过自主研发的智能网关,向下对接锯床控制器,实
学位
随着无线通信技术的快速发展,人们对天线性能提出了更高的要求,如:小型化、多功能、高集成度等。传统的固体天线难以同时满足多方面的性能要求,缺点也逐渐明显。与固体天线相比,液体天线因其特有的流动性、重构性、透明性等,在工业生产以及军事上具有重要的应用价值。本文采用纯水和乙酸乙酯作为液体材料,设计了三款液体介质天线,并增加圆极化、滤波和可重构等功能。使得液体材料可应用于宽带天线、小型化天线、极化可重构天
学位
目前实现芯片间信号的高速不失真传输主要通过串行接口技术。Ser Des(Serializer/Deserializer)是串行接口物理层的核心组成部分,主要实现数据的串行化与解串化。延迟锁相环(DLL,Delay Locked Loop)因其低抖动、低功耗及小静态相位误差等特点,在Ser Des系统广泛用于完成各种时钟处理任务。本文主要针对用于高速Ser Des系统中的多相位延迟锁相环(MDLL,
学位
固态硬盘(Solid State Drive,SSD)凭借高速率、低功耗和抗震等优点,在多领域逐步替代传统机械硬盘。闪存转换层(Flash Translation Layer,FTL)算法作为SSD主控核心对系统性能影响巨大。闪存(NOT AND Flash Memory,NAND Flash)存储密度的提高带来了原始误码率的激增,对FTL算法设计提出了更高的要求。基于闪存新特性,不断优化FTL算
学位
本论文运用第一性原理主要进行了对复杂钙钛矿氧化物中的挠曲电效应研究。挠曲电效应指应变梯度与电极化之间的机电耦合,这种独特的机电耦合效应在复杂钙钛矿氧化物中存在潜在的增强,使其在新型存储器、畴工程和传感器等领域有广阔的应用前景,因此,设计一种具有显著挠曲电效应的材料具有重大意义。本文运用第一性原理,构建了由SrTiO3和BaTiO3以n:n(n=1,2,3,4)交替的SrTiO3/BaTiO3(SB
学位
压电材料有着能量转换的特性,常被用来制作换能器,实现机电信号的转换。近年来,三元系压电单晶Pb(In1/2Nb1/2)O3-Pb(Mg1/3Nb2/3)O3-Pb Ti O3(PIMNT)作为性能优异的压电材料得到广泛的研究。较之传统的压电陶瓷和压电薄膜,PIMNT压电单晶在压电性能和机电耦合性能上的优势明显,但也存在着声学匹配性能上的劣势,且机械强度低。借鉴压电陶瓷复合材料的经验,本文选取PIM
学位
与传统的电池和电容器相比,超级电容器作为一种新型的储能器件,具有能量密度高、充放电速率快、循环寿命长等特点。高性能电极材料是影响超级电容器储能性的关键因素,采用简单低成本的方法制备出储能性能优异的超级电容器电极材料具有重要意义。本文采用一步水热、自然干燥方法,制备了一种轻型、无污染、高性能的氮硼掺杂石墨烯气凝胶(NBGA,nitrogen-boron-doped graphene aerogel)
学位
铁磁、铁电耦合复合材料因其丰富的物理现象以及在新型磁电器件、传感器件等领域的广泛应用而深受关注。已有的研究表明在介电/铁电材料中引入铁磁材料可大幅度提高其介电常数,因而有可能利用铁磁与铁电之间的磁电耦合来调控/提高铁电材料的储能性能。本论文基于磁性金属和铁电材料,设计制备了上磁下电型和上电下磁型两种铁磁/铁电复合薄膜电容,并针对每一结构中的磁性金属层选用了不同磁性材料进行实验对比,通过铁电测试研究
学位
随着生物医学工程、计算机技术、通信技术的快速发展,植入式神经接口(Neural Interface)器件在医疗健康领域扮演着越来越重要的角色,它可以获取大脑信息,帮助运动障碍病人进行康复训练;也能够向大脑传递输送信息,帮助感觉障碍的患者恢复人体的感官功能;另外,还能够与大脑进行双向的信息交流,具有广泛的应用前景。植入式器件中常用的供电方式是锂电池供电,当电池的能量耗尽时需要外科手术进行更替。患者不
学位
为了构建平安和谐社会,人们对于社会安全和公共安全的需求日益增加,商场、校园等公共场所一般都部署了大量监控设备。但是依赖人工方式对海量视频中的人群行为进行分析十分困难,行人重识别作为视频监控智能化领域的关键技术受到了越来越多的关注。现有的行人重识别方式均假设所处理的行人图像具有统一的和较高的分辨率,但在实际应用中,由于摄像头的位置与拍照角度都不受限制,所拍摄的行人图片往往具有不同的分辨率,将跨分辨率
学位