基于强化学习的无人机灾后救援路径规划模型与方法研究

来源 :长安大学 | 被引量 : 0次 | 上传用户:woaijiekexun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
无人机具有突破地形与协同决策控制的优势,有利于进行侦查灾情与灾后救援。为无人机合理规划避障路径可缩短侦查时间和提高侦查成功率。现有路径规划方法通常需要对环境进行建模,难以直接用于真实复杂的飞行环境。而且,针对无人机多目标侦查路径规划问题,现有智能优化规划方法往往属于离线规划,当环境信息发生变化时需重新规划。这使得无人机需依赖高层统筹决策完成侦查任务,降低了无人机自主决策与适应环境能力。针对环境难建模与策略难适应问题,本文基于强化学习研究面向多目标(受灾点)侦查任务的无人机路径规划问题。针对受灾范围小且集中的灾后救援场景,提出基于深度确定性策略梯度优化(Deep Deterministic Policy Gradient,DDPG)方法的单无人机多目标(受灾点)侦查路径规划(Single UAV Multi Objective Path Planning,SUMOPP)方法,提高单架无人机侦查效率。针对受灾范围大且受灾点分散的灾后救援场景,提出基于多智能体DDPG方法(Multi-Agent DDPG,MADDPG)的多无人机多目标侦查协同路径规划(Multi UAV Multi Objective Collaborative Assignment and Path Planning,MUMOCAPP)方法,实现多无人机协作分配侦查目标。本文的主要研究工作如下:(1)在单无人机多目标侦查问题中,综合考虑障碍物、子目标和距离因素,设计了单无人机在侦查多目标下奖励的分离结构,与分散的状态空间与动作空间,支持无人机能够在灵活躲避障碍物的同时选择执行顺序完成侦查任务。(2)在多无人机多目标侦查问题中,给出了多无人机协同目标分配与路径规划问题的多智能体合作决策模型。集成多目标分配与路径规划阶段,建模多无人机对多目标的竞争行为,设计多无人机的合作奖励结构与联合状态空间,支持无人机集群实现智能选择目标数量与侦查顺序,并避免多机侦查任务的冲突和飞行碰撞。(3)构造仿真环境验证所提出的无人机路径规划方法。在单无人机灾后救援场景中,1000次侦查任务成功率为94.7%,侦查平均用时5s;在多无人机侦查中,多无人机侦查成功率为96.8%,侦查平均用时15s,验证了方法的有效性与可靠性。
其他文献
配合位聚合物(Coordination Polymers,CPs),是由金属中心(单离子或多核簇)与有机桥联配体通过配位键自组装形成具有丰富骨架和多种内在特性(多孔性、结构的可调节性、高比表面积)多孔晶态材料。随着现代材料科学的飞速发展,出现了大量新型结构和独特性能的配合物。与其他分子传感器相比,配合物传感器具有制作简单、成本低廉、操作简便等特点,在检测识别目标分析物时表现出选择性好、灵敏度高、抗
学位
准确地检测出钢管焊缝中的缺陷是大口径螺旋焊接管道生产质检环节中最重要的部分之一,焊缝缺陷检测的质量决定了管道产品在其整个生命周期中能否在复杂工况下都能正常工作。其中,数字射线成像(Digital Radiography)是目前焊缝无损检测中最为精确且可靠的技术之一。然而,在质检环节,目前对钢管焊缝数字射线图像的分析主要采用人工检测及人工目视解译的方式进行,这种基于人工的图像方法工作强度高、效率较低
学位
在线医疗社区是典型的互联网医疗服务平台,是面向医疗服务人员、患者及其家属的健康类虚拟社区,是健康知识产生、传递、共享的线上平台,近几年在国家政策的支持和互联网技术的推动下得到迅速发展,尤其是2019年新冠肺炎疫情的爆发与蔓延,为在线医疗服务提供了新发展机遇,越来越多的民众已经养成了网上看病的习惯。在线医生作为健康知识的生产者,是在线医疗社区的重要参与者,其行为直接影响着其他用户的参与行为。在后疫情
学位
四足机器人是在一个多变复杂的环境下运行的,机器人的速度和位置状态能够影响机器人的运动性能,机器人在运行的过程中,机器人的状态信息能够通过各种传感器测量出来,传感器的性能和稳定性影响着整个机器人系统性能,因此一款能够监测四足机器人运动状态的状态监测系统对于整个机器人系统来说就显得比较重要。本文设计了一款基于Lab VIEW为编程语言的腿足式机器人状态监测系统,并对四足机器人的状态信息相关的传感器进行
学位
钢管混凝土能够充分发挥钢和混凝土的各自优势,其节点部位是桥梁设计的薄弱环节,常带损伤服役。但是现有S-N曲线法适用于设计阶段节点无损伤时的疲劳评估,而断裂力学法可适用于开裂节点剩余疲劳寿命评估并可获得更准确的疲劳寿命。因此,本文基于断裂力学法针对钢管混凝土桁梁桥节点开展了以下工作:(1)提出了焊接矩形管结构疲劳评估流程,给出了评估流程中主要存在以下3个关键问题:1)节点焊趾处沿壁厚方向应力分布模式
学位
以大豆豆粕为反应底物,用复合蛋白酶将其进行水解,对反应条件(底物浓度、反应温度、pH值、反应时间、酶用量)等工艺参数进行了系统的研究分析,并总结大豆肽含量及大豆蛋白水解度与各影响因子之间的关系。研究结果表明:反应温度为50℃,pH值为6~8,底物浓度为25%,添加复合酶量为3 000 U/g,反应时间为24 h,在此条件下酶解液中肽得率最高为49.76%。提供一种复合酶酶解制备多肽的方法,以豆粕为
期刊
<正>时间是常量,也是奋进者的变量。按下党的十八大以来全省组织工作的回放键,响起的是一曲曲余韵悠长的乐章,呈现的是一幅幅引人入胜的画面。伴随着山东发展的脉动,党的十八大以来,全省组织系统在省委的坚强领导下,高举习近平新时代中国特色社会主义思想伟大旗帜,坚定践行习近平总书记关于党的建设和组织工作重要思想,紧跟党中央全面从严治党步伐,坚决落实党中央部署,向中心聚焦,为大局聚力,为政治生态好转作出积极贡
期刊
交通场景中的火灾烟雾对交通安全影响重大,对其进行监测是交通管理中的重要任务。目前交通场景下的火灾烟雾检测技术依然存在算法检测精度低、检测系统上报速度慢等问题。针对实际需求,对火灾烟雾检测技术进行研究,仍具有重要的理论意义与应用价值。本文利用交通监控系统视频数据,针对交通场景中火灾烟雾事件的检测与应用开展研究,主要的研究内容如下:(1)烟雾视频的疑似烟雾区域检测方法。针对不同场景中烟雾的运动特征与颜
学位
路线规划策略作为自动驾驶车辆决策层的核心策略之一,其目的是为自动驾驶车辆规划一条符合驾驶需求的行驶路线。目前的路线规划策略在提高路线安全性和估算路线耗时两方面仍存在着不足之处:首先,策略通常以通行时间或行驶距离作为出行成本,而较少考虑路线的安全成本,导致规划的路线虽满足最短耗时或最短距离需求,但可能存在着风险程度较高(如事故多发)的路段,因此较难保障自动驾驶车辆的行车安全;其次,策略通常根据路段平
学位
随着计算机发展的多极化、智能化、网络化,因特网让我们不受时间和空间限制,随时随地知晓天下事,在网上共享信息快捷又方便。然而,由于因特网的通信协议TCP/IP存在安全漏洞,具有运行自动分析或拦截程序的高性能计算机每秒能够完成百万条底层代码的搜索,所以当没有经过加密处理的图像在网络上共享时,受到巨大的安全威胁。因此,在共享图像前对图像进行安全有效的加密,能够保护图像内容,保障用户隐私,具有重要的科研价
学位