基于动态规划和强化学习的无人机路径规划算法研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:goeas
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
无人机路径规划问题是当下的研究热点之一,现有的硬件条件和人工智能理论的飞速进步,使得单体无人机智能化程度大大提高,实现了从单机智能到协同智能的跨越式发展。在实际应用中,无人机在社会生产生活的各个方面均有大规模应用,特别在侦察任务中,无人机应用广泛。在侦察任务的完成过程中,由于受限于无人机的体积有限,使得无人机在能源供给、计算负载、运动能力和通信能力等多个方面均有很大限制。突出的表现为无人机能源有限,实时计算能力不足,运动存在盲区和上限(相比较任务区域而言)。因此,面向大范围、目标稀疏分布的复杂环境,合理规划遂行侦察任务的无人机路径成为重要的研究问题。本文推导和分析了现有无人机路径规划算法存在的问题,在此基础上设计了改进算法,提高了算法在计算复杂度和地形适应性等方面的表现,为解决实际实际侦察任务中路径规划问题提供了理论和算法参考。首先,本文针对现有算法的建模方式进行了改进。针对现有算法对任务问题建模的可扩展性问题,本文提出了一种新的适用于无人机侦察策略的地图建模方法。传统路径规划算法采用无人机地理位置为算法状态空间的建模方式,然后依据依赖迭代结果进行不可逆的策略生成。结果是在处理山谷等复杂地形环境问题的时候,路径可能收敛到不可行解。本文则提出了网格间方向性运动到状态空间映射的建模方法,构建运动状态空间,仿真实验验证表明,运动状态空间建模方法有效提高了算法在复杂地形环境下的描述能力,实现了无人机对单一区域的重复访问。其次提出了基于层次式地图网格化方法的算法计算降维法。在传统算法中,算法的计算精度和地图网格的划分精度是正相关的,高计算精度的要求带来了维度爆炸问题。本文提出了一种层次式地图网格化方法,通过多层次算法的配合计算,下层算法处理局部兴趣点,上层算法则进行全局规划。这种方法极大降低了算法的计算时间,以本文提出的基于方向判定的动态规划算法为例,同等计算规模下,计算时间的节省高达百分之90以上。提出了基于方向判断的动态规划算法和Q-learning算法,用于无人机侦察策略规划。在本文提出的新建模方式的基础上,将其带入动态规划算法,并对算法的核心部分进行了修改,迭代空间从状态空间变为动作空间。通过仿真实验,证明新的算法具有更好的环境适用性、同计算精度条件下计算用时更短等优点。由于基于动态规划算法十分依赖对任务环境先验信息的获取,所以本文提出了基于方向判断的Q-learning无人机侦察策略规划算法。算法中同样采取了本文提出的新的建模方式和降维方法。通过仿真实验验证,证明算法相比较传统Q-learning算法,具有更好的地形适应性和明显计算时间优势。本文最后总结了主要工作和创新点,并指出了后续研究方向。
其他文献
钢渣属于最大的固体废弃物之一,大量废弃钢渣堆积如山,不仅占用了土地资源,还对环境造成污染,因此对钢渣的资源化再利用是当今社会的研究热点之一。在我国公路工程蓬勃发展的
[背景]膀胱癌是泌尿系统最常见的肿瘤之一,当膀胱癌发展到肌层浸润期后,患者预后极差,即使经过规范治疗,5年生存率也仅为60-70%。对膀胱癌患者进行早期诊断和早期治疗,能够控制或延缓其病情进入肌层浸润期,使其生存获益。因此,深入研究膀胱癌发生进展的分子机制并寻找有效的早期诊断、控制治疗和术后监测手段,具有非常重要的临床意义。近年的研究表明microRNA(miRNA)在膀胱癌发生进展中可能发挥重要
21世纪以来,能源危机、环境污染等问题频发,为践行可持续发展理念,基于可再生能源的微电网技术得到了广泛的关注。微电网是分布式电源综合运用的有效途径,不仅能够实现新能源
随着生活节奏的加快,早餐购买不便、就餐时间仓促、营养不足等问题日益突出,早餐工程受到了专家学者以及各地政府的重视。但是,传统的早餐售卖模式存在着售卖地点固定、品质
浓度梯度是指一定的区域内溶质浓度以递增或递减的规律分布,这一概念在生物医学及化学领域具有重要意义,尤其随着蛋白质筛选、酶动力分析及细胞生物学研究的深入,不同浓度样
随着可开发利用的化石能源越来越少,环境污染日益严重等问题的产生严重影响了人类社会的发展,造成环境污染主要原因之一便是汽车尾气排放,为解决这一问题,各国政府开始号召使
动静压轴承作为超高速磨削电主轴系统的核心部件,其工作性能直接影响着电主轴的加工精度和可靠性。对于经常处于超高速运转状态下的动静压轴承,迫切需要保证轴承的工作性能稳
随着科技的发展,无人机的应用场景越来越广泛,其不仅应用于军事领域,还会给人们的生活带来了许多方便,无人机的应用具有广大的前景。然而,在无人机的远距离飞行中无法对其进
[目的]探讨女性泌尿生殖道瘘的致瘘因素和特点,总结影响手术疗效的因素及预防措施。[方法]选择昆明医科大学第二附属医院泌尿外科2003年1月至2019年3月收治、符合纳入标准及
能源问题一直是各国密切关注的重点问题,它影响制约着一个国家的经济增长和产业发展。随着世界能源的匮乏,发展中国家在工业化的过程中将会承受着巨大的能源压力。自中国提出“一带一路”倡议以来,目前已有七十多个国家加入。但依据《“一带一路”国家工业和信息化发展指数报告》,大部分的沿线国家的工业发展弱后,尚处于工业化进程中的前中期,对能源的需求极高。因此多数沿线国家在工业化和信息化的过程中需要尽可能的处理好能