追捕环境下无人机基于深度强化学习的逃逸方法研究

来源 :武汉理工大学 | 被引量 : 0次 | 上传用户:yyyypolo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
旋翼无人机在执行飞行任务的过程中可能会遇到各类安全威胁,其中甚至可能会遭遇追捕者进行有意图追捕的情形。在此类场景下为保护旋翼无人机自身安全,应使无人机具有应对追捕者追捕的逃逸能力。目前有关旋翼无人机规避威胁的研究主要集中在规避无追捕意图的动静态障碍物上,在应对具有追捕意图的追捕者的逃逸方法上研究尚较少。在此背景下,论文基于深度强化学习理论对追捕环境下无人机的逃逸方法进行研究,目的是提高追捕环境下无人机的逃逸动作决策能力,完成设定的逃逸任务。论文主要研究工作如下:首先,研究动力学模型约束下的旋翼无人机飞行动作融入强化学习动作决策的方法。基于动力学模型约束与飞行机理设计了无人机逃逸飞行动作库,为后续的强化学习决策提供动作基础。进一步,将无人机逃逸问题分为速度劣势下的逃逸问题与速度优势下的逃逸问题,对这两类问题分别进行了定义和描述。其次,针对速度劣势下无人机的逃逸问题,研究基于深度Q网络(Deep Q Network,DQN)的无人机逃逸决策方法。一方面,分析并设定速度劣势下无人机逃逸任务,另一方面,依据逃逸问题设计深度强化学习训练所需的仿真训练环境、状态空间、动作空间。以此为基础,提出一种面向逃逸任务的奖励函数,并结合人工势场法对奖励函数进行改进,由追捕者产生斥力场,把旋翼无人机在追捕者势场下的势能变化作为每个训练时间步的奖励因素,解决深度强化学习过程中的稀疏奖励问题;进一步,改进了DQN算法中的ò-greedy随机策略,使DQN模型在训练前期具有较高的探索率。第三,针对速度优势下无人机的逃逸问题,研究基于DQN的无人机逃逸决策方法。分析并设定无人机逃逸任务,并以速度劣势下无人机强化学习模型为基础,设计针对速度优势下无人机逃逸任务的奖励函数,以提高逃逸任务成功率。最后,在仿真环境中对无人机进行逃逸能力训练,实验结果表明,针对两种逃逸问题,无人机均能通过学习获得逃逸动作决策方法,与传统奖励函数相比,基于改进奖励函数训练得到的逃逸策略的逃逸任务成功率更高。并且所获得的逃逸策略的任务成功率优于对比策略。在改变追捕条件后,无人机仍能习得对应的逃逸动作决策方法,证明在追捕环境下基于DQN的逃逸策略的可行性。
其他文献
汽车外形优化一直是降低汽车油耗的重要手段,也是国内外汽车公司的研究重点。汽车在行驶过程中,其前后表面的压差阻力约占总阻力的85%。压差阻力产生的主要原因是气流在车尾汇聚后会形成一个较大的涡流,气流紊乱,形成了较大的湍流动能,使得较多的动能转化为热能散失掉,增加了能量消耗。故改善汽车尾部结构能有效改善尾部涡流,进而可以有效降低汽车油耗。本文以某CAR车型为研究对象,从流体理论分析、计算数值仿真、尾部
学位
砂石级配质量的好坏影响着混凝土的使用性能及制作成本,因此对砂石级配质量进行检测尤为重要。传统级配检测方法不但耗时费力,而且级配结果具有延迟性,同时生产车间内的漂浮粉尘也会严重损害工作人员的健康。因此,基于机器视觉技术和砂石骨料拌合生产线上级配检测的迫切需要,本文开展了基于机器视觉的砂石级配实时检测系统研究。论文主要研究内容如下:(1)阐述了国内外基于机器视觉的砂石级配检测系统的研究现状。结合研究现
学位
细胞显微注射是生物医学领域的重要研究内容,在辅助生殖、基因工程、药物研发等实验研究中得到广泛应用。传统的手工细胞显微注射存在精度低、可靠性差、可重复性差、容易造成操作者视觉疲劳等不足。虽然应用于细胞或胚胎研究的显微注射系统已经商业化,但其操作方式依然处于手动和半自动阶段,对于卵母细胞显微注射还没有成熟的自动化注射方案。因此,开发自动化显微注射系统,实现细胞显微注射的自动化控制成为了必然趋势。本课题
学位
临近降雨预报一直是天气预报领域的一个重要研究问题,对于社会的生产以及人类的生活起到了重要的作用。本文针对于临近降雨预报的问题提出了一种基于降雨云团轨迹预测的图像处理算法和两种基于雷达回波图像预测的深度学习方法。主要研究内容包括:(1)设计了适合于提取降雨云团轮廓以及特征的算法,又通过提取的特征设计了云团轨迹跟踪的算法及云团轨迹预测的算法。最后结合这些算法,对5帧连续的雷达回波图像序列进行处理,预测
学位
帕金森病是一种常见的神经性系统退化疾病,每年帕金森病人的数量都在快速增长。临床上主要依靠医师的主观经验对帕金森病人的病情进行分析评估,由于人为的主观性容易造成一定的误判。为了准确客观地评估帕金森病情,本文针对帕金森病运动症状,提出了一种基于视觉系统的帕金森病情等级评估方法。利用视觉系统配合标记点采集运动数据,通过标记点定位算法提取各帧图像中标记点位置并以此得到人体运动信号,从运动信号中提取相关特征
学位
大型高速旋转机组是工业生产中的关键装备之一,其转子部件脱落是一种隐患巨大的故障,严重影响生产安全。转子部件脱落的早期征兆使用常规方法难以发现,为了实现转子部件脱落故障诊断,本文选用真实转子部件运行时监测数据,综合利用信号处理技术与智能诊断方法对监测信号进行特征提取,获得故障特征数据集。针对转子脱落故障诊断识别准确率的问题,提出了一种基于集成学习模型的转子部件脱落故障诊断方法。同时为了解决工业过程中
学位
无人机低空作业时,环境中运动目标给无人机飞行安全带来巨大威胁。通过视觉和图像技术获取无人机飞行环境信息,进而引导无人机避让危险目标,对无人机飞行安全具有积极意义。低空飞行时,视觉单元获取图像的背景不断发生变化,对运动目标的检测和跟踪的准确性及可靠性带来很大干扰。针对该问题,论文研究面向无人机低空飞行的运动目标检测与跟踪方法,主要研究内容如下:第一,通过双目相机标定和多相机联合标定,获取相机内部参数
学位
焊接机器人在中厚板焊接中得到了广泛应用,而国内焊接工件的机加工精度较低、坡口形式多样等因素,对中厚板焊接坡口检测的准确性造成影响,针对焊接现场的多形式坡口工况,焊接机器人存在着低适应性等问题。因此,研究基于线结构光的中厚板焊接坡口特征识别算法对解决多形式坡口难以识别的问题,实现自动化焊接具有十分重要的意义。本文采用了基于线结构光的视觉测量技术对中厚板焊接坡口进行检测,结合坡口特征,提出了一种基于几
学位
高速发展的现代工业对旋转机械设备的性能要求不断提高,而传统机械轴承受到轴承磨损的限制,难以保证较好的使用效果,已经无法满足实际需求。磁悬浮轴承具有耐高温、无摩擦、功耗低、转子稳定性好等突出优势,广泛应用于磁悬浮压缩机、高速电机等设备。但是磁悬浮轴承系统存在明显的非线性机电耦合和开环不稳定性,对其控制系统的设计提出了很高的要求。控制系统是影响磁悬浮轴承性能的重要环节,主要由控制算法和控制器组成,控制
学位
现今航天器结构设计向着多样化、复杂化、精密化的方向发展,而大多数航天器在运行期间受到冷热交变作用时很容易发生热致振动,导致航天器不能正常工作甚至损坏。因此在航天器初期结构设计时准确的预防其热致振动将至关重要。但是,目前缺乏高精度的测量手段对该现象进行实验研究。对此,本文针对航天器热致振动现象测量的实际需求,设计并制作了一种微型光纤F-P加速度传感器,其体积尺寸仅为16mm*4.3mm*4.3mm,
学位