基于深度强化学习的飞行目标探测传感器资源调度方法研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:zhangxizi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着飞行器技术的发展进步,飞行器在飞行过程中涉及到的探测需求也日益增长,其探测过程涉及到多时段的多传感器选择决策问题,由于在线传感器资源调度存在关系复杂且实时性要求高的特点,容易出现资源分配不均衡、效率低下的情况。因此,开展飞行目标探测传感器资源在线调度研究,有助于提高探测系统的快速反应能力及应用效益,具有重要的理论和应用价值。探测传感器资源调度是一个空间状态复杂,实时性要求高,约束要求多的动态优化决策问题。其调度背景的复杂性以及对时间性能的高要求使得传统算法在解决该问题时较为困难。当前,深度强化学习为代表的新一代人工智能方法在人机对弈等应用中取得了颠覆性突破,解决了一些以前无法解决的难题,在复杂条件下的动态决策应用领域中显示出了巨大的优势,为此文章提出了一种基于深度强化学习的飞行目标探测传感器资源调度解决方案,其主要研究包括以下几个方面:综合分析飞行目标探测传感器资源调度场景及过程环节的运作机理,提取传感器资源调度过程中涉及的关键变量,讨论评价调度过程优劣性的评估方法,再利用马尔可夫决策过程描述方法对飞行目标探测传感器资源调度问题进行数学抽象,分别设计调度模型的状态方程、动作空间、回报值函数,并完成参数变化过程中的逻辑关系设计。在马尔可夫决策模型的基础上,构建基于深度强化学习的飞行目标探测传感器资源调度框架,从基于策略与基于值角度的强化学习方法进行分析,采用融合两种方法优势的Actor-Critic方法作为实现资源调度的基本算法,引入神经网络作为强化学习中的策略函数,结合目前主流深度学习的训练方式,利用PPO算法完成了调度算法的设计。最后为验证飞行目标探测传感器资源调度方法的正确性与可用性,结合调度算法功能构建飞行目标探测传感器调度系统的基本框架,建立资源调度过程仿真平台,还原模拟常用探测任务资源调度过程场景,将调度算法应用于在仿真环境实现模拟飞行任务的资源调度方案,再而对算法产生调度结果进行评价,对比分析基于深度强化学习的调度算法。
其他文献
低压感应电机驱动系统所具有的安全性与经济性使其成为电动汽车驱动的新选择。为优化基于矢量控制的低压感应电机驱动系统的输出性能,保证其可靠性,并且降低系统成本,提升功率密度,本论文针对电动汽车用48V感应电机驱动系统的矢量控制关键技术问题,围绕矢量控制中保证最大转矩输出的电流分配策略、基于离散Luenberger观测器的转速估算、逆变器非线性因素补偿等问题展开了研究,得到了相应控制算法的实现方式和验证
近年来,随着高层和超高层建筑的日益普及,各种偶然荷载对建筑安全的危害不可忽略,一系列由于爆炸、车辆碰撞、火灾等原因造成的建筑连续倒塌事件,引起了各国工程界和学术界的广泛关注。提高建筑结构的连续倒塌性能、改善结构延性已成为结构工程师面临的一个关键问题。本文采用拆除构件法,设计并制作了3个1:2比例缩尺的双跨梁柱子结构试件,并对其进行拟静力加载试验,研究边界约束较弱时二维平面钢筋混凝土梁柱子结构的抗连
煤炭是我国丰富的一次能源,国内大规模的产业建设带动了火电行业飞速发展,随之而来的粉煤灰的排放量也与日俱增。粉煤灰的大量堆积不仅占用土地,还带来许多环境问题。随着科技的进步以及人们环保意识的提高,粉煤灰得到了广泛的应用。其中,从粉煤灰中提取氧化铝取得了突破进展,同时粉煤灰提铝后产生了大量残渣。本课题正是在这一背景下提出,利用此残渣制备非晶态水化硅酸钙。本文的粉煤灰提铝残渣来源于酸法提铝,通过N2吸脱
剪力墙结构、框架-剪力墙结构和框架-核心筒结构是高层建筑中常用的结构形式。在这类结构中,连梁既能够为结构提供侧向强度和侧向刚度,又是保证结构延性和塑性耗能能力的关键构件。随着非线性动力反应分析越来越广泛地应用于高层建筑结构的抗震设计和性能评估,对连梁提出一种简单高效的数值模拟模型显得尤为重要。PERFORM-3D作为一款结构抗震性能评估软件,已广泛应用于我国的结构抗震研究领域和工程实践中,在科研界
无人机可广泛应用于许多重要领域,如工业、农业、交通及国防等。这些应用依赖一系列关键共性技术的突破,自主导航是其中之一,这是因为无人机在这些应用中需要应对复杂周围环境以及障碍避免,无人机必须具有自主导航能力。对环境进行三维地图重建获得环境三维地图是解决其自主导航问题的有效途径,也是无人机得以大规模应用的关键。传统的三维重建方法有几何造型和激光扫描方法,但各有明显的缺点。当今基于图像的三维重建方法因其
钢-混凝土组合梁通过抗剪连接件将钢梁与混凝土板组合而共同工作,兼具钢结构和混凝土结构的优点。对于处于海洋或者恶劣环境下的组合结构,环境中氯离子侵蚀作用引起栓钉锈蚀,导致栓钉力学性能下降,严重影响组合结构的整体性能。由于在役组合结构中栓钉锈蚀监测较困难,准确模拟混凝土中氯离子扩散引起的栓钉锈蚀过程显得尤为重要。本文将混凝土中氯离子扩散与栓钉锈蚀耦合分析,研究组合结构服役期内的栓钉锈蚀过程和力学性能退
将钢桁架代替钢筋配置在钢筋混凝土剪力墙中形成钢桁架混凝土组合剪力墙(以下简称“桁架剪力墙”)。桁架剪力墙不仅能更好地发挥钢材和混凝土的优点,而且能克服钢结构不耐腐蚀和不耐火的缺点,同时又具有良好的变形能力和抗震性能。桁架剪力墙通过桁架拼装连接能够减少现场湿作业,加快施工进度,有利于装配化施工。目前关于桁架剪力墙结构性能研究的成果比较少,制约着这种新型结构的发展。本文研究桁架剪力墙的受力性能,对桁架
【目的】为构建与应用雪茄烟晾制数据采集系统,获取雪茄烟晾制过程关键数据。【方法】架构以1个控制单元和若干检测单元组成的数据采集系统。控制单元由工控机和Delphi环境下开发的采集程序组成;检测单元由USB摄像头、温湿度传感器、重量传感器组成。采集程序利用DirectShow技术,实现USB摄像头视频取帧,获取雪茄烟叶图片;利用Modbus通信协议,通过串口通信采集温度、湿度、烟叶重量数据。并对温湿
随着我国经济水平的快速发展,各类交通工具的使用量也在大幅度上升,相应的因为交通的需要建设了越来越多的桥梁。桥梁在受到外部较大的压力时,会产生微小的形变,当这个形变量超过一定的范围时,就会导致坍塌,给人民的生命财产安全带来严重的威胁。因此,本论文提出了针对桥梁形变的远程实时监测系统的全新的解决方案。本论文利用调频连续波技术和差分相位干涉技术,发射FMCW信号,并接收回波信号,根据干涉相位与微位移变形
党的十九大报告提出,"努力让每个孩子都能享有公平而有质量的教育"。江苏省扬州市邗江区蒋王小学以十九大精神为指引,以办党和人民满意的教育为目标,秉持"生命至上"的发展理念,抓住促进特需学生发展的教学环节,采取专业研究的推进策略,建构多维立体的支持系统,为特需学生提供个别化教育,促进其全面发展、充分发展,实现深度融合。