基于深度强化学习的航空发动机控制方法研究

来源 :厦门大学 | 被引量 : 0次 | 上传用户:sflljlove
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
航空发动机是一个具有高度非线性的多变量复杂系统,难以建立精确的数学模型,目前传统的基于模型的控制设计方法无法进一步提高航空发动机控制性能和运行范围,需要研究不依赖模型的航空发动机控制方法。深度强化学习是一种经典的无模型人工智能方法。因此本文基于NASA的T-MATS高精度航空发动机仿真平台提出了一套深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)控制方法,改善了航空发动机的控制性能。本文的主要研究内容和创新成果如下:第一,提出了单变量DDPG深度强化学习控制系统的设计方法。首先,搭建以单输入线性发动机状态空间模型为基础的训练环境;其次,以DDPG为核心设计航空发动机单输入稳态控制器,该控制器主要由策略网络和评价网络构成,策略网络根据发动机的状态给出控制信号,评价网络则对策略网络输出的优劣进行评价,同时结合发动机控制目标设计了算法的奖励函数;然后,在线性模型的基础上引入非线性项,拓宽模型工作范围,搭建航空发动机非线性模型环境,同时针对该非线性环境设计基于DDPG深度强化学习的单输入智能控制器;最后,通过与PI控制器在T-MATS部件级模型上的仿真实验对比验证了该方法的先进性和可行性。第二,提出了多变量DDPG深度强化学习控制系统的设计方法。航空发动机在实际应用中,是一个具有强非线性的多变量复杂系统,仅靠单变量进行控制远远不能达到满意的控制效果,因此需要往多变量控制方向进行探索。首先,分别搭建航空发动机多输入多输出线性/非线性状态空间模型作为训练环境;然后,建立基于DDPG深度强化学习的多输入智能控制器。为了提高参数训练效率,采用Simulink的TCP通讯模块建立“JT9D”发动机仿真平台和基于Python的深度强化学习控制器的数据交互,形成数据闭环,最后通过与PI控制器、基于DDPG深度强化学习的单输入智能控制器进行对比,验证了该控制器在控制JT9D发动机时不管是响应速度,超调量等方面都具有更好的控制效果,同时在面对环境的变化时具有更好的自适应能力和抗扰动能力,在参数摄动方面也具有更好的调节能力。本文利用深度强化学习自适应优化控制的优点提出了基于DDPG的航空发动机智能控制的方法,解决了航空发动机传统控制中依赖高精度模型和控制性能优化难度大的问题,达到了满意的效果,为航空发动机智能控制系统的设计与开发提供了新的思路。
其他文献
随着高通量测序技术的飞速发展,基因组碱基序列的规模快速增长,带来大规模数据下的序列存储与序列比较问题。直接利用动态规划针对序列进行比对,需要消耗巨大的时间空间计算资源。而免于配准的序列比较算法基于k-mer的相对频度,建立统计模型间的差异度度量尺度,但存储空间随着k值的增长指数级增加,而且基于固定的度量尺度衡量序列间差异限制了算法的泛化性和应用场景。因此,针对当前序列比较出现的两个问题:(1)包含
学位
深度强化学习在众多领域都取得了巨大的成功。目前,大多数深度强化学习方法都是基于历史信息进行规划,这类方法没有考虑到未来信息对决策过程可能起到指导的作用。此外,现有利用未来信息进行规划的方法,其通常的做法是建立环境模型,进而利用模型产生的数据训练规划算法,而现实中很难获取系统准确模型。为了将未来信息合理纳入规划过程,本文研究了如何利用未来信息辅助决策,主要工作与贡献分为以下两个方面:(1)现实环境往
学位
长期以来,商业秘密在商业竞争中占据着举足轻重的地位,即使在当今更加发达的专利保护下,商业秘密仍具有不可替代的优势,在各种商业信息中仍起着至关重要的作用,其重要性日益凸显。中国签署《与贸易有关的知识产权协议》(TRIPs)后的知识产权保护和反不正当竞争行为。但是,中国现行的保护商业秘密的立法和做法存在很多模棱两可的地方,而且越来越缺乏对案件的适应性,这并不适合多种变化的商业秘密民事案件。2019年修
学位
随着深度学习的迅速发展,计算机视觉结合强大的计算能力应用于各种领域。在智能监控系统中,人脸识别与跟踪技术与深度学习相结合一直是属于非常重要与前沿的计算机视觉研究领域。本文基于微型计算设备设计搭建智能监控系统,系统具有自动识别、跟踪、记录功能。将系统分为人脸检测、人脸特征提取与人脸跟踪三个方面,基于处理监控视频序列图像的场景进行研究与改进。在人脸检测上,本文基于MTCNN算法针对监控视频场景进行改进
学位
高空抛物案件是城市化建设脚步加快的产物。《民法典》出台后,解决了社会最关心的物业责任和介入机关的义务等,完善高空抛物责任的正当性。但是关于高空抛物的免责事由的具体化、物业侵权责任的判定、补偿范围和平均担责问题等依然没有相关法律提供指导,理论界观点也不尽相同,因此高空抛物的治理势必要先完善高空抛物责任制度。论文第一部分:阐述了高空抛物责任的选题背景,高空抛物是城市社会现代化发展的产物,在近二十年内产
学位
在控制系统日益复杂的情况下,一个良好的模型往往能让控制效果事半功倍,因此系统辨识在其中扮演着越来越重要的作用。为了保证系统运行的安全性及稳定性,许多控制系统都是在闭环工作条件下运行的。闭环系统辨识的研究有着十分突出的现实意义。本文提出了基于FCOR算法的闭环系统辨识方法,可以提供辨识对象的非参数模型和参数化模型。所提出的辨识过程分为两个部分:第一部分,非参数模型的辨识-通过FCOR算法获得不同控制
学位
复合非线性反馈(Composite Nonlinear Feedback,CNF)控制律由两部分叠加构成:线性反馈控制部分和非线性反馈控制部分,CNF应用到飞艇运动控制对提升飞艇运动的稳态和暂态特性大有裨益。本文对基于CNF的飞艇俯仰角跟踪控制、恒定风场扰动抑制和时变风场扰动抑制三个问题进行研究。首先,根据本文研究的软式飞艇结构特点、受力分析以及为简化所提的假设条件,介绍以牛顿-欧拉模型建立的飞艇
学位
证券市场是我国市场经济发展的重要组成部分,通过证券市场对资金进行融通、对资本进行分配,可以有效地实现资本资源的合理配置,从而促进我国市场经济的平稳健康发展。而作为证券市场的重要组成部分,因投资者大部分存在着专业知识匮乏,信息来源不足、抗风险能力低等特点,在证券市场的发展中长期处于劣势地位。近些年,证券市场中屡次发生虚假陈述等欺诈投资者的案件,严重损害了投资者的合法权益。而权益受损的投资者通过诉讼的
学位
当前,国家正深入推进供给侧结构性改革,主要是“三去一降一补”,钢铁行业当前产能仍然过剩,供需矛盾没有根本解决,且令诸多钢铁物流企业受到影响。在短期内无法实现根本性逆转的状况下,如何才能在新常态下,对自身发展战略予以定位,并获得竞争优势,是S钢铁物流公司亟待解决的问题。基于此,本文将结合钢铁物流、战略管理、企业及行业实际情况提出适合企业的发展战略。论文主要研究内容如下:首先,对企业发展战略相关的理论
学位
担保,是一种让债权能够得到清偿的方式,在经济交易中发挥着重要作用。大额交易中,债务人通常被要求作出提供数个担保的承诺,当一个债权上同时存在物的担保和人的保证时,这种担保方式被称为混合共同担保。我国关于两种形式以上的混合担保的有效规定主要是《民法典》第392条。然而,《民法典》第392条没有明确规定这种担保形式下,担保人能否向其他担保人追偿,且在立法过程中学界存在着巨大争议。肯定者和反对者从不同视角
学位