【摘 要】
：
运载火箭是重要的航天运输工具,随着人类对空间探索利用的步伐加快,运载火箭呈现出了高频次发射、重复使用以及航班化的发展趋势,亟需先进智能控制方法以满足运载火箭适应偏差、适应任务变更的需求,实现以学促优、以学应变,促进运载火箭控制能力与控制品质的提升。因此,本文面向运载火箭控制系统智能化发展需求,在运载火箭强化学习智能自适应控制方面进行了初步探索,研究了基于强化学习的基线控制器参数自适应控制方法,研究
论文部分内容阅读
运载火箭是重要的航天运输工具,随着人类对空间探索利用的步伐加快,运载火箭呈现出了高频次发射、重复使用以及航班化的发展趋势,亟需先进智能控制方法以满足运载火箭适应偏差、适应任务变更的需求,实现以学促优、以学应变,促进运载火箭控制能力与控制品质的提升。因此,本文面向运载火箭控制系统智能化发展需求,在运载火箭强化学习智能自适应控制方面进行了初步探索,研究了基于强化学习的基线控制器参数自适应控制方法,研究了最优控制与强化学习相结合的在线强化学习自适应准最优控制方法,提升了运载火箭控制系统的适应性与智能化水平。首先,本文对各国典型火箭进行了调研并对其发展趋势进行了分析,而后对运载火箭传统控制方法与智能控制方法进行了调研,重点对本文研究的强化学习智能控制方法进行了总结分析。随后通过对运载火箭受力分析,建立了运载火箭六自由度运动模型,并基于运载火箭模型特点与小扰动假设,建立了线性控制模型。其次,考虑运载火箭高可靠性需求,基于运载火箭经典PD控制器,结合运载火箭特点及姿态控制目的设计了强化学习控制模型。进一步为获得控制参数自适应调整策略,增强控制系统对偏差的适应性,分别设计了基于深度确定性策略梯度（DDPG）与双延迟深度确定性梯度策略算法（TD3）的强化学习控制器参数自适应调整策略,并对方法有效性进行了仿真验证。最后,针对现有智能控制方法无法在线调整、数据需求与计算量大的问题,基于最优控制与强化学习原理,设计了弱模型依赖在线强化学习准最优控制器。定义了运载火箭控制性能指标函数,推导了哈密顿-雅克比-贝尔曼（HJB）方程,进一步为降低对模型的依赖程度设计了神经网络辨识器,为求解最优控制指令设计了Actor-Critic在线强化学习控制器,并对其稳定性进行了证明,仿真结果表明该方法具有更好的控制精度。
其他文献
高分辨率红外光学遥感卫星图像能够全天时、全天候获取舰船目标的红外物理特征、形态特征和实时工况信息,对海洋舰船目标的动态实时监视、早期征候识别具有重要意义,有利于海洋战场态势信息的即时精准掌握。但目前仍缺少米级/亚米级天基红外探测数据,对高分辨率红外遥感图像舰船目标/背景特性认识不足,无法全面支持红外载荷指标论证和舰船目标检测识别算法研究。本文即是从高分辨率光学遥感红外辐射特性传输机理出发,开展舰船
随着国际太空安全战略的转变和卫星抵近技术的不断发展,我国将面临更加复杂的太空安全威胁与挑战。如何通过准确辨识高价值空间目标的各种异常行为,实现目标威胁评估、意图判断等目的,已成为研究热点。然而,基于天基光学探测得到的图像特征不仅与空间目标自身行为特性有关,还与天基观测平台成像时刻的姿态、轨道密切相关,目前缺少基于天基探测平台获取多维特征的空间目标行为辨识方法研究。本文即是针对该问题,开展融合天基探
微通道板和硅光电倍增管在微光探测领域具有重要作用,是实现微弱光探测的重要工具,其中单光电子谱是重要评价指标之一,因此对光电倍增器件的单光子性能进行深入研究。本文首先介绍了现有光电倍增器件的发展情况,对微通道板、硅光电倍增管的国内外发展现状和测试系统的国内外现状做了梳理。为验证多款新型光电器件的模拟和设计工作,研制了一款开放式真空测试系统,在真空腔内部分别对微通道板和硅光电倍增管等光电器件的性能,尤
遥感图像中车辆、船只等小尺度面目标的实时准确检测对重点区域监视、军事动态判别、交通管理与规划等军民应用具有重要意义。受成像分辨率、成像质量因素影响,车辆、船只等目标呈现几何尺度小、对比度低等特性,同时由于复杂场景中存在大量与目标形状纹理特性相似的虚警源,导致现有方法难以满足低虚警率、高检测率小尺度目标检测的应用需求。此外,现有检测方法罕有考虑不同探测器参数、成像环境下的异源图像处理策略,这进一步限
目的 分析Choukroun′s富血小板纤维蛋白（PRF）对人成骨细胞增殖分化及ERK1/2-Runx2通路的影响。方法 组织块法分离人成骨细胞，设置对照组、PRF1组和PRF2组，分别用不含PRF、含1×PRF浸出液和2×PRF浸出液的DMEM完全培养基培养。检测细胞增殖、碱性磷酸酶（ALP）活性、I型胶原表达及细胞矿化能力，Western blot法测定细胞外调节蛋白激酶1/2-Runt相关转
成像系统已经成为现代社会不可或缺的应用设备,小到手机摄像头、生物医学镜头,大到天文望远镜、遥感相机等,成像系统为人们的日常生活、生产制造、科研探索提供了巨大帮助。随着科技的发展,人们对于成像系统的要求也越来越高,例如,成像质量、视场、景深以及系统的体积和质量都是重要的评价指标。然而,在传统的成像系统设计中,为了提高成像质量,往往会使用大量且复杂的镜片组合,这导致现有的商业镜头通常比较笨重,而且价格
目的 探究改良型富血小板纤维蛋白（advanced platelet-rich fibrin, A-PRF）和可注射型富血小板纤维蛋白（injectable platelet-rich fibrin, i-PRF）对人牙龈成纤维细胞增殖及分化的影响，为两种血小板纤维蛋白制品促进软组织愈合的表观差异及临床效能评估提供实验数据参考。方法 观察A-PRF及iPRF显微及超微结构,测定血小板浓缩物生长因子
近年来，中国电影理论迎来了研究和创新的热潮，许多新的理论话语和论述不断涌现，如以北京电影学院为代表的“中国电影学派”、陈旭光为代表的“电影工业美学”、饶曙光为代表的“共同体电影美学”和陈犀禾为代表的“国家理论”等，这些理论已成为建构中国电影理论话语体系的重要基础。通过对这四种理论的比较研究，可进一步提升理论自觉并拓展思考空间。
2微米固体激光器在激光遥感、中红外参量振荡器、激光医疗领域有实际应用意义。单掺Ho的固体激光器是获得2微米波段激光的首选,本论文便以新型硅酸盐基质Ho:LPS激光晶体为研究对象,从理论和实验上验证其作为固体激光器工作物质的可行性与优势,主要内容包括:首先,系统研究了不同单掺Ho基质材料的研究现状以及相应的优缺点,指出了单掺Ho硅酸盐基质目前研究的不足以及进行物理和热力学性能优异的新型硅酸盐单掺Ho
物理是一门将观测、实验与推理紧密联系起来的科学,而实验则在这一进程中发挥着至关重要的作用。然而,目前的实验课却存在着许多缺陷,例如,定量研究缺乏深度,数据处理效率较低,无法充分发挥学生的潜力,从而影响了整体的教学质量。在"做功改变物体内能"实验中,我们采用了多种传感器,包括气体压力、温度和湿度等,来检测和记录实验过程中的物理量的变化,并利用专业的软件绘制出相关的变化曲线,从而提高了实验的准确性和可