基于改进DQN算法的超参数优化方法及其在故障诊断中的应用

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:reaker
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着智能制造的发展,基于卷积神经网络(CNN)的故障诊断方法成为了研究热点。学习率作为深度学习最重要的超参数之一,对CNN模型的最终性能有很大影响。传统的学习率调整方法耗时费力,且过度依赖于专家的经验。现有的学习率优化算法由于具有固定的变化规律,难以保证其在不同数据集之间的泛化性能。本文提出一种新的基于深度强化学习(DRL)的学习率调度器,用于处理故障诊断问题的CNN模型,并在工程案例中进行验证。首先,针对原始深度Q网络(DQN)存在的问题,进行了三方面的改进。采用双网络的思想,通过目标网络和预测网络将最大化操作分解为动作选择和动作评估。引入竞争网络架构,将最优动作价值函数分解为最优状态价值函数和最优优势函数,更有效地学习状态价值函数。引入优先经验回放,区分对训练过程有意义和无意义的样本,以提升强化学习(RL)的学习效率。在Open AI GYM上的仿真环境中进行测试,结果表明:与原始DQN相比,改进后的DQN能更快收敛,并表现出更高的稳定性。其次,针对CNN分类模型,提出一种基于改进DQN的学习率优化方法(PERD3QN-CNN)。定义了基于DRL的学习率调度器的环境、状态空间、动作空间和奖励函数。用带有六个状态特征的特征向量来表示CNN的状态空间,并定义了五种动作空间,在没有任何预先定义边界约束的情况下调整学习率。最后,利用该模型进行学习率的控制。在MNIST和CIFAR-10图像识别数据集上,与其他的学习率衰减策略和自适应梯度下降算法进行比较,结果表明:所提的方法收敛更快,识别效果更好。然后,针对凯斯西储大学轴承数据集案例,提出一种基于PERD3QN-CNN的故障诊断方法。结果表明,PERD3QN-CNN能够自动地将学习速率控制在合理的边界内。在某些情况下,PERD3QN-CNN还发现了人工设计的最先进的学习率调度器。与传统的深度学习和机器学习方法进行了比较,结果表明:PERD3QN-CNN的结果最好。最后,对全文工作进行了总结与展望。
其他文献
在互联网成为新基建的时代背景下,互联网与各类城市服务功能不断融合,形成了“网红餐饮”、“网红娱乐”、“网红游览”等“互联网+”的新型城市服务设施。并且随着手机使用人群的不断扩大,消费者资讯获取方式与消费模式的巨大转变,使得网红设施成为消费者消费生活的热点与潮流。但目前城市规划领域对于网红设施的研究较少,有必要开展网红设施空间分布与影响因素的研究,剖析城市空间要素对网红设施空间分布的影响,引导网红设
换向器是直流电机的核心部件之一,在直流电机的运转中发挥关键的作用。目前,换向器的质检主要依靠人工。然而,人工质检存在成本高、效率低以及检测精度有限等问题,使得自动化检测成为企业发展的趋势。机器视觉技术凭借无接触、响应快等优势在工业检测领域具有较好的应用前景。本文基于视觉技术,针对换向器钩上缺陷的检测方法进行探讨和研究,并提出相应的解决方案。主要研究内容如下:针对弯钩表面存在纹理复杂、低对比度缺陷与
半导体激光器广泛应用于光通信、气体探测、激光医疗和国防军事等领域,主要通过在外延层中引入布拉格光栅来实现单模激射。典型的单模半导体激光器有分布反馈式(Distributed Feedback,DFB)激光器和分布布拉格反射(Distributed Bragg Reflector,DBR)激光器,这两种激光器都采用掩埋光栅结构,需要二次外延,制作过程较为复杂,因此本论文对基于垂直耦合的高阶表面光栅D
轴承是数控机床中的关键部件,其健康状态会影响机床加工精度、机床寿命以及事故发生几率,因此对轴承故障进行监测诊断,保证轴承平稳运行至关重要。本文以滚动轴承为对象,基于卷积神经网络研究噪声环境下轴承故障快速诊断技术,论文主要内容如下:建立了基于一维卷积神经网络的端到端故障诊断模型(CNNDM-1D),实现轴承振动信号特征提取和故障分类一体化。开展实验对模型结构和超参数进行优化,引入批量归一化改进,并验
有限和(finite sum)优化问题,也被称为经验风险最小化,是机器学习领域的关键问题,它可以帮助学习模型获得令人满意的性能,因而需要进行深入研究。为了解决这样一个问题,许多研究者设计出了各种不同的随机增量梯度方法(randomized incremental gradient methods),包括SAG(Stochastic Average Gradient)、SVRG(Stochastic
锂负极与高压/高容量正极的应用是提高锂电池能量密度的有效方法,然而目前商用有机电解液较差的循环稳定性和安全性限制了高容量锂金属电池的实际应用。使用具有高机械强度和电化学稳定的固体电解质替代传统的有机电解液有望实现高安全性的固态锂金属电池。但是现有的固体电解质难以平衡离子电导率、机械强度与界面润湿性之间的关系,通过构建兼具良好润湿性、力学性能及高离子电导率的准固体电解质有望实现锂金属电池性能的提升。
跨界污染治理机制研究主要涉及被行政边界所分割的环境公共品如何有效提供及管控等问题。多年来环境经济学主流观点集中于,政府对环境的规制职能应限定于制定环境标准、提供信息平台以及健全法律法规等对市场秩序的基础维护方面。十八届三中全会提出既要充分发挥政府在环境治理机制建立过程中的引导作用,又要结合国家相关政策和当地实际情况,研究公共政策的实施和改进对生态环境保护的具体影响。正式将我国环境治理主体选择问题及
快锻液压机锻件的检测精度影响锻件的成形尺寸,近年来关于快锻液压机的尺寸精度研究主要集中在了液压控制方面,快锻液压机的工作特点、机身受力变形等对锻件的尺寸检测精度有较大的影响,进而影响锻件的尺寸精度,但鲜有人进行相关研究。因此,从快锻液压机工作特点出发,研究快锻液压机锻件尺寸检测精度的影响因素,对提高快锻液压机的检测精度以及锻件的尺寸精度具有重要的意义。本文针对当前快锻液压机采用位移传感器无法直接测
“十四五”规划从宏观层面强调了创新研发的重要性,对全社会研发投入的各项指标提出了具体要求。创业板公司中占有较大权益份额的股东为维护自身利益,其决策行为很可能会影响研发投入和市场绩效。基于此,以2015—2019年创业板公司作为研究对象,使用回归分析和中介效应检验等方法,实证检验股权集中度、研发投入与市场绩效的内在联系,并重点关注研发投入的中介作用。研究发现:在其他条件不变的情况下,股权集中度抑制了
随着我国经济的转型,人口红利的逐渐消失,未来建筑行业发展装配式建筑早已是大势所趋。根据国内装配式混凝土剪力墙结构的不同类型,分析了大板结构、空心剪力墙结构、内浇外挂剪力墙结构、双面叠合剪力墙结构的结构概念、结构设计难点以及其优缺点。空心模剪力墙结构体系和叠合剪力墙体系在保证装配式混凝土结构安全的同时,具有施工简单、低成本、适合大规模生产的特点,因此建议优先推广使用。