基于结构优化的回声状态网络在时间序列分类中的研究

来源 :郑州大学 | 被引量 : 0次 | 上传用户:wxj1234567
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
时间序列分类(Time Series Classification,TSC)在实际生活、工业和医疗诊断等领域有着十分广泛的应用,建立有效的TSC模型是近年来学术研究的重点。传统TSC算法由于需要额外的专家经验和人工调整,使得算法设计过程繁琐,普适性较弱,而深度学习等方法由于较高的训练成本和设备需求,在实际应用中依然有着缺点。回声状态网络(Echo State Network,ESN)作为一种特殊结构的循环神经网络(Recurrent Neural Network,RNN),其递归神经元是随机稀疏连接的,能够在较低的训练成本情况下以端对端的方式,通过快速简单的训练成有效的分类器。ESN模型利用其非线性储备池来捕获时间序列中丰富的动态特征,在时间序列预测和分类任务上展现了优越的性能。随着近年来ESN模型在TSC任务上的应用逐渐增多,如何建立高效的ESN分类模型也成为了众多研究者关注的热点。然而,在大多数ESN模型中,输入权重和储备池连接权重是随机产生的,储备池的结构也是随机初始化得到并伴随着难以理解的黑箱特性,而唯一需要训练的输出权重也十分容易受到离群值的影响,这就不能保证ESN网络在给定任务中始终是最优的。针对以上问题,本文主要从两个方面来提升传统ESN的性能并克服其存在的缺点,分别为ESN的隐层结构优化(储备池拓扑结构和储备池大小)和ESN的权重优化(输入、输出连接结构)。本文的主要研究成果如下:(1)本文针对ESN的储备池结构提出了基于小世界(Small World,SW)储备池偏置剪枝(Biased Dropout,BD)的回声状态网络(BD-SWESN),首先,利用SW网络拓扑特性构造多个相互连接的集群来构造稳定的储备池结构,之后,根据储备池单元的激活值和神经元对整体模型性能的贡献度设置不同的剪枝概率,利用BD算法的冗余单元剪枝来获得更加高效且稀疏的ESN储备池结构。在合成数据集和15个UCR(University of California,Riverside)开源数据集上的实验结果表明,SWESN能够达到比传统ESN模型更好的性能,同时BD算法可以在提升网络性能的情况下进一步简化储备池结构。算法分析和可视化实验进一步证明了 SW和BD算法的有效性。(2)ESN初始化过程中输入权重是随机产生的,且输出权重的训练方式采用了最小二乘或者岭回归的方式,这样的训练方式使得模型不是最优且鲁棒性较差。本文提出了基于图正则化自编码(Graph Regularized Auto-encoder,GRAE)和鲁棒离群值(Outlier Robust Weight,ORW)的小世界回声状态网络(GRAE-ORW-SWESN)。首先GRAE算法利用流形正则化和AE框架,加强模型对局部模式特征的感知能力以生成能够捕获输入特征且稳定的输入权重;之后ORW算法通过引入训练误差来约束对噪声敏感的输出权重,以增强模型的鲁棒性。在真实轴承诊断数据集和15个UCR数据的实验证明,GRAE-ORW-SWESN的分类性能与其它先进的分类算法和深度学习算法有着较优的性能和更快的运算速度。算法分析和可视化验证进一步说明了算法的有效性。(3)构造同时优化隐层结构和权重的ESN模型能够克服ESN模型中广泛存在的缺点,同时可为模型引入高效的结构并带来更优的性能。在上述两个模型的基础上,本文最终建立了基于全局权重和隐层结构优化的融合回声状态网络(ESN with Global Optimization of Weights and Reservoir,GOWR-ESN)。GOWR-ESN在合理的初始化储备池结构的同时,解决了 ESN随机权重带来的特征损失的缺点,并将离群误差项引入到损失函数以增强模型的鲁棒性。在50个UCR数据集上的实验结果表明,GOWR-ESN算法能够与当前最先进的集成学习模型和深度学习模型达到在统计学意义上无显著差异的性能,但是有着更少的训练成本,更加具有现实意义。
其他文献
目前,我国的社会经济处在高速发展的阶段,而作为重要支柱的国有企业,也处在改革的攻坚时期、关键时期。结合2020年颁布的《国企改革三年行动方案》,贯彻落实中国特色现代企业制度,坚持两个“一以贯之”,形成健全、科学的企业机制是当前国企面临的首要问题。国企要想解决这一问题,就需要将党的领导融入国企治理中去,制定国企党组织前置研究讨论重大经营管理事项,以符合权责透明、协调运转、有效制衡的发展要求,促进国企
期刊
三乙胺作为一种挥发性有机物,在工业生产中使用具有挥发性的三乙胺,易导致形成含胺废气,需要对其有效治理。本文采用吸收法,根据三乙胺碱性废气特点提出了化学吸收与资源化回收工艺,并从吸收过程、装置设计和实验等方面展开研究。通过设计一套吸收试验装置对三乙胺进行吸收实验,验证工艺可行性,得到各影响因素对该吸收反应的作用规律,并对吸收液中三乙胺进行资源化回收。主要结论如下:(1)由双膜理论推导了三乙胺在HCl
学位
新冠肺炎(Coronavirus Disease 2019,COVID-19)的蔓延对人类的生命安全、社会稳定和经济发展构成了严重的威胁,各个国家都亟需采取有效的人为干预措施来抑制疫情的传播。目前,传染病人为防控措施的研究更多集中在时序预测、时空扩散和人为防控措施建模三个部分。其中,传统的动力学预测模型存在较多实际数据无法验证的未知参数,且大多局限于短时序、单峰或光滑对称的疫情曲线形式,在人为防控
学位
党政主要领导干部经济责任审计是在我国建立和逐步完善起来的,是我国特有的一种审计类型。随着国家治理水平的不断提高,对领导干部的监督管理也越来越严格,党政主要领导干部经济责任审计作为一种有效的监管手段,在加强对领导干部的监督管理、促进干部依法行政和廉洁勤政等方面发挥了重要的作用。当前,为了实现经济责任审计全覆盖,审计的对象和范围更广泛,导致审计面临的风险比较多。虽然以往各专家学者和各级审计组织在如何发
学位
郑州市某污水处理厂采用好氧堆肥发酵技术处理污泥,日处理量600 t,过程中车间充斥大量恶臭气体,其中氨气浓度最高为400 mg/m~3。厂内采用填料塔吸收氨气,后接喷淋塔降温,但该过程存在效果不稳定,吸收液用量大和喷淋塔结垢问题。本研究设计制作填料塔和湍球塔,以提高氨气处理效果,降低吸收液用量为目的进行优化试验,同时解决厂内喷淋塔结垢问题。主要结果如下:(1)填料塔使用丝网波纹板和θ环两种填料,通
学位
随着机械臂的广泛应用,人们对它的高性能跟踪控制提出了越来越高的要求。之前的机械臂跟踪控制研究大多都没有考虑驱动装置,但是在高速或者负载变化较大情况下跟踪控制性能会降低,甚至不稳定。因此为提高机械臂跟踪性能,它的执行器动态一定要考虑在内。永磁同步电机由于高度可控、运行可靠等优点广泛用作机器人系统的执行器。本文以永磁同步电机驱动机械臂系统为研究对象,以高性能跟踪控制为研究目的,从分开建模和整体建模两个
学位
油品质量作为“车-油-路”机动车污染防治体系的要素之一,已成为影响我国大气污染治理进程的一个关键因素。我国汽油中芳烃、烯烃含量与欧洲、美国和日本等国家或地区相比偏高,是影响汽车尾气的关键指标,但其对尾气PM2.5和VOCs排放特征的影响尚不清楚,难以阐明油品质量与大气颗粒物生成转化之间的相关性。因此,本研究以汽油缸内直喷(GDI)和进气道喷射(PFI)两种典型技术汽油车为研究对象,首先基于《轻型汽
学位
<正>绵柔,是洋河的立身之本。从选粮到制曲,从工艺到储存,从生态到标准,绵柔的“秘诀”无处不在。其中有一项特别重要的条件,是洋河独一无二、不可复制的——湿地名酒产区。目前世界十大烈酒产区中,有三个处于湿地。其中,由淮河、古黄河、大运河、洪泽湖、骆马湖水系交汇,形成的洪泽湖湿地产区,是中国名酒产区最大的湿地,孕育出了洋河绵柔型白酒。为什么洋河的绵柔型白酒离不开湿地?绵柔型白酒较其他中国名酒而言,具有
期刊
为了探究软枣猕猴桃三个品种果性状及实活性物质积累变化规律,以不同生长时期的三个品种软枣猕猴桃“九月”、“桓优一号”、“LD-133”为试材,对六种活性物质:多糖、黄酮、蒽醌、三萜、多酚、生物碱含量进行测量。研究结果表明,三个品种软枣猕猴桃性状变化规律可分为四个生长时期:幼果期、果实膨大Ⅰ期、果实膨大Ⅱ期和成熟期;多糖随果实成熟度增高明显增加,其含量主要增加时间在果实膨大Ⅰ期与果实膨大Ⅱ期;软枣猕猴
期刊
以辽宁省57个气象观测站1991—2020年的气候资料为依据,结合软枣猕猴桃的实地观测资料,利用气温、降水、日照、相对湿度等指标确定辽宁省软枣猕猴桃气候适宜性的分区标准。充分利用GIS技术空间分析功能,进行精细化气候区划,将软枣猕猴桃种植区划分为最适宜、适宜、较适宜、不适宜4个气候区。结果表明,软枣猕猴桃最适宜种植区主要分布在辽宁南部地区,适宜种植区在辽宁省中部地区,较适宜种植区在辽宁省中东部地区
期刊