【摘 要】
:
极限学习机(Extreme Learning Machine,ELM)是一种基于单隐含层结构的前馈神经网络学习算法,是当前机器学习领域重要研究方向之一。因具有实现简单、学习速度快和人为干预少等优点而被广泛应用于分类、回归等学习问题。近年来,受深度学习在诸多实际问题上获得成功应用的启发,学术界针对ELM的研究由单隐含层网络向多隐含层网络转变。多隐含层极限学习机(Multi-layer Extreme
论文部分内容阅读
极限学习机(Extreme Learning Machine,ELM)是一种基于单隐含层结构的前馈神经网络学习算法,是当前机器学习领域重要研究方向之一。因具有实现简单、学习速度快和人为干预少等优点而被广泛应用于分类、回归等学习问题。近年来,受深度学习在诸多实际问题上获得成功应用的启发,学术界针对ELM的研究由单隐含层网络向多隐含层网络转变。多隐含层极限学习机(Multi-layer Extreme Learning Machine,MELM)是将深度神经网络的多隐含层特性融入极限学习机的一种新框架。如何对层数和结点数进行最佳配置来构建深度堆叠网络是研究MELM算法需要考虑的首要问题。针对多隐含层结构所带来的庞大网络规模,如何进行高效的数值计算是研究MELM算法需要关注的另一个重要问题。本文从影响极限学习机性能的关键因素出发,针对网络结构设计和网络参数优化两个维度进行探索性的改进研究。在网络结构设计上,将单隐含层扩展到多隐含层,并提出应用遗传算法、随机增强和试探剪枝等策略来优化隐含层结点数。针对网络参数优化过程中由于层数增加带来大量高维线性方程组的求解困难,以Cholesky分解为主要数学工具,提出通过强迫正定、Givens旋转变换等定制化策略来实现高阶矩阵的增量式、递减式求逆运算,以达到降低累积误差和计算复杂度、提高模型学习精度的目的。本文主要工作概括如下:(1)基于强迫正定Cholesky分解的多隐含层极限学习机算法研究。针对MELM模型参数求解过程中出现的部分矩阵,证明了其半正定性,提出强迫正定Cholesky分解策略确定隐含层参数,在强迫矩阵正定的同时改善矩阵条件数,从而加快MELM模型的收敛速度,保证建模过程的数值稳定性。为避免人工干预对模型预测精度和计算稳定性的影响,提出采用遗传算法确定最优隐含层数和相应的最优隐含层结点数目,并通过引入粒子群优化来搜索最优的输入权值和隐含层偏置,以提高其泛化能力和计算稳定性。(2)基于Cholesky分解的增量式多隐含层极限学习机算法研究。针对MELM的网络结构设计问题,提出一种基于增强型随机搜索策略的隐含层结点增量式自动确定方法,即在学习过程中根据结构风险最小化原则从随机产生的多个隐含层结点中选择最优结点逐次添加到网络中,直至预测误差满足精度要求。为有效避免网络结构增量式构造过程涉及的逆矩阵和Moore-Penrose广义逆矩阵的重复求解运算,提出应用Cholesky分解来实现连接权值矩阵的增量式更新,避免了各隐含层完全重构带来的累积误差,达到充分利用网络构造过程中历史信息来更新网络参数的目的。(3)基于Cholesky分解的剪枝型多隐含层极限学习机算法研究。针对不相关变量导致MELM网络结构冗余问题,应用Tikhonov正则化方法来测量隐含层结点数目对网络模型的学习精度与泛化能力的影响,提出在学习过程中逐步对隐含层结点进行剪枝,直至模型的经验风险与结构风险之和发生显著变化时为止。在对隐含层结点的剪枝学习过程中,基于前一代连接权值矩阵的存储信息,提出应用Givens旋转变换来计算Cholesky分解因子,从而实现当前连接权值矩阵的快速递减式更新。(4)基于Cholesky分解的在线时序多隐含层极限学习机算法研究。针对数据样本具有强时效性的在线学习问题,提出一种引入遗忘机制来削减旧训练样本的影响、突显新训练样本作用的自适应最佳网络结构和参数学习方法。此外,为确保在线学习中网络结构和参数随着不断变化的时序训练数据动态调整,提出隐含层结点自适应增减更新策略;在隐含层结点增减过程中,充分利用学习迭代中存储的历史信息,采用Cholesky分解对高阶矩阵进行自适应增量式或递减式求逆,避免了重复计算过程。针对上述所提的多个改进MELM算法,使用部分基准数据集和企业提供的实际数据进行了测试,数值计算结果表明改进MELM算法都能够比常规MELM获得更高的预测精度和更强的泛化性能,验证所提出改进策略的有效性。
其他文献
晶界是材料中普遍存在的面缺陷,杂质或合金原子在晶界处的偏析可以降低或增强界面结合强度,进而影响材料的力学性能。得益于当今计算能力的飞速发展,基于密度泛函理论的第一性原理计算方法成为材料科学发展中的强大工具。常用的理论研究晶界偏析的方法有两类:拉伸试验和Rice-Wang热力学模型。在应用这些方法研究对称倾侧晶界体系时,需对特定细节进行谨慎处理。另外,非磁性原子偏析到磁性材料晶界处的性质已有报道,而
镁合金作为目前最轻的金属结构材料,具有众多优异性能,在汽车工业、航空航天、3C数码等领域均有重要应用。然而镁合金的强度较低且室温塑性差,导致其无法大规模应用。研究表明,通过调控镁合金显微组织(晶粒尺寸、分布、织构等)可以进一步改善其综合力学性能。目前通常采用加入第二相颗粒细化晶粒、控制有利织构形成等方法优化镁合金显微组织。然而,外应力是否也会对镁合金晶粒长大和织构形成产生影响目前尚不清楚。因此镁合
本文针对螺纹钢中微量元素配比变化如何影响其力学性能进行了研究。应用统计学方法和智能算法对某钢铁企业螺纹钢的大量实际生产数据进行处理,探索螺纹钢力学性能与微量元素组成成分之间的依赖关系。即从螺纹钢中所有微量元素含量与其力学性能指标(屈服强度、抗拉强度和断后伸长率)数据入手,理论分析结合实际生产试验,进行相关性分析和主成分分析,探寻在Cr含量不变并保证螺纹钢力学性能前提下,降低Mn含量的配比优化方案,
本文通过理论分析与试验研究相结合的方法,系统研究机械系统疲劳可靠性问题,具体研究内容如下:(1)通过Monte Carlo模拟仿真方法研究零件强度在循环载荷作用下对数退化与幂指数退化过程的差别,分析退化参数v对可测剩余强度分布统计矩的具体影响。获得考虑退化试验寿命数据信息的剩余强度退化模型参数计算方法,提高原有退化模型的精度。通过20MnTiB材料光滑试样与缺口试样的剩余强度退化实验,得到考虑全部
介质受到瞬态载荷的局部扰动传播至介质其它部分这一简单事实逐渐发展成为一门颇具吸引力的学科——波的传播。本文将研究视角限定在受扰动时弹性固体介质中传播的机械波,其对应的扰动形式往往来自于冲击或者爆炸导致的脉冲载荷。当冲击作用时间与波通过结构所需时间处于同一数量级的时候,波的传播效应就非常明显。这种情况下,材料对外力的形变响应只能通过波传播的形式进行准确描述。机械波传播理论已广泛应用在结构损伤探测以及
本工作以稀土钨酸盐为研究对象,就其可控水热合成、晶体结构及上/下转换荧光粉的发光性能等进行了系统深入研究。通过在较大范围内调控溶液pH(4~13)和n([WO4]2-:n(La3+)(0.5~3),明确了实验参数对水热及煅烧产物化学组成的影响规律,并从溶液化学的角度进行了阐释;通过煅烧水热前驱体制备出了四种纯相钨酸镧,对比研究了其物相形成过程、晶体结构及Eu3+掺杂荧光粉的发光性能。成功将复合钨酸
奥林匹克运动是人类文明的重要组成部分,是人类身体展示和竞技的平台。随着科学技术的不断发展,技术在奥林匹克运动中的介入,使得技术与身体的融合越来越紧密。现代奥林匹克运动与古代的奥林匹克运动会有了巨大的差别。现代奥林匹克运动充斥着太多的技术要素,那个赤裸的身体也已经成为了被技术化的身体,而且出现了技术异化的现象,最自然的身体也正在变得不自然。奥林匹克运动和技术是两个不同的研究范畴,一个属于人文范畴一个
基础研究政策作为干预基础研究活动的重要手段,在促进基础研究发展方面起着关键的作用,其完善程度成为衡量一个国家基础研究能力强弱的主要指标之一。改革开放以来,中国政府为推动基础研究发展陆续出台一系列政策,促使中国的基础研究整体水平已经进入到世界先进行列。然而,中国的基础研究仍存在一些突出的问题,一定程度上反映着中国基础研究政策的不足。因此,深入分析改革开放以来中国基础研究政策的变迁过程,揭示基础研究政
电动汽车、智能电网等大规模储能技术的大力发展对锂离子电池的能量密度和功率密度都提出了更高的要求。与此同时,锂矿价格上涨和储量匮乏的问题也日益凸显。因此,在全面提升锂离子电池性能的同时,开发新的储能技术也势在必行。近年来被大家广泛关注的钠离子电池不但具有与锂离子电池相似的储能原理,而且原料丰富、价格低廉,是最有发展前景的储能技术之一。为了获得高性能的锂、钠离子二次电池,开发高容量、大倍率、长循环、低
随着我国钢铁企业节水减排水平的巨大提升,节水工作的空间越来越小,节水难度越来越高。需要用流程工程学的方法论,重新审视钢铁企业水系统的运行规律,方可推进钢铁企业的节水减排工作。目前对钢铁企业水系统的研究多是关注节水代水技术,或是数学优化方法和算法,较少涉及水系统的本质特征和运行规律。然而,摸清水系统的本质特征和运行规律,并针对不同用水系统的网络结构建立一套科学的水资源有效利用程度评价方法,对钢铁企业