基于超限学习机的几种增量算法研究

来源 :浙江师范大学 | 被引量 : 0次 | 上传用户:antonw1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
超限学习机是针对单隐层前馈神经网络的一种新型学习方法,因其算法结构简单,学习速度快,以及良好的泛化性能等优良的特性而日渐被研究人员关注.但在实际的应用中,在训练网络完成后,如果因需要,需剔除某些数据,如”脏数据”,冗余数据等.剔除或替换后,传统的超限学习机需要重新训练整个网络,但对于大数据,会增加很多额外的训练时间.针对这一问题,在超限学习机算法的基础上,提出了剔除训练样本的在线负增量学习算法和替换训练样本的增量学习算法:即剔除或替换训练样本后,不需要再重新训练整个网络,而只要在原有结果的基础上,通过更新外权矩阵来完成网络训练.除此之外,在误差最小化超限学习机的基础上,提出了增加隐层节点的增量算法:即当增加隐层节点后,测试样本的输出结果在原有结果上进行更新,无需重新计算,从而提高运行效率.本文主要研究内容如下:第一章阐述了超限学习机的原理及研究现状,简单总结了本文的研究内容及研究意义,以及与传统神经网络研究算法相比较的优势.第二章研究了剔除训练样本的在线负增量学习算法,剔除数据后,首先利用增量学习的思想,在原有训练结果的基础上计算出更新后的外权矩阵,因此不需要重新训练整个网络,进而完成对测试样本输出结果的更新.文中分别从算法复杂性和仿真实验两方面分析验证本节算法更具有速度优势.第三章研究了替换训练样本的增量学习算法,替换数据后,运用第二章中的在线负增量算法和在线序列增量算法的思想,设计该算法的外权矩阵,进而对测试样本输出结果进行更新.算法复杂性分析和仿真实验的结果表明该算法具有更高的运行效率.第四章研究了增加隐层节点的增量学习算法,增加隐层节点后,利用误差最小化超限学习机得到更新的外权矩阵,进一步研究了测试样本输出结果在原有结果上的更新,算法复杂性分析和仿真实验的结果显示该算法比超限学习机算法的运行效率高.第五章总结了文中基于超限学习机的三种增量学习算法.
其他文献
英语教学与生活实践的联系是贯穿于整个教育过程,无论是过去还是现在,教学与生活实践的联系问题都是教学理论与教学实践研究的一个重要主题.新的时期,对于教学与生活实践联系
所谓“双证式”,就是指高等院校的学生在毕业时同时获取毕业证书和职业资格证书的人才培养模式.其目标是使高校酒店管理人才培养工作与就业市场接轨,提高高校酒店管理专业学
近几年,神经网络已经被广泛的用于各类实际应用当中,例如:设计联想存储器和解决优化问题。如果神经网络用来解决优化问题,那么就要求系统具有全局渐近稳定的唯一平衡点。因此
用边界元法来求解位势问题有效而简单,但通常需要求解奇异积分,特别是当公式中有双层位势的法向导数时,会遇到超强奇异积分。若采用虚边界元法就可以避开这些弱点,通过在所研究的
图的anti-Ramsey数AR(Kn,G)表示为图Kn的最大边染色数使得图Kn不包含彩虹子图G.它最早是由Erd(o)s等人在1973年提出的.研究表明了图的anti-Ramsey数与图的Turán数存在一定的
本文扩展了一类已有的特殊互利—竞争模型(Zhibin Zhang,Ecological Modelling,2003)建立了一般形式的互利—竞争模型:种群在低密度时与另外的种群是互利的,在高密度时则为竞争的。
请下载后查看,本文暂不支持在线获取查看简介。 Please download to view, this article does not support online access to view profile.
期刊
现代物流的理念和运作对众多物流企业产生了深远的影响,如何将物流、信息流和资金流进行全面的整合与有效的控制,从而提升企业的竞争能力,实现产品供应链的价值和运作的最优化,是
目前,高校思想政治教育还不同程度地存在“一刀切”、“一锅煮”现象.因此,应把握不同年级学生的特点和需求,实施分年级、分层次的思想政治教育,以增强工作的针对性和时效性.
设图G1,G2是分别具有n1,n2个点的简单连通图,局部剖分邻接冠图是指取一个图G1,n1个G2,将G1中每个点的邻点分别与第i个G2中的所有点相连,并在G1中的每条边上插入一个点,记作G1(*)G2.