论文部分内容阅读
超限学习机是针对单隐层前馈神经网络的一种新型学习方法,因其算法结构简单,学习速度快,以及良好的泛化性能等优良的特性而日渐被研究人员关注.但在实际的应用中,在训练网络完成后,如果因需要,需剔除某些数据,如”脏数据”,冗余数据等.剔除或替换后,传统的超限学习机需要重新训练整个网络,但对于大数据,会增加很多额外的训练时间.针对这一问题,在超限学习机算法的基础上,提出了剔除训练样本的在线负增量学习算法和替换训练样本的增量学习算法:即剔除或替换训练样本后,不需要再重新训练整个网络,而只要在原有结果的基础上,通过更新外权矩阵来完成网络训练.除此之外,在误差最小化超限学习机的基础上,提出了增加隐层节点的增量算法:即当增加隐层节点后,测试样本的输出结果在原有结果上进行更新,无需重新计算,从而提高运行效率.本文主要研究内容如下:第一章阐述了超限学习机的原理及研究现状,简单总结了本文的研究内容及研究意义,以及与传统神经网络研究算法相比较的优势.第二章研究了剔除训练样本的在线负增量学习算法,剔除数据后,首先利用增量学习的思想,在原有训练结果的基础上计算出更新后的外权矩阵,因此不需要重新训练整个网络,进而完成对测试样本输出结果的更新.文中分别从算法复杂性和仿真实验两方面分析验证本节算法更具有速度优势.第三章研究了替换训练样本的增量学习算法,替换数据后,运用第二章中的在线负增量算法和在线序列增量算法的思想,设计该算法的外权矩阵,进而对测试样本输出结果进行更新.算法复杂性分析和仿真实验的结果表明该算法具有更高的运行效率.第四章研究了增加隐层节点的增量学习算法,增加隐层节点后,利用误差最小化超限学习机得到更新的外权矩阵,进一步研究了测试样本输出结果在原有结果上的更新,算法复杂性分析和仿真实验的结果显示该算法比超限学习机算法的运行效率高.第五章总结了文中基于超限学习机的三种增量学习算法.