基于监督聚类的极限学习机的增量学习算法研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:lingdujimo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统的学习算法都是批量学习算法,即假设一次性获得所有样本,或者获得有代表性的样本,然后用其对分类器进行训练。但在实际的生活中,要一次性获得所有样本,或者获得有代表性的样本是不现实的。针对这种情况,传统的批量学习算法,面对新来样本时,总是将新增样本和之前所有已经学习过的样本进行再次学习,但这样会耗费很多时间,且对内存的要求也比较高。增量学习,能够在保存以前已经学习到的―旧知识‖的基础上,实现对样本的增量学习。仅对新样本进行增量学习,加快了算法的学习速度,也减少了算法对内存的需求,较好的解决了上述问题。国内外对增量学习已经进行了广泛的研究,主要有基于支持向量机的增量学习算法、基于贝叶斯网络的增量学习算法、基于神经网络的增量学习算法。极限学习机是单隐层前馈神经网络的一种典型学习算法,具有学习速度快、拟合度高、泛化性能好、分类速度快、参数设置容易等优点。  本文在极限学习机的基础上,引入监督聚类的概念,提出了一种新的增量学习算法--CW-ELM算法。论文中首先说明了监督聚类中,我们所拥有的重要先验知识--样本的类别信息;然后阐述了传统的、基于距离的聚类标准的缺点,从理论上说明了采用―样本输出‖是否接近作为新的聚类标准的合理性,在此基础上提出了一种新的监督聚类标准,即基于―样本类别‖和―样本输出‖的监督聚类准则。将同一样本类别的、―样本输出‖接近的样本分为同一簇。在构造极限学习机时,首先对样本进行聚类,并用一个矩阵去记录每个簇的簇中心;在进行增量学习时,我们只需将每个簇的簇中心和新来样本进行学习即可,而不用学习全部―旧样本‖,这样既加快了算法的学习速度,也减少了对内存的需求。此外,在计算极限学习机的隐层与输出层之间的连接权重时,如果采用传统的Moore-Penrose算法求广义逆矩阵,并不能满足极限学习机所要求的―分类后,数据集整体损失最小‖。为此,本文提出了一种加权的Moore-Penrose算法求广义逆矩阵。实验结果表明,CW-ELM算法具有拟合度高、泛化性能好等优点。
其他文献
从海量数据中发现潜藏着的、有价值的知识,是一项巨大的挑战。在一些情况下,知道什么样的数据显著区别于数据集中的其它数据,也就是发现离群数据,显得非常重要。现有的离群点
我国幅员辽阔,地区经济发展差异大,教育资源分布不均衡。因此,我国对远程教育的发展和应用非常关注。卫星远程教育发挥了广播优势,成为偏远、经济欠发达地区教育信息化的重要
在无线传感器网络的分析和设计中,如何高效地利用传感器有限的能源是最为关键的课题之一。通过适当减少各个传感器的传输功率,拓扑控制算法在保证网络连通性的前提下,能够减少能
位置感知技术一直以来都是广大学者所关注的重点,特别是随着物联网(IOT,Internetof Things)及基于位置服务(LBS,Location Based Service)技术的迅速发展,越来越多的用户将位置感
由于无线网络的广播特性,网络编码技术在无线网络上得到了深入的研究。局部网络编码机制中数据包的编码和解码操作都是在局部范围内实现,目前局部网络编码的编码方式多采用CO
智能信息处理是计算机科学与技术领域的重要研究内容之一,而在智能信息处理过程中,人们会遇到许多的不确定性信息。作为一种典型的不确定性信息,二维模糊语言信息不仅可以刻画评
随着高维数据库的快速发展,高维数据库容量越来越大,为加快查询效率,研究者已提出了多种对高维数据建立索引结构的方法,但是这些索引结构在如下两个方面存在着缺陷:一方面,这
电子商务的广义概念是指通过电子方式的所有活动或者各种企业往来,其中最重要的电子方式就是互联网。如今电子商务的销售总额相当于前几年的电子商务销售额的总和,尤其在购物
在当今网络高度普及的信息化时代下,越来越多的高校都建立了自己的门户网站,以便对外宣传、服务及展示自我。高校的门户网站处于互联网这个开放的环境中,在给师生们提供便利的信
在人类认识世界的过程中,人们会不断地接受新的知识,随即人们的认知状态也会发生改变,有时人们遇到的某些新知识会与原来的知识发生矛盾,这时就要对已有的知识库进行更新。如