极限学习机隐含层节点选择算法研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:liongliong460
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文主要研究一种新的机器学习方法,即极限学习机(ELM)。作为一种针对单隐层前馈神经网络(SLFNs)的学习算法,ELM具有快速的学习速度和很好的泛化能力。隐含层节点在ELM算法中起着重要的作用,确定隐含层节点的方法有两种:一是剪枝法;二是增量学习方法。本文中我们介绍了两种剪枝方法,最优剪枝ELM(OP-ELM)和Tikhonov正则 OP-ELM(TROP-ELM)。我们的主要工作是ELM的增量学习方法,增量学习即首先初始化一个较小的网络,然后向网络中增加新的节点,直到生成一个我们满意的网络。当新的隐含层节点加入到已经存在的网络中时,重新训练网络往往比较费时,误差最小化极限学习机(EM-ELM)是一种增量的计算输出权值的快速方法。然而,由于过拟合等原因,EM-ELM不能总是得到好的泛化能力。在此,根据结构风险最小化准则,我们提出了一种基于正则化的EM-ELM改进方法,即增量正则化极限学习机(IR-ELM)。当我们逐一的向网络中增加新的隐含层节点时,IR-ELM可以快速的更新输出权值,同时保证网络具有很好的泛化能力,从而避免了上述提到的问题。同时,我们还提出了 IR-ELM的提升方法(EIR-ELM),它可以在一组候选隐含层节点中选出较好的一个加入到网络中,进一步提升了算法的泛化能力,同时生产更紧凑的网络。针对分类和回归问题,我们在基准数据集上与原始ELM算法,OP-ELM和TROP-ELM算法及EM-ELM和EEM-ELM算法进行了对比实验,验证了IR-ELM和EIR-ELM的有效性。
其他文献
通过实例,介绍了两种常用数据库的连接方法,向读者展示了JSP页面是如何同AC-CESS数据库及SQL server数据库进行连接的过程,并给出了相关程序代码。通过比较可以看出:利用Java
21世纪以来,英德日韩等国金融法制出现了从纵向金融行业规制到横向金融商品规制的发展趋势。2006年日本将《证券交易法》改组为《金融商品交易法》,把证券、信托、金融期货、
北大歌谣运动是“五·四”新文化运动的产物,它在中国学术史上占有极其重要的历史地位。它结束了中国民俗学的史前史,开启了中国民俗学的科学史。使中国民间文化第一次登上了
三毛及其创作是20世纪80年代重要的大众文艺现象,广受关注。通过对三毛创作中《哑奴》《白手起家》《收魂记》《沙漠观浴记》等文本个案剖析,我们可以发现在独特的文学价值观
通过多点及定位试验结果表明,在盐碱土上施用磷石膏,对水稻和玉米均有明显的增产效果,井能攻善土壤的理化性状,表现为可溶盐组分变化,pH值、代换性钠和碱化度下降。磷石膏使土壤氟含
分别采用BATH和HIC方法测定青枯菌细胞表面疏水性(CSH),并比较菌液与正十二烷比例(BATH方法)和菌液上样量(HIC方法)对CSH测定结果的影响。确定在BATH方法中菌液(OD600=0.5)与