极限学习机集成方法的研究

来源 :江南大学 | 被引量 : 0次 | 上传用户:sky_ywt
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
极限学习机(ELM)原理是利用一种基于单隐层前馈网络的学习算法,采用随机的方法确定输入层和隐含层之间的权值和偏置,通过分析的方法则可以进一步确定了输出层的权值,ELM克服了存在于基于梯度网络算法上的很多不足,如陷入局部极值、不合适的学习速率、学习速度较慢等,但ELM也存在着过拟合的隐患且单个算法稳定性相对较差。本文对此的研究工作如下:针对上述问题,本文提出了多样性正则化极限学习机的集成模型(DRELM),DRELM基本思想是首先从改变隐含层节点参数的分布来为每个ELM随机选取输入权重,采用LOO交叉验证的方法来寻找每个基学习器的最优隐节点数,计算并输出最优隐含层输出权重,训练出较好且具有差异性的基学习器。然后将有关多样性的新惩罚项显式添加到整个网络目标函数中去,迭代更新得到每个基学习器的隐含层的输出权重,最后,集成所有基学习器的输出结果并对其求平均值,得到了整个网络模型最后的输出结果。该方法能够有效地实现正则化极限学习机(RELM)的融合,兼顾准确率和多样性。在10个不同规模的UCI数据集上得到的实验结果都表明所提出来的研究方法是行之有效的。由于一般情况下极限学习机的隐含层参数是随机选择的,这必然也容易导致一些隐藏层节点利用效率较低,并且靠近分类边界的样本可能会被误分类。为了解决这一类问题,并且能同时提高模型的训练速度和稳定性,我们提出了一种新模型,称为基于约束和特征选择的多样性正则化极限学习机的集成方法(C-DRELM)。该方法是基于DRELM算法进行了改进,通过利用不同类间样本的差异来形成差异向量集的方法计算输入层到隐藏层之间的权重和偏置,从而代替以往随机选择的方法。然后再通过嵌入式特征选择的方法去掉冗余的信息,使得模型的训练速度得到了提升。最后再根据带有多样性和正则化项的目标优化函数迭代更新每个基学习器的网络输出权重。实验结果表明,C-DRELM算法比ELM、C-ELM、DRELM算法的性能和鲁棒性更高。
其他文献
全球气候变暖导致极端气候事件频发,环境污染事件也严重威胁到人类和水生态系统健康。日益提升的人民生活水平带来了畜禽产品的高需求,由此产生的饲料需求和过量肥料利用给土地、环境和气候变化造成了极大压力。不同畜禽的污染排放和饲料利用情况存在较大差异。相较于单胃动物,反刍动物饲料利用率低,氮素(主要的环境污染物)和甲烷(主要的温室气体)排放量大。但反刍动物能将人类不可食用的纤维素(草和作物秸秆等)转化为高价
学位
国家黄河流域生态保护和高质量发展规划提出要在黄河流域开展山水林田湖草沙综合治理。西北干旱、半干旱区地域辽阔,在长期历史演变中因为经济发展、资源开采、人口增长等诸多因素,土地利用格局发生巨大变化,但生态环境脆弱,资源承载力低,尤其是水资源利用粗放,加之土地资源的不合理利用,导致西北地区土地荒漠化问题突出。文章立足生态文明建设视角,从“发展与保护、存量与增量、城市与乡村”这三大关系切入,分析区域土地利
学位
为什么中国官方在宣传中使用网络亚文化话语的同时,又在打击创造这一表达方式的群体?本文认为使用亚文化话语进行宣传的目的是应对外部负面信息。随着“信息全球化”与“全球信息化”的兴起,政治传播不仅关乎着国内的社会舆论,也与国际宣传和公共外交密切相关。在这样的情况下,国家政治安全的威胁已不再局限于传统意义上的军事入侵等因素,还有由信息化所带来的意识形态冲突与冲击,外来的负面信息不仅会影响国家的国际形象,同
学位
随着中国老龄化进程的不断加快,老年人抑郁正在成为备受关注的议题。作为生命历程中的重要事件,生育行为一方面改变了父母的社会角色,为父母带来一定程度的生育损伤、经济压力以及养育压力;另一方面,“养儿防老”等中华传统观念也预示着子女可以为父母在老年时期提供代际间经济支持、生活照料以及情感交流等,这些因素都会对老年人抑郁的最终表现发生影响。在中国低生育率与老龄化交织的背景下,关注子女结构对老年人抑郁的影响
学位
In 2020,more than 80 million people around the world have been forced to flee their homes and become refugees.The number of war refugees is rapidly increasing as conflicts over power and border issues
学位
The weaponization of cognitive technologies is fueling emergence of the sixth strategic domain of warfare that renders human consciousness into a battlespace.The increasing sophistication of such tech
学位
As the U.S.is among the world’s top emitters of greenhouse gases(GHGs),it is vital to sustained climate change mitigation that successive presidential administrations establish and maintain consistent
学位
Ethnocentric Politics have made it vigorous and potentially so devastating that the execution of ethnicity has become the significant base of numerous problems,conflicts,and revolts in the weak states
学位
The aim of this research is to highlight the active role of Morocco in promoting South-South cooperation in Africa as a new emerging actor.Throughout its history,Morocco has continuously stressed the
学位
随着人工智能的发展,智慧医疗已成为目前炙手可热的智能应用领域,在医学图像处理方面发挥着重要的作用。医学影像成像技术在临床医学领域的不断发展,使得人们对图像的依赖性逐渐增强,对诊断的准确率需求不断提高。因此,医学图像处理技术依然有很大的提高和发展空间。其中图像分割一直是该领域的突破点,尤其是针对脑部核磁共振这类灰度不均、存在部分容积效应、既模糊又复杂的图像,很难获得较高的精度。由于每个人脑内部组织存
学位