面向数据分类的优化极限学习机理论研究

来源 :曲阜师范大学 | 被引量 : 0次 | 上传用户:spiderkiss
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
极限学习机(Extreme Learning Machine,ELM)作为一种有效算法,已成为机器学习领域新的研究热点。与其他基于梯度的方法相比,ELM可以在更低的计算成本的基础上带来更好的泛化能力,并被应用到监督和无监督学习任务中。然而,传统ELM方法的损失函数为平方损失,容易放大数据中噪声和异常值的影响。其次,由于传统的ELM方法没有考虑到数据的流形结构,无法挖掘样本点之间的高阶几何信息,导致ELM方法的性能不稳定。除此之外,ELM的网络结构中含有大量冗余的隐藏层神经元,容易造成过拟合等问题。针对以上问题,本文对ELM的鲁棒性、稀疏性和分类能力进行改进提升,并应用于大量基准数据集和多癌整合数据集中,取得了令人满意的结果。具体的研究内容概括为以下四部分:(1)针对ELM对噪声和异常值敏感以及无法获取高阶几何信息等问题,提出了基于广义相关熵的超图正则化鲁棒极限学习机方法(GCHELM)。广义相关熵作为鲁棒的非线性相似性度量,能帮助模型抵抗异常值等干扰因素带来的负面影响。另外,为了降低神经网络模型的复杂度,将L2,1范数作为新的正则化约束。除此之外,超图的引入可以捕捉更多样本点之间的高阶几何关系,帮助获取更丰富、更准确的数据结构信息,提高模型的性能。(2)针对网络结构中有许多冗余的隐藏层神经元以及应对数据中的噪声等问题,提出了基于联合核风险敏感损失(KRSL)的极限学习机方法(JKRSLELM)。与L2,1范数相比,KRSL可以处理数据集中的高斯噪声和非高斯噪声,有效提高模型的鲁棒性。更重要的是,强大的结构稀疏诱导KRSL被集成到极限学习机正则项中,可以自适应地消除网络结构中潜在的冗余神经元,提高模型的泛化能力。(3)针对数据中含有大量无标签数据以及ELM鲁棒性较差等问题,提出了基于核风险敏感平均P次幂损失(KRP)的超图正则化鲁棒极限学习机方法(KRP-HRELM)。与其他损失函数相比,KRP对模型的鲁棒性提升更明显。另外,超图的应用可以帮助ELM探索更多采样点之间的高阶几何结构信息。此外,为了使模型能够学习和利用数据中的无标签数据,本研究将KRP-HRELM方法扩展到了半监督学习领域(SS-KRP-HRELM),提高了模型的实际应用能力。(4)针对ELM学习能力较差而影响其分类能力等问题,提出了基于核风险敏感平均P次幂误差的鲁棒多层极限学习机方法(H-KRPELM)。通过将KRP集成到极限学习机自动编码器误差函数中,得到了基于KRP的极限学习机自动编码器(KRPELM-AE),降低了传统的极限学习机自动编码器对噪声和异常值的敏感性。另外,将KRPELM-AE作为基础构建块,通过分层堆叠的方式构建多层神经网络,该模型可以更精准地学习到原始数据的特征表示,提高了模型的学习和分类能力。本文所提出的方法分别在基准数据集和癌症数据集上得到了应用,实验结果表明这些方法不仅可以有效的提高ELM的综合能力,而且要优于现有的同类方法。
其他文献
随着物联网(Internet of Things,Io T)技术的快速发展,已有数百亿Io T设备接入网络,大规模成熟的智能应用随之出现。以摩尔定律为指标的硬件发展速度已经无法匹配当前呈指数形式增长的数据总量,使得资源有限的Io T设备难以满足新型智能应用愈加复杂的计算需求。云边协同计算作为一种结合云计算与边缘计算优势的新型网络架构,为解决智能应用的计算问题提供了新的途径。在云边协同计算架构中,任
学位
随着物联网(Internet of Things,Io T)技术的发展,人脸识别、增强现实、虚拟现实等应用越来越普遍,这些对时延敏感的应用需要大量计算并消耗较高能量。然而,目前移动终端的计算资源和电池电量有限,显著影响了用户体验质量(Quality of Experience,Qo E)。移动边缘计算(Mobile Edge Computing,MEC)将资源扩展到网络边缘,成为解决这一问题的关键
学位
随着生物信息技术的不断发展,产生了大量的癌症多组学数据,这些组学数据包含不同层面的癌症信息,为研究癌症形成、发展的生物过程和分子机制提供了重要基础。整合分析癌症多组学数据可以挖掘癌症研究需要的更多有用信息,有利于对癌症和基因的深层关系进行系统研究,对深入理解和揭示癌症病因、进一步促进癌症诊断和治疗具有重要意义。然而,癌症多组学数据来自不同的实验测试平台,具有多数据类型、高维度、小样本及高复杂噪声等
学位
利用羟基硅油的独特性质改性纳米SiO2制备了一种具有纳米结构的弹性微米级复合SiO2粒子,并用其与107硅橡胶复合制备出了超疏水涂层。探究了粒子用量对疏水性的影响。使用扫描电镜、接触角测量仪、傅里叶变换红外光谱仪和热失重分析仪对改性后的粒子和超疏水涂层进行表征。结果表明:羟基硅油改性后的粒子与硅橡胶涂料相容性极好,由于粒子表面的硅氧烷分子链能与硅橡胶分子链缠结,且拥有多级粗糙结构的粒子能与固化后的
期刊
在信息化时代,微课作为一种新兴的手段参与到教学活动中,不仅改变了教师传统的教学方式,而且也改变了学生的学习方式,是践行国家教育改革方针的有效手段。微课凭借其自身具备的"一对一""交互性"等教学理念,得到广大师生的青睐。就目前微课在初中音乐教学中的普及程度来看,很多学校初中音乐课程还没有深入落实微课辅助教学的理念,部分学校的初中音乐课程虽然使用微课,但是并没有充分发挥微课的作用和价值。针对微课辅助初
期刊
在我国经济快速发展的推动下,我国居民消费水平不断提升。同时,国内有关食品生产技术以及冷链物流技术、基于物联网的数字化生产管理系统等日趋成熟,推动了我国休闲食品行业的快速发展,但由于整体市场门槛低、同质化程度较高,未来的市场竞争将会越来越激烈。本文以SZ休闲食品公司为案例,首先对本文所运用的相关理论,财务分析理论和哈佛框架理论进行了阐述。财务分析最早起源于美国的银行业,起初的财务分析方法只是对企业财
学位
全基因组关联研究(Genome-Wide Association Study,GWAS)在人类全基因组范围寻找序列变异,探索单核苷酸多态性(Single Nucleotide Polymorphisms,SNP)与人类复杂疾病等性状之间的潜在关联,为揭示人类复杂疾病致病机理提供更多线索。多个SNP之间往往存在交互作用,线性或非线性地影响着复杂疾病的产生与发展,因此SNP互作模式的检测对于理解人类复
学位
网络控制系统框架下,系统各个组件通过带宽有限的网络进行连接与信息共享,从而实现了异地间传感器、控制器和执行器等组件的实时信息传输。网络控制系统通过网络实现了分布式控制,具有资源共享、远程控制和实时性等优点。然而网络的带宽有限会诱发数据传输竞争问题,导致未获得网络资源的数据包传输失败,产生数据包丢包现象。控制输入也会发生数据包丢失,控制输入的丢失会破坏系统性能,导致系统不稳定。本文分别研究了单输入丢
学位
为研究不同类型水稻对镉(Cd)胁迫差异的原因,以镉敏感籼稻恢复系昌恢891(CH891)和镉耐受粳稻品种02428为材料,选取种子萌发后,连续镉处理3 d的和未进行镉处理的幼芽,使用高通量Illumina HiSeq 4000测序技术进行RNA-Seq分析,共得到539 524 490个有效读长,与参考基因组的比对率在94.81%~96.82%,GC含量均在49%以上。通过比较分析,共检测到7 2
期刊
无线通信的不断进步推动了车联网技术(Internet of Vehicle,Io V)的发展,Io V能够为设备提供多样化的服务,包括道路环境感知、交通实时调度等。但是,由于车辆的移动需要频繁切换网络,以及网络具有开放性的原因,车辆间的通信容易遭受恶意攻击。因此,在不影响车联网正常工作的情况下,如何确保安全高效的车辆认证是一项重要挑战。通过将车联网和区块链相结合,可以为上述问题提供一种解决方案。本
学位