基于深度学习的噪声数据分类研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:Whoafraidwh0
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
虽然深度模型在许多应用方面获得了优异的泛化性能,但这些深度模型严重依赖于准确标注的大规模训练集。在训练集存在标签噪声的情况下,这些深度模型的泛化性能受到了严重的威胁和挑战。本文深入研究了标签噪声下多分类的鲁棒损失函数设计、深度模型在标签噪声下的收敛路径、鲁棒的学习算法以及解决标签噪声的补标签学习,并提出了相应的解决方法。具体地,本文主要研究工作和创新点如下:(1)针对如何把理论上具有标签噪声鲁棒性的二分类损失函数用于解决标签噪声下的多分类任务这一问题,本文采用类别间隔最大化策略构建多分类模型的目标损失,即将标签所在的输出作为正类,其他输出作为负类来构建目标损失。然后,利用Pairwise-comparison(PC)和One-versus-all(OVA)技术把理论上能够抵抗标签噪声的二分类损失函数用于解决标签噪声下多分类的任务,并基于现有的理论基础证明了该方法在理论上的可靠性和可行性。实验结果表明,本文设计的方法具有良好的抗噪声能力,并超越了当前先进的同类方法。(2)针对标签噪声下的深度模型学习过程不透明这一问题,本文通过深入的理论分析和推导,从理论证明了任意损失函数均可学习到标签噪声训练集对应的最优模型,并给出了深度模型在标签噪声训练集下的一般收敛路径。此外,在本文证明的理论基础上设计了一个标签更新方法,使得任意损失函数均可在有标签噪声的训练集下学习到对应的最优模型。实验结果表明该方法比其他方法具有明显的优势和性能提升。(3)针对深度模型容易过度拟合训练集的错误标签这一问题,本文设计了一个动态标签学习算法来训练深度模型,该算法可以利用大量为传统深度学习设计的损失函数进行标签噪声学习,甚至是交叉熵损失函数(CCE,被证明在传统深度学习算法下不具备标签噪声鲁棒性)。然后,本文从理论上证明所提出的动态标签算法具有良好的噪声鲁棒性,能在有噪声的训练集中有效地收敛到最优模型,更重要的是该算法的鲁棒性不依赖于损失函数和标签分布。此外,本文深入分析了在带标签噪声的训练集下,动态标签学习算法的收敛过程以及模型的性能表现,清晰地解释了该算法对标签噪声的鲁棒性和分类器一致性。实验结果不仅验证了本文对该方法的理论分析的正确性,还表明了本文设计的动态标签学习算法明显优于当前标签噪声学习的其他先进算法。同时,也表明该算法具有良好的鲁棒性、扩展性和通用性。(4)当前研究表明标签噪声学习问题可以转化为补标签学习来解决。然而,目前解决补标签学习主要是设计特定的目标损失函数来学习深度模型,大量为普通标签学习设计的损失函数尚不能有效地用于解决补标签学习问题。针对该问题,本文深入研究补标签的特性及现有的理论成果,设计了通用的补标签学习目标函数并从理论上证明了任意损失函数在该目标函数下均可用于补标签学习,同时指出如何利用相应的验证集进行模型选择。实验结果充分验证了本文的理论分析的正确性和该方法相对于当前优秀算法的优越性。(5)针对如何保证补标签学习与普通标签学习的分类器一致性问题,本文首先为补标签学习设计了一个通用的目标损失函数,该目标损失函数能利用为普通标签学习设计的损失函数来训练补标签下的模型。然后,给出了损失函数在该通用目标函数下进行补标签学习具有分类器一致性的两个充分条件,以及不具有分类器一致性的损失函数的一般形式,同时深入分析了不同损失函数在补标签学习中的泛化性能差异。实验结果表明该方法获得了比当前最先进的补标签学习算法更为优越的泛化性能,并充分验证了本文给出的理论解释。该项研究成果具有重要的理论研究借鉴价值和实用价值。本文首先从目标函数出发,研究了对称损失函数对标签噪声的鲁棒性;其次,进一步研究了深度模型在标签噪声下学习的一般收敛路径;然后,为在标签噪声下训练深度模型设计了一个可以使得大部分损失函数对标签噪声鲁棒的动态标签学习算法;再然后,为新的学习范式——补标签学习,设计了一个可将普通标签学习的损失函数扩展到补标签学习的目标函数框架,并从理论上指出验证集可用于最优模型的选择;最后,为补标签学习设计了具有分类器一致性的目标损失函,并解释了为什么MSE在补标签学习下不具备分类器一致性这一关键问题。实验结果表明,本文提出的解决方案获得优于或可与当前最优秀方法可比的泛化性能。
其他文献
机器翻译是人工智能和自然语言处理研究中的一个重要研究领域,其目标是通过模型将源语言的语句自动转换为目标语言的语句,且保证二者具有相同的语义信息。近年来,神经机器翻译模型成为了该任务的主流模型。该模型基于序列到序列的框架,通过编码器将源语言的语句编码为固定维度的隐藏状态向量,之后解码器依据给定的源语句隐藏状态按照自回归的方式从左至右逐字地生成目标语句。神经机器翻译模型在多种翻译任务上都取得了巨大的成
目的 基于氧化应激介导的内皮间充质转化(EndMT)探讨槟榔碱(Arecoline)诱导人脐静脉内皮细胞(HUVECs)损伤的作用机制研究。方法 采用槟榔碱干预复制HUVECs损伤模型。实验设对照组、槟榔碱高剂量组和槟榔碱低剂量组。采用CCK-8检测不同浓度槟榔碱对HUVECs存活率的影响,细胞成像分析检测HUVECs形态学变化,采用MitoSOX探针检测线粒体活性氧(ROS)水平,采用免疫荧光及
<正>2020年9月,中共中央办公厅、国务院办公厅印发《关于加快推进媒体深度融合发展的意见》(以下简称《意见》)。那么,什么是深度的媒体融合形态?这需要从全媒体传播生态层面进行分析与理解。结合互联网发展加速重构媒体格局的新形势,从系统论视角审视,全媒体传播体系应当由新型主流媒体/网络平台、数据/内容、传播者/服务者、用户/群众等要素构成。与此前相比,传播系统的基本要素没有太多改变,但是重心及要素之
期刊
随着信息化和机械化设备的普及以及计算机存储能力的提升,越来越多的高维特征数据得以保存。这些高维数据在为多领域应用提供海量信息的同时,也造成了维度灾难问题。另外,高维多标签数据是当前机器学习领域的研究热点之一,多标签数据是指一个样本同时与多个语义相关联,它广泛应用在文本、音频、基因等领域。本文利用特征选择技术对高维多标签数据进行降维并分类。特征选择技术不仅可以抽取高维特征中的关键特征用来训练分类器并
<正>5年前,我在北京有过一段实习经历。那时候每天挤公交上下班,周末只想在出租屋里瘫,偶尔出门看景看展,觉得北京又好又难,留在北京是件美妙且悲壮的事。所以大学毕业后,权衡再三,我去了杭州发展,北京成了我不想再踏足的城市,不是不喜欢了,是怕触景伤情,因为内心深处总有一个声音在跟我说:你是北京的逃兵。我不愿再去北京,就像中年男士不愿再回忆校园初恋一样,不是遗忘,是青春年华里的错过总会变成白月光,不宜多
期刊
随着社会进步和经济发展,人们对于建筑的要求越来越高,建筑行业蓬勃发展,建筑工程的质量和数量规模都有了新的突破。为了满足社会各界的要求,企业需要更加关注工程质量,提高核心竞争力。本文主要分析了建筑工程管理的意义,探讨了控制工程质量的措施,希望能够给业界提供参考价值。
<正>小程最近十分苦恼,前段时间因为不小心把额头磕了一个伤口,后来伤口虽然愈合了,但是疤痕消不下去。这让小程怀疑自己是疤痕体质。那么,疤痕不易消失就是疤痕体质吗?疤痕体质具有遗传性疤痕体质是指皮肤受到外伤后,皮肤的结缔组织对创伤反应超过正常范围所出现的疤痕增生。具有疤痕体质者可因为外伤、预防接种或者做手术产生疤痕,有时候疤痕的产生与皮肤张力、自身免疫力、遗传也有关。
期刊
单目深度估计是指通过单幅RGB图像对图像对应场景里的每个像素点到相机的距离信息进行估计。作为三维空间视觉的底层任务,为机器人避障、自动驾驶、虚拟现实等研究提供最基本的深度信息。当前的深度探测设备主要包括激光雷达系统、毫米波雷达系统、飞行时间相机系统、双目相机系统、多目相机系统和结构光相机系统等,单一的深度探测设备存在或造价昂贵、或精度易受外界环境影响、或测距短、或算法计算量大等缺点,使用多个深度探
<正>在阅读教学中,文言文一向是师生共同的难题。尤其对初一学生而言,由于"读不懂"产生了一定的畏难情绪。教师如果在课堂教学中仍采用传统的言文分离式教法,学生很容易对文言文彻底丧失阅读兴趣。这就要求教师在课堂中注重方式方法的多样性,以活动带阅读,从而达到言文共生的理想状态。我在设计《〈论语〉十二章》一课时,课前设计了四个活动。
期刊
随城市化的建设步伐的加快,建筑行业在发展过程中出现了新的发展方向。建筑企业要紧跟时代的发展步伐,结合时代的实际发展需求,有效提高自身的社会竞争力,加强建筑工程的施工管理及施工质量,进一步推动企业可以获取最大化的经济效益。现阶段,建筑工程施工的过程中还存在着一些问题,不利于建筑工程更好地开展,因此针对其中所存在的问题进行分析,制定具有针对性的质量管控措施,希望可以有效推动建筑工程管理工作的顺利开展。