【摘 要】
:
彩票假设指出在一个随机初始化的稠密网络中存在能够被独立训练的稀疏子网络(彩票网络),且这样的子网络能够达到与原网络一致的性能。然而,先前的大量研究将网络的性能等同为其在测试集上的准确率。但准确率远非唯一的衡量指标,有时甚至可能不是最重要的。因此即使彩票网络能够维持原网络的准确率,仍可能存在未知的特性损失,无法直接用彩票网络替代原稠密网络。此外,彩票网络的搜索过程需要反复进行训练和剪枝操作,本身消耗
论文部分内容阅读
彩票假设指出在一个随机初始化的稠密网络中存在能够被独立训练的稀疏子网络(彩票网络),且这样的子网络能够达到与原网络一致的性能。然而,先前的大量研究将网络的性能等同为其在测试集上的准确率。但准确率远非唯一的衡量指标,有时甚至可能不是最重要的。因此即使彩票网络能够维持原网络的准确率,仍可能存在未知的特性损失,无法直接用彩票网络替代原稠密网络。此外,彩票网络的搜索过程需要反复进行训练和剪枝操作,本身消耗了大量的计算代价,限制了彩票假设的实际价值。针对上述问题,本文面向图像分类任务开展研究,对彩票网络的不同特性进行全面地评测并提出了一种高效搜索彩票网络的算法。本文的主要的工作和创新点如下:从分布偏移数据的泛化特性、预测不确定性、可解释性以及损失函数平面的几何特性四个角度全面分析了彩票网络的主要特性。其中对于分布偏移数据的泛化特性,本文分别考虑了对抗扰动以及自然扰动图像。对于预测不确定性,本文采用静态校准误差和负对数似然误差两种典型的衡量指标。此外,本文分别从宏观和微观两个角度探究模型的可解释性,并根据损失函数在参数空间对应的Hessian矩阵的特征值和迹来分析其平坦程度。根据在CIFAR-10,CIFAR-100,ImageNet数据集中的实验结果,本文发现在一定的稀疏度范围内,彩票网络在以上四种角度都能拥有与原网络一致的特性。提出了一种数据-模型协同稀疏化算法,通过特定方式挑选训练数据构建PrAC集(Pruning-Aware Critical set),并用PrAC集代替原训练集实现彩票网络的高效搜索。最近的一些研究发现,深度神经网络对于某些数据存在训练中难以记住或是剪枝后容易遗忘的现象。受此启发,本文利用上述现象筛选出对于彩票网络搜索过程最为关键的样本,以此构建PrAC集。通过在PrAC集上进行训练和剪枝,可以有效减少所需的训练轮次同时找到高质量的彩票网络。本文通过在不同数据集和模型结构上的大量实验验证了所提出算法的有效性。本文能够加深人们对彩票网络的理解,提升彩票网络的搜索效率,为日后在实际场景中部署彩票网络提供重要参考。
其他文献
芳香性是化学领域的基本概念之一,被广泛应用于有机体系中。至今芳香体系的发展不仅囊括了传统的轮烯、杂轮烯以及稠环化合物等,还扩展到莫比乌斯分子、富勒烯、金属杂环以及全金属体系等。常规的平面型芳香分子通常在基态遵从休克尔4n+2电子规则,而在最低三重态符合Baird规则。相比之下,过渡金属的d原子轨道参与形成环状共轭则会导致独特的芳香性表现。过渡金属杂环从最低单重态到最低三重态的绝热激发并不总是满足π
月球表面的物质成分分布对评估月球表面的矿产资源、促进月球资源合理利用和人类社会可持续发展有着重要的作用。嫦娥一号是我国于2007年发射的第一颗探月卫星,其上搭载的干涉成像光谱仪(Interference Imaging Spectrometer,ⅡM)用于反演月表的物质成分。ⅡM光谱左右色调不均一,对反演月表物质成分产生影响,因此有必要消除探测器各像元响应不均一对光谱图像产生的影响,使图像能够反映
由于手部具有丰富的灵活性,基于手势的人机交互具有广泛的应用价值。大多数的基于骨架的手势识别研究只针对分割好的、包含一个手势的骨架序列进行分类,然而从实际场景中获取的骨架序列往往是未分割的、没有明确的手势起始结束的数据流。如何从未分割的数据流中实时地检测和识别出需要的手势是在线手势识别研究的非常重要的问题。为了开发一个在线手势识别应用,本文针对实现过程中出现的三个关键问题展开了研究。首先,本文研究如
运动能力作为体育学科核心素养的关键要素,需要借助体育学科教学过程的不断优化才能实现。运动教育模式以游戏理论为指导,以比赛为主线,注重提供给不同水平学生真实丰富的运动体验。其构建逻辑与我国现阶段体育课程改革理念及其要求基本吻合。本研究采用文献资料法、专家访谈法、问卷调查法、教学实验法和数理统计法等研究方法,以岳阳市十中初一年级两个均为男生的足球社团班为实验对象。就运动教育模式应用到初中足球社团教学中
在互联网日新月异的发展下,催生了社交化的电商平台,它不仅改变了人们的网络交往和购买方式,也对营销活动的方式产生了巨大的影响,企业开始逐渐转向社交电商来展开品牌营销。同时,在学术领域对社交电商中消费者行为的研究也逐渐成为重点,作为社交电商中消费者行为的重要的两个变量网络口碑和品牌体验更是被越来越多的关注。因此,研究品牌网络口碑和消费者品体验对消费者品牌忠诚度的影响具有非常大的理论价值和实践意义。本文
国家一直高度重视“生态文明建设”与“长江经济带建设”问题。洞庭湖是长江经济带的重要节点,作为“长江之肾”的洞庭湖牵连整个长江生态系统的平衡,其生态形象的构建与传播,对于长江流域乃至我国的大湖生态文明形象建设具有重要的战略意义。立足于环境传播学,通过内容分析法与话语分析法,以《中国环境报》近十年对洞庭湖生态的报道文本为研究对象,针对“《中国环境报》如何报道洞庭湖议题、如何建构关于洞庭湖议题的话语、报
信息技术在教育领域潜力地巨大发挥,使得教育信息化成为促进教育公平的重要手段。与此同时,教育数字鸿沟随着信息化的推进也得以产生和发展,现已成为增大群体极化风险、影响教育公平进程、引发再生产倾向的重要教育问题。然已有研究对教育数字鸿沟的界定模糊;其成因多停留于表层分析,且缺乏理论支撑;应对建议也相对趋同。因此,本研究以新教育数字鸿沟即主要矛盾为人的差异的教育数字鸿沟为研究对象,以社会分层理论和正义论为
我国是世界上食管癌高发区,年发病率和病死例数均居前列。尽管食管癌的治疗在过去几年中已大大改善,患者在很大程度上受益于早期诊断,但食管癌的5年总生存率仍在15%至25%之间。人们在食管癌中进行了一些基因组分析,将基因组改变与表型联系起来,揭示了一些驱动基因,例如TP53、RB1、ZNF750、NOTCH1、FAT1和NFE2L2等,具有高频率的突变,促进食管癌的发生发展。但是,与乳腺癌和胃癌基于既定
知识分子是一种对社会和文化具有重要意义的角色,肩负着价值维系者与伦理代言人的重要角色,文明正是因为有了这样的“社会良心”才得以延续。知识分子不仅在八十年代改革开放的语境中成为了时代的弄潮儿,在电影叙事中也占据着重要的地位,知识分子作为创作者、电影人物、时代主体,产生了一种三位一体的密切联结,形成了一整套以知识分子叙事为核心的电影话语。本选题的研究所要解决的问题是:在八十年代的中国电影之中,影片创作
碳量子点(CDs)作为一种直径小于10 nm的球形新型荧光纳米发光材料,与其它量子点相比具有优异的光学性质、易于官能化和制备、良好的水溶性、低毒性、表面容易修饰等诸多优点,在很多领域有广泛的应用,成为了近年来纳米材料研究的热点。但是,环境生物样品的复杂化,对CDs的灵敏度,特异性和准确性有着越来越高的要求,在分析应用中面临很多的挑战,量子产率低,表面基团的缺乏,荧光强度受干扰因素多,导致对目标检测