【摘 要】
：
深度卷积神经网络被广泛应用于计算机视觉领域的工作中.深度卷积神经网络通常有着强大的拟合能力,但模型中往往具有大量的冗余参数.这会导致计算成本的增加,对计算能力和内存占用的要求更高,难以部署在资源有限的设备上,例如在移动端设备和智能可穿戴设备等.因此,我们需要尽可能对网络进行压缩来减少计算量和模型规模.网络剪枝是网络压缩技术的一种方法,通过剪去网络中的冗余通道和连接来降低网络复杂性,进一步减少深度学
论文部分内容阅读
深度卷积神经网络被广泛应用于计算机视觉领域的工作中.深度卷积神经网络通常有着强大的拟合能力,但模型中往往具有大量的冗余参数.这会导致计算成本的增加,对计算能力和内存占用的要求更高,难以部署在资源有限的设备上,例如在移动端设备和智能可穿戴设备等.因此,我们需要尽可能对网络进行压缩来减少计算量和模型规模.网络剪枝是网络压缩技术的一种方法,通过剪去网络中的冗余通道和连接来降低网络复杂性,进一步减少深度学习过程中内存和计算的开销,因此网络剪枝在深度神经网络的压缩和加速方面取得了巨大的成功.剪枝算法根据网络参数权重和通道的重要性程度移除网络中不重要的结构.若剪枝率过高可能会导致网络结构的稀疏,影响网络准确率.同样,剪枝率过低则无法有效压缩网络模型.因此,必须要提出一种低运算成本和高精度的算法来压缩深度卷积神经网络.本文提出了一种新的剪枝算法,该算法能够全局剪枝与局部剪枝结合,并在局部剪枝中加入知识蒸馏来提高网络模型性能.全局剪枝使用的是一次性硬剪枝方法,即在通过初步训练后一次性剪去不重要的滤波器.局部剪枝使用的是掩码软剪枝方法,先设定一组掩码,使得剪去的通道可以参与下一次的迭代,保证模型的稳定性.对于提出的剪枝算法,我们在三个不同的公开数据集上进行实验,在CIFAR-10数据集上,提出的剪枝算法使Res Net-110的计算速度提高56.2%,准确率提高了0.17%,并在分类准确率和压缩率之间达到了很好的平衡.此外,本文在Res Net-50进行剪枝,并在ILSVRC-2012大型数据集上验证了模型压缩的有效性,得到了高压缩率和高准确率的剪枝模型.为了提高进一步提高模型的性能,本算法在局部剪枝步骤上采用了知识蒸馏,并设计消融实验验证知识蒸馏对模型性能提升的幅度.实验部分,本文与相近的剪枝算法进行对比,验证提出方法的有效性,可以准确性损失最小的情况下得到高压缩率的剪枝模型.
其他文献
背景与目的肥胖症在全球的盛行与快餐文化相关,工业反式脂肪加工的食品在快餐中盛行。大量的临床研究表明工业反式脂肪酸、肥胖症、抑郁症三者相关。动物实验表明,长期高饱和脂肪饮食会损害小鼠认知功能,甚至产生焦虑样行为和抑郁样行为。但饱和脂肪酸结构和炎症应激能力均不同于工业反式脂肪酸。动物研究表明神经型一氧化氮合酶（Neuronal nitric oxide synthase,n NOS）能够参与认知和情绪
采用乌兰察布市、大同市、张家口市2009—2019年间的5项经济指标:人均GDP、全社会固定资产投资、第二产业增加值、第三产业增加值、地方财政预算收入,运用复合系统协同模型,结合熵权统计法对蒙晋冀（乌大张）长城金三角合作区经济的协同发展水平进行实证研究。结果表明:蒙晋冀（乌大张）长城金三角合作区区域经济复合系统协同发展水平较低,仍处于中低协同演变水平,三地的经济协同发展水平有待进一步提高。因此需要
背景:抑郁症作为一种常见疾病,主要表现情绪低落、快感缺失、兴趣减退,预计到2030年将位居全球疾病负担首位。抑郁症已逐渐成为我国一个重大公共健康问题,中国抑郁症患者约占全球的1/5,但当前抗抑郁药起效慢及副作用等缺点,令人不尽满意。藏红花作为一种天然香料,自古以来就具有食用及药用价值,近年来越来愈多的试验对这种天然香料的抗抑郁机制进行了研究,其抗抑郁疗效在临床试验中也取得了较好的效果,但由于各研究
支持向量机（Support Vector Machines,SVM）作为一种优秀的小样本数据学习方法,在很多科学工程领域都得到了广泛的应用。最小二乘支持向量机（Least Squares Support Vector Machine,LSSVM）作为SVM的一种拓展变体,因其计算复杂度低、求解速度快的特点也受到很多学者的青睐。本文主要针对LSSVM在线训练算法及其在复数域的拓展进行了研究,主要贡献
乳腺癌已经变成了世界上确诊数最多的癌症,定期筛查、尽早治疗能够最大程度改善患者的生活质量。目前临床上主要筛查乳腺癌的方法有:乳腺钼靶X线摄影、乳房B超检查和核磁共振检查等。但是这些现有的检查方法存在对人体有较高辐射和费用昂贵等缺点,不适合作为日常乳腺癌筛查的手段。微波检测乳腺肿瘤因具有无辐射、小型化、精准化和低成本等优点,有望作为筛查乳腺癌的新一代工具被广泛应用。微波检测乳腺肿瘤有着清晰的物理基础
阻塞性睡眠呼吸暂停低通气综合征（OSAHS）的典型临床特征是睡眠时打鼾并伴有呼吸暂停和呼吸表浅，导致患者反复出现低氧血症、高碳酸血症和睡眠结构紊乱。由于妊娠期激素水平、生理因素等的特殊变化，妊娠期女性OSAHS的患病率明显高于非妊娠期女性。研究表明，妊娠期OSAHS与多种妊娠不良结局相关。本文就妊娠期OSAHS对妊娠结局影响的研究进展进行综述，以期为该病的临床研究提供参考，减少不良妊娠结局的发生。
近年来,基于深度学习的目标检测算法迎来了蓬勃发展的时期,人们尝试在多种场景中应用这项技术,其中包括了生活中多种多样的标识检测,这对于未来万物互联,智慧城市的建设具有重要意义。在自动驾驶及辅助驾驶系统中,道路交通标识检测识别任务作为环境感知层的重要环节,实现更高精度与更快速度的检测识别是极为重要的。传统的研究把检测和识别分成两个阶段实现,这造成了交通标识检测识别系统实时性较差,本文利用目标检测算法固
作为一项极具中国本土特色的实践探索，行政机关负责人出庭应诉在24年间经历了依托文件推动的初创期、制度正式入法的生长期和司法解释实施的拓展期三个阶段。置身全面推进依法治国的新时代，行政机关负责人出庭应诉的制度功能应当得到全新阐释。在法治国家、法治政府、法治社会一体建设的视域中，行政机关负责人出庭应诉具有以官员守法带动全民守法、以官民沟通促进实质化解、以个案处理实现诉源治理的时代价值，最高人民法院公布
目的:阻塞性睡眠呼吸暂停（Obstructive sleep apnea,OSA）是最常见的睡眠呼吸障碍,未经诊治的OSA,尤其是未经诊治的中重度OSA,会对患者和医疗系统造成巨大负担。但由于临床医师对OSA缺乏认识,睡眠监测资源的普遍缺乏,大量OSA患者处于未被诊治的状态。因此有必要提高OSA的诊治效率。Stop-Bang问卷是常用的OSA预测工具,经Stop-Bang问卷评估为OSA高危的患者
背景与目的违法犯罪的精神障碍患者,特别是无刑事责任能力患者,犯罪行为往往荒谬离奇,易引起社会的广泛关注。判断辨认能力（Capacity of Appreciation,COA）受损情况是评定刑事责任能力的重要部分,而目前刑事责任能力评定指南不够细致,有一定的主观性。本文将探讨一般人口学特征、临床特征、案情特征等方面与辨认能力评定的关系,为辨认能力的判断提供客观的依据。材料和方法本课题样本来自汕头大