卷积神经网络的加速与压缩方法研究

来源 :北京大学 | 被引量 : 3次 | 上传用户:XA1093815462
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
卷积神经网络已经成为人工智能应用中不可或缺的算法之一。近年来,在互联网普及带来的大量数据和高性能硬件推陈出新带来的算力增长的双重支持下,深度学习技术飞速发展,卷积神经网络模型的规模也变得越来越大。膨胀的网络规模一方面让卷积神经网络能够处理更复杂的任务,另一方面也带来了巨大的计算和存储消耗。在卷积神经网络应用已经走进智能手机、无人车、物联网的今天,网络模型的计算和存储需求与硬件设备能力不匹配的问题日益凸显出来。在此背景下,本文对卷积神经网络的压缩与加速问题进行了研究,提出一种基于全局滤波器剪枝的模型压缩方法。本文的主要工作和贡献如下:一方面,为了获得滤波器重要程度的全局排序,我们提出了一种名为Gate Decorator(GD)的评估算法。通过引入可训练的参数并结合泰勒展开公式,GD算法能够提供较传统方法更为准确的排序估计。另一方面,为了解决迭代剪枝过程中存在的精度和速度的矛盾,我们提出了一种名为Tick-Tock的剪枝框架。Gate Decorator和Tick-Tock剪枝框架构成了完整的剪枝方法。我们在大量标准数据集上验证了该方法的有效性,实验表明我们提出的方法在量化指标上超过了当前最先进的滤波器剪枝算法。例如,我们减少了Res Net-56网络70%的计算量而没有造成明显的精度损失。在Image Net这种规模较大的数据集上,我们对业界常用的Res Net-50网络进行了剪枝,能够在减少40%计算量的情况下,获得比基线模型还要高0.31%的Top-1分类精度。基于本文所提出的剪枝方法,我们构建了一个部署在手机上的实时人脸关键点检测系统。我们将过参数化的关键点检测模型的计算量压缩到其基线模型的五分之一,使得系统能够在ARM指令集CPU上以每秒约15帧的速度运行。针对过参数化模型容易过拟合的问题,我们还提出了一种名为对抗噪音的正则化方法。实验表明对抗噪音能为过参数化模型带来10%的相对提升。
其他文献
烟台市海洋产业经过多年的发展已取得了显著成就,但在发展中还存在一些问题,本文对烟台市海洋产业的发展现状及存在的问题进行了系统分析,并在此基础上提出了推动烟台市海洋
锂离子电池技术在现阶段竞争激烈的能源储能市场中仍占据主导地位,但建立起可以实现高功率密度、长循环寿命和低成本的新型储能体系是能源系统下一步发展的关键。而钾离子电池凭借钾元素与锂元素性质相似且储量丰富被认为是非常具有潜力的新型储能器件。同时,水体系电池因其价格低廉、安全高效、环境友好以及优异的电导率也引起了人的关注。因此,水体系钾离子电池有望成为储能技术新的发展方向。在现阶段,钾离子电池正极材料普遍
近年来,随着电子技术的飞速发展,电脑在人们生活各方面中的作用越来越重要,电脑技术以难挡之势融入各种文化形式中,跟随社会的脚步向前发展。电脑技术融合文化艺术为我们带来
<正> 人类社会业已步入21世纪,人们的物质生活、精神风貌正悄然发生改变。对信息的关注、财富的渴望、知识的更新比以往任何时候都要强烈。尤其是青年一代,他们的理想、信念
会议
【摘 要】本研究综合运用多种研究方法对辽阳县中学的体育教学现状进行研究。全面了解新课标实施以来取得的成绩和存在的不足,并在此基础上从较深的层次挖掘问题的原因并探索解决的途径,为新课标的顺利实施提供理论参考和实践依据。  【关键词】新课标 中学 体育教学 现状调查  1辽阳县中学体育教师对新课标的认知与评价  1.1 辽阳县部分中学体育教师对新课标的认知  新课程顺利实施的前提是,要接受新课程
对大学生进行廉政教育,不仅有利于落实党中央"廉政文化进校园"的教育方针,实现国家对青年一代的培养目标,还有利于大学生抵制腐朽思想,有利于纠正对大学生开展廉政教育的认识偏差,是
随着经济全球化的快速发展,英语作为世界第一通用语言,已经成为各国进行外交的重要语言。我国教育部门更是将英语作为教育的重点,而阅读能力是则是英语学习过程中的重点及难点。
生态文明是人类文明形态的巨大飞跃,是大力发展工业文明的必然产物。生态文明建设是关乎到中华民族永续发展的千年大计,是世界和中国发展史上的一场深刻变革。党的十七大首次提出建设生态文明,十八大进一步提出大力推进生态文明建设,把生态文明建设融入“五位一体”中国特色社会主义总布局。拥有内蒙古自治区的首府城市头衔的呼和浩特,在城市生态文明建设中理应走在全国城市发展的前列,代表未来中国城市的整体发展水平。所以,
中图分类号:D9 文献标识码:A 文章编号:1008-925X(2011)O7-0122-01  摘要:近年来,判例能否成为我国民法的法律渊源一直是法学界热议不断的问题。即认为我国法制建设中应引入和借鉴普通法系中的判例法制度,以增强我国法律适应在改革开放形势下迅速发展变化
随着当前社会上对化学药品的需求量不断增加,化学制药行业也得以较好地发展。在当前化学制药工艺中,为能够使化学制药得到理想效果,越来越多的新技术及新工艺得到越来越广泛