深度神经网络压缩与加速研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:q_yong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度神经网络广泛应用于图像分类、物体检测和语音识别等领域之中。然而,神经网络庞大的存储和算力需求严重阻碍了其被大规模地部署于资源受限的移动设备和嵌入式设备之中。利用通道剪枝技术和网络量化技术可在很大程度上压缩网络模型体积并加速网络的推理速度,目前已成为深度学习模型轻量化领域中的两个重要分支。现有神经网络剪枝方法对某一层神经网络进行通道剪枝时仅考虑和利用了当前层网络的统计信息,而忽略了神经网络连续层之间的关联关系,这种分离式的通道剪枝方式不能最大程度地去除神经网络中的冗余通道,且导致模型在一定程度上的精度损失。本文创新性的提出一种Out-In-Channel通道剪枝算法(OICP)克服上述分离式通道剪枝的缺陷。OICP以Out-In-Channel为最小的剪枝单元,在对网络做结构正则化约束与在进行冗余通道选择时都充分考虑了神经网络中连续层网络的关联关系。OICP还提出一个全局贪婪剪枝算法自动且合理地确定每层网络的通道剪枝比例。OICP的有效性在ResNet、DenseNet、PreSeNet和MobileNetV2等网络架构上得到了充分的验证,且在ImageNet-1K图片识别任务上取得state-of-the-art的压缩加速效果。使用OICP移除ResNet-50网络37.2%的FLOPs,通道剪枝后的网络精度反而比原网络上升0.22%;使用OICP移除ResNet-50网络50%的FLOPs,网络Top-1精度仅下降0.37%。神经网络量化技术通过使用低比特数值代替原网络中的浮点型参数和激活值来达到压缩和加速效果。当前很多量化方法一次性将浮点型的参数和激活值都量化到低比特的数值(One-Shot量化),带来了严重的网络震荡,量化网络因此存在训练收敛难,精度低的问题。本文提出一种输出通道维度上的增量量化算法来解决上述量化工作的缺陷,该增量量化算法通过迭代地量化网络参数和激活值的方式来减小量化过程中的网络波动。在每次量化迭代中,只有一部分输出通道对应的网络参数和网络激活值根据规则被选取并量化。且为了进一步缓解网络的波动,每次量化迭代中被量化的权重和激活值在输出通道维度上应该是不相交的。实验证明该增量量化算法可以很好地解决量化网络训练收敛难的问题,且能在一定程度上提升量化网络的精度。使用上述增量量化算法在ImageNet-1K数据集上对ResNet-18网络进行3bits量化,量化后的网络精度比One-Shot量化方法的网络精度高2.03%。
其他文献
重金属和有机污染物通常会同时出现在各种工业废水中,例如来自纺织工业和染料制造业的废水中通常含有重金属,其在染色过程中一般充当媒染剂的作用。重金属和有机污染物这两种污染物由于其生物累积性高、毒性高和在环境中的持久性而产生严重的生态影响以及毒理学影响。因此,研究如何去除工业废水中的重金属和有机污染物,避免这些污染物质排放到受纳水体中,具有十分紧迫和重要的意义。本文主要研究层间膨胀Mo S_2纳米片的制
密钥协商作为密码原语之一,又称密钥交换、密钥建立,能够在公共网络环境中的两方甚至多方之间建立一个共享密钥,从而保证通信的机密性和完整性。类似于加密算法、签名算法,如何设计安全高效的密钥协商协议一直是研究热点。根据公钥验证方式的不同,可以分为基于公钥基础设施(PKI)、标识(IBC)、无证书体制的密钥协商协议,其中无证书能够避免PKI中的复杂繁琐的证书管理机制,亦可以摆脱IBC中的密钥托管局限,更适
随着多媒体服务的爆炸式增长以及移动互联网应用的蓬勃发展,容量需求与频谱资源短缺的矛盾日益突出。轨道角动量(Orbital Angular Momentum,OAM)作为一个新的传输维度,能够在同一频带同时传输多路信息,可以有效地解决频谱资源短缺的问题。在此背景下,本论文以基于均匀圆阵的涡旋电磁波为研究对象,主要研究了OAM无线通信系统中的两个关键问题:时间调制阵列中任意模态涡旋电磁波的产生及优化问
随着世界各国信息技术的发展和对创新人才的需求,编程教育已经在各国中小学普及开来。2016年9月,我国发布了《中国学生发展核心素养》总体框架。2017年,教育部发布《信息技术新课程标准(2017版)》,要求培养学生的信息素养,而对学生信息素养的培养则包括计算思维的培养。因此,目前在信息技术教学中,对学生计算思维的培养是教学者和教育研究者的重点研究方向。Scratch软件具有可视化、零基础和趣味性强的
幸福感是人类生存的价值体现。提升居民幸福感,不仅是城乡居民从事经济社会活动的全部目的,也是党和政府治国理政的矢志追求,尤其在“不平衡不充分”的矛盾凸显的新时代,不断满足“人民对美好生活的需求”,具有格外重要的社会意义。为提升居民的幸福感,党和政府采取了多方面的措施,比如取消农业税、减税降费等税费改革等,其中,具有普惠性质的基本社会保障体系的建立和完善,是重要的内容。从新型农村合作医疗保险,到城乡居
机车传动系统关键部件状态的好坏对机车安全服役性能具有至关重要的影响。在长期变工况服役过程中,由于受到各种不确定性激励影响,机车传动系统各功能部件间交互作用,使获取的多信息存在混叠、耦合等现象,具有不确定性、不平稳性和非线性等特征。从而影响着整个机组的安全稳定运行。本文以齿轮箱断齿齿轮为研究对象。针对机车传动系统采集振动信号质量不佳,传感器位置选取困难等问题,提出了多元函数粒子群算法,解决了齿轮箱在
创新型中小企业是推动社会经济转型发展的重要动力,它在引导社会经济稳步发展中的地位不言而喻。而知识是创新型中小企业从事科技创新活动的重要的流动资源,持续的知识更新为
农作物育种是农业生产中的重要环节,但国内目前的育种试验主要依靠人工,过程繁复、耗时耗力:育种项目过程缺乏科学化、规范化的管理标准,人员管理较为混乱;育种试验中品种性状信息的采集需要工作人员手工记录,且多数停留在纸质记录的水平上;育种资源信息往往依靠育种人员的经验,缺乏科学的分析工具。以上客观原因限制了商业化育种的发展,通过信息化技术辅助农作物育种试验的进行,可以全面、高效地集成管理全业务流程的各类
云计算经过十余年的飞速发展,使人们的生活产生了翻天覆地的变化,数据的急速增长也使传统的存储技术超出负荷,由此便衍生出了新的存储技术——云存储。然而云存储意味着要将数据放到不确定的云端,每天有数以万计的用户在此上传下载数据,现有的云服务商也并不能保证是完全可信任的,因此,如何保证数据安全是云存储的一项关键技术。为了保证用户的隐私安全,不仅需要先对用户的数据进行加密处理后再存储在云端,还需要有效的访问
铬酸钠作为铬盐的母系产品是国民经济发展中重要的化工原料。针对传统铬盐生产工艺污染严重的问题,中科院青海盐湖研究所于2013年开始研发电化学法制备铬酸钠的新技术。该技术具有反应条件温和、过程可控、工艺环保等优点,但目前对于铬铁中主要元素的电化学氧化过程尚不明确。为此,论文综合采用循环伏安法(CV)和稳态极化曲线法(LSV)的电化学测试方法以及扫描电子显微镜(SEM)、能谱(EDS)、X射线衍射(XR