卷积神经网络通道剪枝算法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:iorikof1107
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,卷积神经网络(Convolutional Neural Networks,CNN)技术在诸如人脸识别,行人检测,自动化生产等场景中获得了广泛的应用。然而,由于CNN对计算和存储资源的需求较大,在一些资源受限制的移动设备和边缘计算设备上,原始CNN模型难以直接部署,这限制了CNN的应用范围。因此,针对CNN压缩的相关技术是目前神经网络在实际应用中的一个重要研究方向。在现有的CNN压缩技术中,通道剪枝算法由于能够在不改变CNN计算架构的前提下减少现有CNN模型的大小,在实际针对CNN模型的压缩任务中被广泛应用。然而,现有的通道剪枝算法通常在通道重要性估计方面存在通道估计局部性问题,或者在通道剪枝策略方面存在采用固定通道剪枝率的问题,此外,大部分通道剪枝算法在对包含批归一化(Batch Normalization,BN)层的CNN模型进行剪枝时,都采用了重新计算BN层中均值方差的策略以提高剪枝模型的性能,但是缺乏对造成这一现象原因的分析。本文针对这三个问题进行了深入研究,并分别提出了快速通道重要性传递算法(Fast Neural Importance Score Propagation,F-NISP)、基于多目标优化的自动通道剪枝算法(Automatic Channel Pruning Algorithm Based on Multi-objective Optimization,APMO)以及针对BN层固定均值方差对剪枝模型性能的影响(以下简称BN剪枝影响)的理论分析用以解决上述问题,具体研究内容如下:(1)针对现有通道重要性估计算法存在局部性的问题,神经元重要性得分传递(Neural Importance Score Propagation,NISP)算法可以以逐层传递的方式获得CNN的全局通道重要性估计,但是计算效率过低。在研究NISP算法的运行机理的基础上,以转置卷积的计算方式代替NISP算法中采用矩阵乘法的计算方式,提出了F-NISP算法,并将深度可分离卷积结构转换为传统卷积结构,简化了计算过程。实验结果表明,在保持NISP算法对CNN全局通道重要性估计能力的同时,F-NISP算法大幅度降低了计算和存储的需求。(2)针对现有通道剪枝策略方面存在采用固定通道剪枝率的问题,根据CNN的不同层对通道剪枝敏感度不一致性的特性,CNN模型的剪枝问题被建模为一个以CNN的性能和资源消耗为两个优化目标,以CNN每层通道的剪枝率为决策变量的多目标优化问题,并通过基于分解的多目标优化算法对该多目标优化问题进行求解,在此基础上,提出了APMO算法。相对于现有的通道剪枝策略,APMO算法能够自动的获得一系列在模型的大小和精度上取得帕累托最优的剪枝模型,从而便于对CNN模型的冗余性进行估计。实验结果表明,APMO算法相对于现有的采用固定剪枝策略的通道剪枝算法在相同计算量下能得到精度更高的剪枝模型。(3)针对现有CNN通道剪枝算法缺乏对BN剪枝影响的理论分析的情况,通过采用公式推导的方法对BN剪枝问题从理论上进行了相关分析,得到的结论为:在剪枝后的CNN模型中,其对应的原始模型中的均值方差相对于针对剪枝模型实际计算的均值方差存在偏移,使得输出的特征图分布和期望分布不一致,从而造成了最终剪枝后的CNN模型性能的大幅度下降。实验结果验证了这一分析结论的正确性。
其他文献
随着互联网的高速发展,视频逐渐成为信息传递的主要方式之一。与此同时,由于视频的盗版现象层出不穷,使得视频版权保护的需求变得日益迫切。其中,视频水印技术是实现视频版权保护最为有效的方法之一。然而,目前大多数的视频水印算法都是对视频单帧图像进行频域变换,导致算法抗帧攻击的能力还有待提高。由于张量可以直观表示高维数据的结构特征,因此,将视频表示为张量可以最大程度地利用视频时间轴上的相关性,提高算法对于帧
从目前我国初中语文教学的总体任务来看,在初中阶段的作文教学中,作文评改仍是十分重要的一个环节。作文评改不仅可以衡量学生的整体语文素养,更会关系到学生的社会生存和发展能力。但是通过郝庄中学作文教学现状的调查来看,作文评改已经陷入举步维艰的处境,低效率、低质量的作文评改已经成为制约农村初中语文作文教学发展的最大障碍,对农村初中作文评改的改革刻不容缓。笔者通过对郝庄中学师生的问卷调查及访谈发现,现在的学
NV色心是由金刚石中一个氮原子(Nitrogen)取代其中一个碳原子,并且捕获其临近位碳原子空位(Vacancy)形成的点缺陷。金刚石NV色心具备优异的光学特性,是一种优异的单光子源,广泛应用于量子光学、量子计算、量子成像和生物医学等领域。金刚石氮空位色心具有人工可制备、电子自旋相干时间长、发光明亮且稳定等优点。通过光学方法的形式对其量子态进行初始化和读取,基于外部电磁场、温度、应力对其量子态的作
得益于我国经济的快速发展以及人民生活水平的不断提高,当前我国航空运输市场能够快速发展,一方面,世界著名的航空公司纷纷开通中国航线,另一方面,国内航空公司的数量也大大增加,方便旅客出行的同时也带来了航空运输市场激烈的竞争环境。对航空公司而言,企业的发展除了需要靠外部市场的积极开拓,积极增加航线数量和飞行班次,同时也得需要对企业内部进行科学管理,提升企业的运作效率和服务安全性。而企业竞争力离不开员工的
区块链技术受到广泛关注,共识机制是其核心技术之一,Equihash是一种工作量证明类型的共识机制算法。Equihash算法首先采用BLAKE2b算法产生2^(N/K+1)组N位哈希值,由N、K调整算法时间和空间复杂度,按照广义生日算法进行数据碰撞求解,经条件验证获得最终解,大量的数据碰撞操作需要很高的内存带宽,它是一种memory-hard算法,目前主流实现方式是采用高性能多核处理器或者GPU计算
现代战争已逐渐演变为信息化战争,掌握信息的主动权是取得战争胜利的重要保障。瞬时频率测量(Instantaneous Frequency Measurement,IFM)是电子战的关键技术之一,通过快速并准确的获取目标的频率信息能够实现对目标对象的侦查、预警、干扰等目的。且在雷达和无线通信系统中通过对多普勒频移(Doppler Frequency Shift,DFS)和到达角(Angle Of Ar
Micro RNA是一类长约18-24 nt的内源性非编码RNA,是各种生理过程的重要调控开关。Micro RNA的异常表达与肿瘤的无限增殖、血管生产、免疫逃逸、侵袭、迁移和粘附密切相关,是新兴的肿瘤标志物。因此,micro RNA的快速精准检测对肿瘤疾病的早期诊断和病理分析具有重大的意义。与基于荧光染料或量子点的纳米探针相比,以稀土上转换纳米材料(UCNPs)为核心的micro RNA纳米探针具
郧阳汉江公路大桥位于汽车城十堰以北27公里处的湖北省郧县城关.该桥为湖北省“八·五”期间的重点工程项目,也是交通部“八·五”科技进步“通达计划”中《地锚式大跨径斜拉
会议
工业化城镇化步伐的加快使得全球对能源的需求激增、环境污染日益严重。而光催化技术清洁安全,在催化剂作用下可实现太阳能到化学能的转化,其中光解水和光催化还原二氧化碳可以分别生成氢气和一氧化碳等清洁燃料,能有效缓解全球能源危机和环境问题。因此,许多科研人员致力于半导体催化剂的改性和新型光催化材料的开发,构建高效的光催化剂对提升光催化性能至关重要。近年来,金属有机框架(Metal-Organic Fram
近年来,智慧城市迅速发展,该场景下物联网设备交互产生海量的、种类繁多的网络数据流量,为网络的管理和分析工作带来了压力。网络流量分类任务是网络管理和分析的基础性工作。高效且高准确率的识别分类网络流量能够为网络提供安全保障,同时也是保证网络服务质量和效率的关键一环。传统的网络流量分类机制包含特征工程和分类模型两部分。工作流程需要首先借助特征工程方法对原始数据抽取特征,然后将特征输入到传统分类模型得到分