深度卷积神经网络通道剪枝方法研究

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:YCY8899
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度卷积神经网络在计算机视觉、自然语言处理等领域取得了超越传统方法的优异性能,然而,随着网络规模的增加和各种复杂结构的出现,在诸如自动驾驶、可穿戴设备、智能机器人等内存和算力有限的场景,应用和部署深度卷积神经网络难度较大,限制了卷积网络和相关任务的应用发展。因此,在精度损失较小的情况下,对深度卷积神经网络的压缩进行理论分析并建立高效的压缩模型是十分必要和紧迫的。目前,已有研究揭示了深度卷积网络中存在明显的参数冗余现象,这为网络压缩建立了基本的理论依据。而且,现有的方法在参数重要性评价标准、压缩效率、网络精度损失等方面依然存在较大的改进空间。本文在对国内外网络压缩和加速方法进行分析总结的基础上,重点针对卷积神经网络的通道剪枝技术进行了深入研究。完成的主要研究工作总结如下:1)提出了一种基于中间特征注意力的通道剪枝方法。利用特征注意力模块的中间激活张量来评价通道的重要程度,进而设置阈值删除网络中不重要的特征图及其相对应的卷积核。解决了现有量级剪枝标准容易忽略参数在网络整体结构中的作用这一问题。此外,针对基础残差模块提出了一种新的剪枝策略,对同一阶段中包含的相同残差模块统一裁剪,使这些残差模块的输入和输出通道数保持一致。2)提出了一种基于粒子群优化的通道聚类剪枝方法。首先根据特征图之间的余弦相似度对网络通道进行基于密度的聚类剪枝,然后将剪枝后的子网络扩展为候选子网络种群,最后利用粒子群优化算法进行搜索寻优,在一定的压缩率范围内获得了性能更好的网络通道数配置。解决了现有网络剪枝方法较多依赖人工干预的问题,实现了自动剪枝。3)提出了一种联合知识迁移和对抗博弈的全局均衡迭代剪枝方法。通过分析不同层中输出特征图的量级分布,揭示了现有剪枝方法存在参数量和浮点运算量压缩率不均衡的问题,并建立了一种基于特征图1范数最大归一化的全局均衡迭代剪枝策略。进一步设计了剪枝间隙性能恢复策略,通过剪枝-优化迭代来保证在每次剪枝过程中网络都具有良好的精度,实现剪枝的准确性。减少了由于单阶段剪枝所造成的误裁剪情况。
其他文献
随着信息系统智能化时代的到来,以嵌入式系统为载体的物联网、车联网、人工智能、云计算、电子支付等越来越多的智能系统进入人们的生活并极大的改善人们的生活质量。然而随着嵌入式系统的推广应用,其安全性也受到越来越多的威胁,现阶段嵌入式系统芯片安全面临着最新的威胁有如:旁路攻击、故障注入、硬件木马等。为了确保智能系统和个人信息的机密性和完整性,必须实施信息加密。基于软件的加密方式面临着容易被攻击和破解的风险
学位
多目标跟踪的目的是从一组受杂波干扰、漏检、虚警等影响的不完全量测集中估计目标状态及其轨迹数。传统多目标跟踪算法以复杂的数据关联为基础,而基于随机有限集(RFS)的跟踪算法将数据关联集成到滤波阶段,以处理时变目标数、有效避免数据关联引起的组合爆炸等诸多优点成为多目标跟踪领域的研究热点。多目标跟踪领域中通常将目标假设为点目标,一个目标仅产生一个量测,而群目标包含多个运动状态相似的目标成员,会产生多个量
学位
20世纪90年代,随着计算机技术的飞速提升和互联网产业的迅猛发展,中国步入互联网时代,互联网企业如雨后春笋般地大量涌现。如今互联网公司种类繁多,大致可以归纳为互联网金融类公司、即时通讯类公司、搜索引擎类公司、电子商务类公司以及综合门户类公司等,其中电子商务在其中有着举足轻重的地位。通过互联网技术的革新与发展,跨境电商行业也得到了迅猛发展,越来越多的企业加入跨境电商行业中,阿里巴巴应运而生。目前,阿
学位
光电子器件是利用半导体光-电子(或电-光子)转换效应制成的各种功能器件。在家用相机、军用夜视仪、导弹预警、医学检测、人脸识别、天空预警等领域具有重要的研究价值和广阔的应用前景。作为近十年来的明星材料,钙钛矿具有高的光吸收系数、可调的禁带宽度、高的载流子迁移率、低廉的制备成本等优势,有望替代传统半导体Si材料,成为构筑高性能光电子器件的理想材料之一。研究基于钙钛矿半导体的各类光电子器件,对于推动钙钛
学位
上白垩统红杂色层为松辽盆地南部含铀目标层位,长期以来该套含铀层位的划分问题一直悬而未决,同时前人大部分研究仅聚焦于铀矿带范围内,矿带外围以及南部区域上研究程度较低,缺乏系统认识。为准确厘定含矿层位,明确上白垩统红杂色层沉积充填演化特征与砂岩型铀矿的关系,论文综合运用地层学、沉积学、砂岩型铀成矿理论,利用岩心、钻井、测井和地震等资料对其进行了重新认识和系统研究。研究结果表明,目前被核工业系统笼统归为
学位
本研究通过对外植体及其消毒方法、生根培养激素组合的筛选,建立了芦笋腋芽一步成苗的组培快繁方法。结果表明,以5~10 mm腋芽为外植体,接种在1/2MS+0.05 mg/L NAA+0.1 mg/L KT+1.0 mg/L嘧啶醇+1.0 mg/L IBA+2%蔗糖+0.65%琼脂的培养基上,30天左右即可生根,45天左右根长可达1 cm;再生根可分为3种类型,即从芽基部长出的粗壮肉质根(Ⅰ型)、从愈
期刊
现代无线通信系统技术在民用和军用中迅速发展,促使其对天线的高信道容量、高速率提出越来越严苛的要求。传统的天线设计需要技术人员具备丰富的经验并进行多次的优化测试。如今,特征模分析作为一种新型辅助天线设计的工具,它可以在添加馈电结构之前就对天线进行定性分析,揭示了天线潜在的多种模式,这些模式只和作为辐射本体的材料、大小等固有属性有关,天线设计者可以根据这些模式对天线有整体的把控,颠覆了传统的设计过程。
学位
经典纠错码理论是传统数字通信的一个重要保障。有限域上的线性码是经典纠错码的一个重要内容。其中广义Reed-Solomon码和常循环码就是两类有着良好代数结构的线性码,在纠错码理论中发挥着重要的作用。类似地,量子纠错码(量子码)是量子计算和量子通信的一个重要保障。量子码和经典纠错码有着本质的区别,但利用经典的线性码却可以构造出一些具有优良参数的量子码。本文主要研究了有限域上的几类广义Reed-Sol
学位
<正>党的十九届五中全会通过的“十四五”提出,要增强产业链供应链现代化水平。这是促进产业向高质量发展、建设制造强大国家的主要手段,是面对百年来从未有过的大变局和全球产业链供应链大动荡大整合的正确选择,也是全面开启建设社会主义现代化国家新的开始新的征程,迅速构建国内大循环和国内国际双循环相辅相成的新发展格局的重要要求。要充分认识产业链供应链自主可控和现代化发展对于国家促进现代化建设和构建新发展格局至
期刊
随着社交平台的不断发展,越来越多的社交推荐方法被提出用于缓解推荐系统的数据稀疏性问题,提高产品推荐性能,满足用户更高的个性化需求。然而,大多数社交推荐基于以下约束:用户必须是在有历史产品交互记录的基础上,同时具有社交关系,这样才能学习用户潜在的兴趣偏好。而在真实场景中,绝大多数用户往往只具备社交关系而无历史产品交互记录。因此,解决这类社交冷启动用户的个性化推荐问题,可以很大程度上提升用户体验,增加
学位