基于剪枝的卷积神经网络压缩算法的研究和应用

来源 :厦门理工学院 | 被引量 : 0次 | 上传用户:qt393761474
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度学习技术发展迅速,其中以卷积神经网络(CNN)为代表的深度学习网络在各个领域都得到了广泛的应用。但是由于其参数量过大,占用内存高且计算负担沉重,很难直接应用于计算资源有限的硬件平台上,这为深度学习在终端领域的应用普及带来了重大挑战。为了进一步提高深度学习网络的实用性,研究人员尝试将深度学习网络压缩到嵌入式平台中。其中卷积核剪枝方法旨在通过评估和删除整个冗余卷积核,将剪枝后的紧凑模型与硬件平台兼容,因此被广泛用于卷积神经网络的压缩与加速。值得一提的是,软剪枝(SFP)方法由于直接将需要剪枝的卷积核权重值设置为零从而避免破坏网络结构受到了越来越多的关注。为了能更好地提升卷积神经网络的性能,本文基于软剪枝的思想对模型压缩方法进行研究,论文主要工作为:(1)提出了一种平滑软剪枝方法。该方法在训练过程中通过权重逐渐衰减策略,迫使L2范数值较小的卷积核的权重逐渐衰减为零,给予网络更多的机会适应其结构的变化,从而在一定程度上保留卷积核的预训练信息。该方法不同于传统软剪枝方法直接将卷积核权重置零,易导致网络参数发生较大变化进而影响预训练网络先验知识继承造成信息丢失。通过在多个数据集上使用该方法对不同深度的网络进行实验,均取得了较好性能。具体而言,在KSDD数据集上对Res Net-20的剪枝率为60%时,本文方法相比传统软剪枝方法提升了1.92%的准确率,实现了较好的模型压缩效果。(2)提出了一种结合聚类和平滑软剪枝的混合剪枝方法。由于平滑软剪枝方法只对网络模型中L2范数值较小的卷积核进行剪枝,没有考虑到卷积核间的相似性,而这些冗余特征也会影响卷积神经网络的性能。因此本文在平滑软剪枝方法的基础上引入了聚类算法,进一步去除网络中的冗余卷积核。其中,在CIFAR-10数据集上,混合剪枝方法将Res Net-56减少了58.2%的FLOPs,且相比平滑软剪枝方法提升了0.16%的准确率。通过实验验证,该混合剪枝方法比平滑软剪枝方法在提高被压缩模型的性能方面更有优势。(3)设计并实现了一个基于剪枝加速算法的缺陷检测应用系统。结合本文提出的混合剪枝算法,通过使用Py Qt5工具包实现了一个用于检测金属表面缺陷的应用系统。该系统主要包括数据预处理、模型训练和剪枝及检测识别等功能,并借助训练得到的压缩模型来实现快速检测识别。通过多次测试,该系统使用本文剪枝算法训练得到的压缩模型在完成检测功能的前提下,比未压缩的原始模型消耗的检测时间更少,体现了本文网络压缩算法的可行性以及在工业中的应用价值。
其他文献
随着近几年GIS设备的广泛投用,其在运行中发生故障的情况越来越多,笔者应用便携式色谱仪及SF6分解气体快速测试仪对现场SF6气体分解物进行了测试,例举了几起500 kV变电站GIS设备故障状态下的SF6气体色谱分析图和SF6气体分解物组分含量数据表,结合实例初步探讨了GIS设备几种不同故障类型与SF6气体分解物之间的关系,为准确诊断GIS设备运行状态提供了宝贵经验,该工作还需今后进一步论证与实践检
本论文主要从方案设计、结构优化和生产工艺控制等方面研究和谈论高速背板连接器传输链路中插入损耗指标的影响因素控制方法和控制方法。
随着星座系统整体规模的不断增大,其服务能力逐步从传统的移动通信服务向宽带互联服务拓展,从而对星座系统的运维与资源管控提出了新的要求。首先分析星座规模、资源动态性、资源故障等因素对巨型星座系统面向性能管理的网络运维与资源管控带来的挑战,从业务预测、资源感知与维护及动态资源切片方面探讨面向巨型星座系统的网络运维与资源管控关键技术,并提出智能的网络管控架构来实现巨型星座系统的轻量级运维与资源管控,为天地
文中结合硝酸库1060铝管工艺管道焊接施工,重点介绍1060铝管焊接质量的具体控制措施,通过细化1060铝管的焊接工艺措施,从焊前、焊中、焊后等多个方面进行全过程焊接质量控制,以减少焊接缺陷的产生,提高1060铝管的焊接质量。
以农村居民人均收入、疾病发病率、意外发生率、人均住院费用、农村基本医疗保险参保率等现有统计数据进行综合分析,研究了在现有医院体制下带来的住院押金负担对农村居民返贫的影响,结果表明住院押金已成为返贫的原因之一。文章提出可由各地医保局建立住院押金垫付基金,借助商业保险的履约保证保险产品为垫付基金兜底,实行“居民统购+政府补贴+结余充实”的运营模式,并通过线上化投保快速普及广大农村居民。
<正>患儿女,6个月,因“左膝关节外翻畸形5个月”入院。出生后42 d新生儿筛查时发现左侧膝关节外翻,单侧发病,未伴其他畸形,无家族发病史;我院髋关节超声检查提示左侧发育性髋关节发育不良(Ⅱb型);于我院骨科行闭合复位、人字位石膏管型固定保守治疗,左侧髋关节α角逐渐恢复正常,治疗后2个月和3个月时复查膝关节X线检查均提示阴性。患儿6个月复查时发现患侧肢体较右侧明显缩短,膝关节外翻畸形未见好转。X线
期刊
<正>管道是当今世界第五大运输方式,是石油天然气能源输送的主动脉。近年来我国油气管网规模不断扩大,管道的建设施工及管理水平得到大幅度提升。目前,我国油气管网总长度已超过17万km,规模世界第三。根据《中长期油气管网规划》,
期刊
我国这几年经济水平有了一个明显的增长,对于各项资源的需求也越来越高。其中油气资源占据主体,油气管道是油气运输的主要介质,对于油气资源的稳定供应有着重要作用,所以确保油气管道完整性是非常有必要的。油气管道焊接对于管道完整性有着一定影响,焊接不到位,很容易出现各种各样的外观缺陷,从而影响管道运行质量。为了油气管道更为稳定的运行,本文就对油气管道焊接常见缺陷和预防措施等相关内容进行了详细概述。
最近,基于Transformer的模型表现出很好的性能。但是由于它所需要的巨大的存储、计算以及资源消耗,使其无法很有效地部署在嵌入式设备上。FPGA因其能量效率高、开发周期快、可重构等优点被广泛应用于加速深度学习算法。然而,FPGA具有非常有限的片上内存,这给模型的部署带来了很大的挑战。此外,各种类型的FPGA硬件设备逐渐涌现。对于具有不同约束要求的Transformer模型,可以将其部署到具有不
目前,我国机械制造及其自动化技术已被广泛应用于各行业领域的生产发展过程中,其多功能、高效率、节能省料的功能优势在满足群众生产生活的同时也为社会经济的飞速发展提供了技术支撑。机械设计制造及自动化技术的应用给现代企业带来发展机遇的同时也带来了诸多挑战,如专业人才的缺乏、科学技术研究缓慢等。基于此,文章主要探究机械设计制造及自动化技术的特征优势与应用问题,并结合我国国情与发展前景提出具有针对性的应用优化