卷积神经网络模型轻量化研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:lurnay
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在计算机视觉领域,卷积神经网络算法模型相比于传统算法,精度有着大幅度的提升。然而基于卷积神经网络的相关算法高度依赖于高性能服务器、GPU等硬件,过大的计算量及参数量限制了卷积神经网络在内存与计算资源受限的移动及嵌入式设备上的应用。为解决卷积神经网络模型的参数量及计算量过大的问题,本文开展以下研究工作。本文通过对目前主流的卷积神经网络的结构特点分析发现,在大尺寸卷积核前面应用1×1逐点卷积层进行维度缩减以及使用分组卷积是对许多大模型减少计算量及参数量的方式,随着研究工作的进展,大尺寸卷积核的使用逐渐被摈弃,1×1卷积核和3×3卷积核的卷积层组合成为了最常见的卷积层堆叠模块。由于1×1逐点卷积层所占的计算量比例较高,为进一步减少模型的参数量以及计算量,针对逐点卷积层,本章提出了组间特征融合策略对常见卷积层基本模块做出改进。在DenseNet与ResNet这两个经典的模型上实验得到的结果表明了,在原始模型进行了分组卷积操作的基础上应用该策略,在不影响逐点卷积层输出的特征通道的数量的情况下,能减少原始逐点卷积层12)(2)是分组组数)的卷积核个数,同时也不影响模型的识别准确率。此外,本文针对DenseNet这种特征连接密集型的卷积神经网络模型提出了一种基于特征通道权重的剪枝算法。通过在算法模型的卷积层之后添加一个特征权重调整层,用以在模型训练的时候自动学习每一个特征通道的权重大小。在剪枝阶段,将权重过低的卷积核剪去,留下权重高的特征。实验结果表明,该剪枝算法可以在剪掉DenseNet模型25%左右的连接数的情况下,几乎不影响模型的精度。使用本文提出的两个策略进行轻量化后的DenseNet模型参数量只有0.4M,计算量为55MFLOPs,在Cifar10数据集上,测试识别率相比原始模型损失不到1%,参数量及计算量比ShuffleNet、MobileNet等模型更小、分类准确率更高。
其他文献
<正> 我县汪家坟公社八里七队社员张少忱,有40年孵化鸡雏经验,去年他改制了恒温孵化器,孵出鸡雏4,800只,收入1,500元。他制作的孵化器具有制作简单、经济实用、成本低、孵化
本文提出一种基于Hopficld模型对电力系统的无功优化控制的方法,文中分析了其运行机制,求解系统无功最佳补偿容量。经过对IEEE—6节点,IEEE-30节点的测试,取得了满意的结果。
德彪西的音乐宛如一幅幅美丽的写意画卷,彰显出独特的美。其音乐借鉴莫奈绘画写意的精髓,不仅借鉴莫奈印象主义绘画写意的艺术表现思想,且对莫奈印象主义绘画写意的艺术表现手法
目的:探讨尾部藏毛窦的临床特点、诊断与治疗。方法:回顾性分析183例尾部藏毛窦患者的临床资料。结果:尾部藏毛窦临床表现主要为骶尾部反复肿胀疼痛,盆腔或骶尾部X片、窦道造
针对岩土体边坡和岩体边坡2种主要形式,将抗滑桩分别嵌入岩土混合体和岩体中,分别进行了3根抗滑桩实体原位水平推力试验,通过岩土混合体和岩体的水平位移、应力测量,研究抗滑
随着资源节约型、环境友好型社会创建的推进,秸秆综合利用问题已经受到各级政府和社会各界的广泛关注。本文以南方稻草为研究对象,浅析了其综合利用存在的问题,并提出了加强
虽然目前在语音识别、自动驾驶等专用人工智能技术上,已经取得了突破性进展,但是通过人工智能的研究,并将诸多应用服务到人们的工作生活中,其实依然任重道远。2016年里,在人
相对于城市,农村突发事件集中在自然灾难方面。近几年,农村自然灾难事件由于其人为性,频频在网络上引发舆情。引导积极舆情,排解负面舆情,稳定农村秩序,发展农村经济,把握农
目的1.描述云南省文山州HIV阳性者抗病毒治疗(Antiretroviral Therapy,ART)脱失情况;2.分析云南省文山州HIV阳性者治疗脱失的影响因素。方法第一部分:选择文山州2012—2015年
中国部分性别比异常的少数民族的年龄别性别比问题赵锦辉,付棋伟,马亚娜性别比是人口中男性人数与女性人数之比。人口性别比的高低直接影响结婚率和妇女生育率,它与经济发展和就