融合权重与卷积核删减的卷积神经网络压缩

来源 :天津科技大学 | 被引量 : 0次 | 上传用户:wangyang062011
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
卷积神经网络凭借其强大的特征学习能力和特征表达能力应用领域越来越广泛,近年来已成为计算机视觉领域的研究热点。然而,复杂的深度网络模型具有参数规模大、计算需求高、占用存储空间大等问题,无法移植到嵌入式设备或移动终端以满足实际应用中的需求。因此,对卷积神经网络的压缩研究就至关重要。本文在广泛研究了现有卷积神经网络压缩方法的基础上提出了融合权重与卷积核删减的网络压缩方法,并以卷积神经网络在目标检测和图像分割两大经典应用领域中的 SSD300(Single Shot Multi-Box Detector300)网络和 FCN(Fully Convolutional Networks)网络作为研究对象,验证本文提出方法的有效性。本课题的主要研究内容涵盖以下几个方面:(1)综合分析目前主流的模型压缩方法,深入研究权重删减方法对网络模型稀疏化的特性,结合权重与卷积计算的对应关系,提出融合权重与卷积核删减的网络压缩方法。首先采用权重删减的方法确定各卷积层有效权重的稀疏度;然后针对卷积层计算量大的问题,根据各卷积层中的权重稀疏度对冗余卷积核进行删减,以减少冗余参数量和计算量。最后对删减后的神经网络进行训练恢复网络性能。(2)采用融合权重与卷积核删减的模型压缩方法对SSD300网络模型进行压缩实验。压缩后的SSD300网络模型大小为12.5MB,检测速度可高达50FPS(frames per second)。实现了在保障一定的网络检测准确率的前提下,将SSD300网络压缩了 8.4×,加速了 2×。权重删减和卷积核删减融合的方法为SSD300网络在视频检测中的智能化应用提供了可行性方案。(3)压缩用于焊缝特征提取的FCN网络模型。融合权重与卷积核删减的模型压缩方法将FCN所需存储空间从512MB减少为23.3MB,对网络模型实现22.0×的压缩。这就使网络模型更适用于片上存储器缓存,并且大大方便了 FCN网络模型在焊缝跟踪系统中的嵌入。
其他文献
随着人工智能概念的逐渐普及,人工智能的发展越来越得到人们的重视,甚至,人工智能已经列入国家重点发展产业。现在的人工智能还处于弱人工智能时代,未来将有机会突破,可以更好的帮助人类解决问题,改变人们的生活方式,进入智能化的时代,会出现智能机器人、无人驾驶等技术,人工智能将会在社会的各个领域发挥更大的作用。深度学习就是利用神经网络来表达学习的过程,神经网络的学习方法很形象地模拟了人类大脑的思维方式,表现
随着全球经济一体化发展趋势的逐步深入及医疗商业市场环境急剧变化,医疗行业内的竞争越来越激烈,为了在激烈的竞争中站稳脚跟,医疗企业必须通过设备改造提高设备的生产率、
随着经济快速发展,开放源颗粒物对大气环境的污染越发严重,逸散的大气颗粒物会引起雾霾、料堆材料浪费、危害人体健康以及制约经济的发展。减少开放源颗粒物最有效的管理策略之一是在大气颗粒物的扩散过程中设置植被屏障或者人工多孔屏障来阻滞拦截颗粒物。植被屏障能作为一种多孔介质,可将不同粒径颗粒物滞留于树冠内部,且可通过枝叶摆动调整孔隙度以适应风力变化,但植被生长受水资源、土壤质地和季节的限制。人工多孔屏障,包
随着互联网的发展,IPTV(交互式网络电视)在人们生活中的应用越来越广泛。不同于普通电视,IPTV上的用户可以与电视进行交互,用户的行为更加个性化。分析用户的行为数据并挖掘
在光电、电子、能源、机械、航空等众多工程领域,摩擦是表/界面接触的基本行为。由摩擦引起的磨损、温升、粘着和能耗等问题,对当今世界范围内的能源、环境、技术和经济层面有着巨大影响。据有关数据统计,单磨损这一项每年给人类带来的损失就达到了上千亿美元。解决好行业内普遍存在的摩擦磨损问题,对当今世界范围内的能源、环境、技术、经济都有着十分重大的意义。目前,由于种种原因,行业内解决这一问题的方法尚未取得很好的
预见控制是一种可以有效提高控制系统运行效率的控制方法,通过对获取到的参考信号或者扰动信号的充分利用来提高系统干扰抑制或者跟踪质量。对预见控制的研究已经深入到各种
地区间发展的不平衡进一步导致收入差距,劳动力在高收入驱动下持续从欠发达地区向发达地区迁移。但劳动力迁移过程中依然存在很多“歧视”问题,一些研究从家庭背景、代际影响角度探讨收入差异成因。相比于本地非迁移劳动力拥有的社会资本优势,迁移劳动力极易遭遇不公平竞争。研究劳动力迁移促进代际收入流动性的作用机制,对扭转阶层固化及缩小收入差距具有政策价值。研究方法是借鉴托达罗模型和成本-收益理论,构建扩展的劳动力
近几十年来,随着改革开放的层次不断深化,中国的资本市场也在飞速发展,股票的价格波动成为亿万股民日益关心的问题。然而日臻成熟的基本面分析技术并不能完全解释股票收益率的变化,而“股市异象”的存在,也令人深思,除却基本面分析以外,股票价格究竟还因何而变化,市场中究竟有没有一只“看不见的手”来左右股票收益率的变动,在此基础上提出的市场微观结构理论及其效应能在多大程度上解释股票收益率的变动,成为金融学者们日
在卫星的装配过程中,传统的安装手段已经不能满足工作效率以及安装精度的要求。机械臂定位精准、工作快捷,是卫星等航天器材装配的必然选择。机械臂末端的定位是其应用的关键
随着分数阶微分方程理论及应用的发展,关于分数阶最优控制问题的研究引起了广泛的关注.本文主要是利用谱方法分别对两类分数阶方程约束的最优控制问题进行了数值逼近.首先考虑如下分布阶最优控制问题:#12 S.t.#12其中-1Dtα表示α(0<α<1)阶的左Riemann-Liouville分数阶导数,y是状态变量,u是控制变量,yd和f分别表示理想状态和给定的已知函数,Uad表示控制集,γ是