基于剪枝的深度神经网络压缩研究

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:xilotola
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度神经网络逐渐成为学术界和工业界共同的研究热点,它能通过深层的网络结构和海量的训练参数进行特征提取。但是也正因为网络层数过深和训练参数过冗余,导致了深度神经网络中模型尺寸大、运行速度慢这两大主要问题,这也是深度学习技术难以推广到移动设备和实时应用中的重要原因之一。为此,本文提出两种基于剪枝的深度神经网络压缩算法,分别用于解决网络的模型压缩和运行加速的问题。为了解决模型压缩问题,本文提出了基于交叉熵剪枝的深度神经网络压缩算法。该算法计算出每条边的交叉熵相关系数,所有具有小于组阈值相关系数的边将被剪枝。交叉熵和分组策略有效增了网络的泛化能力并加速了再训练过程中的收敛。在此之后,本文还探索了“保留部分本应被剪枝的边”这一方法的可行性。在三种不同神经网络上的实验结果表明,本文提出的基于交叉熵剪枝的深度神经网络压缩算法相比于其他方法具有更高的压缩率和较好的预测精度,即使在难以压缩的小型神经网络上仍然具有较好的鲁棒性。为了解决运行加速问题,本文提出了可变正则化稀疏组剪枝网络压缩算法。该算法在传统Group LASSO的基础上增加了稀疏分组策略,对于不同的权重组根据其重要程度设置可变的惩罚系数。这样能有效学习大型深度神经网络中的复杂稀疏结构,同时正则化的网络模型不仅能在卷积层的计算中数倍加速,还能有效减少过拟合现象的发生。对于算法的对比和评估的实验在三个数据集上实施。对比结果表明,可变正则化稀疏组剪枝算法收敛得更快,另外在相同加速比下,预测准确率要优于其余对比算法。整体来说,本文提出的两种算法在各个指标上表现较为稳定,都能在目标领域满足应用需要,具有较高的应用和研究价值。
其他文献
“道”是中国古典美学的元范畴,其中蕴含着丰富的生态美学智慧。在生态问题日益严重的今天,研究“道”范畴中的生态美学思想是适应了多方面的需要。“道”范畴中的生态美学思
采用Fenton试剂处理酸性玫瑰红B染料废水,考察了FeSO4投加量、H2O2投加量、pH值和反应时间对处理效果的影响,研究了原水的氧化还原电位和TOC的变化规律,评价了它的可生化性.
由邻避设施引发的群体性事件正成为影响我国社会稳定的一项重要因素。总结"四川什邡"、"江苏启东"、"宁波镇海"等群体性事件的经验教训,预防和减少邻避型群体性事件必须树立
利用光能消除有害染料是绿化环境的可行性举措,BiVO4凭借其独一无二的电子层构造,引起研发人员高度重视。光能除害过程中,消除染料速率的影响力主要包括光能利用,电荷迁移,电
低渗透油藏储层物性差,非均质性强,常规连续注水方法注水效果差,难以建立有效的驱动体系。为更好补充该地区的地层能量,进一步提高难采储量的动用程度,利用油藏数值模拟方法,
为建立原发性骨质疏松症维吾尔医异常体液病证量化诊断标准,以非疾病诊断临床相关信息为依据,对诊断明确的248例原发性骨质疏松症患者进行量化诊断入选项专家咨询研究。入选
<正>5月27日,X8422次列车载着41个集装箱的电子产品、鞋服、光缆、五金等货物,缓缓驶出长沙霞凝铁路货场,将于12天后到达匈牙利布达佩斯。这也是长沙始发的中欧班列首次直达
目的探讨双套管在腹壁巨大切口疝修补术中的临床应用价值。方法回顾分析2010年4月至2014年1月收治的13例腹壁巨大切口疝的临床资料。其中单纯腹壁巨大切口疝10例,腹壁巨大切
目的探讨脉搏指示连续心输出量监测(PiCCO)技术在脓毒性休克患者治疗中的应用。方法将50例脓毒性休克患者按随机数字表法分为常规监测组(C组)和PiCCO监测组(P组),每组25例。C
目的总结分析手术室细节护理对老年患者腹腔镜手术的应用效果。方法按随机数字表法将118例腹腔镜手术患者分为2组。试验组(61例)老年腹腔镜手术患者,在实行常规手术护理时加