深度神经网络的压缩实现方法研究

来源 :西安理工大学 | 被引量 : 0次 | 上传用户:liu6541
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能时代的到来,智能手机、无人机、机器人等一系列的移动端都尝试通过深度神经网络实现图像识别、物体跟踪等智能任务。在移动端上部署深度神经网络有很多的优势。但是深度神经网络通常是过参数化的,并且深度学习模型存在严重冗余,这导致了计算和存储的巨大浪费。目前大多数深度模型都由于尺寸太大而无法部署到移动端,针对这个问题,本文提出了一种深度神经网络的压缩方法。本文提出的深度神经网络的压缩方法可分为三步进行。首先通过网络修剪策略对正常训练后的深度神经网络进行修剪,这一过程将原始网络变为稀疏网络,实现了对于网络的初步压缩;然后对网络每层的权重进行K-Means++聚类,用所得的聚类中心值表示网络的原始权重值,以此实现权值共享从而减少权值的数量,再次实现深度神经网络的压缩;最后通过各层聚类来进行各层权重的量化,进行再训练更新聚类中心,量化过程减少了表示权值所用的位数从而实现了对于深度网络的最终压缩。本文在Linux操作系统下基于Caffe框架分别对LeNet网络、AlexNet网络和VGG-16网络进行了实验。本文提出的深度网络压缩方法简单有效,最终将深度神经网络整体压缩了 30到40倍,并且没有精度损失。本文还进行了修剪率、聚类方法、优化方法等各方面的详细对比实验。实验结果表明通过本文的压缩方法,深度神经网络在不损失精度的条件下实现了有效压缩,这使得深度网络在移动端的部署成为了可能。
其他文献
综述燕麦β-葡聚糖与糖尿病、血脂异常、心血管疾病、高血压、超重或肥胖、消化系统的健康、癌症、慢性肾病和肝损伤的关系的研究进展。
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
运用熵值法对2008—2017年广东省产业与生态环境发展水平进行综合测度,借助耦合协调度模型对产业与生态环境协调关系的时空演变特征进行剖析,结果表明:(1)时序演变方面,广东
锚索支护是在地下洞室围岩支护的主要类型之一,出现锚索超限的现象相对普遍。本文基于国内首个采用EPC模式的百万千瓦级水电工程--杨房沟工程,介绍了该地下洞室群的锚索负荷
近几年中,互联网行业的爆炸式发展给人们带来了极大的方便。在这种方便的同时也产生诸多影响,例如信息海洋、目标信息提取困难等。协同过滤推荐是根据用户的历史偏好信息来推
对柱花草与坚尼草2种热带牧草在旱季人工灌溉条件下进行刈割,测定其对生物量的影响.分析了两种热带牧草在人工灌溉条件下生长对生物量的影响变化,结果表明:在人工灌溉条件下生
目的:希望结合卫生执法的实践,提出一套适合北京市开展小型餐饮服务单位食品安全培训的模式。方法:北京市海淀区、顺义区抽选40户小餐饮单位作为干预组,20户小餐饮单位作为对
随着经济全球化的不断发展,越来越多的企业试图通过并购来获得重要的战略资源、迅速占领和扩大市场、实现协同效应。并购在企业家眼里已然是一种帮助企业迅速发展的催化剂。
目的调查士兵中精索静脉曲张发病的相关因素,为判定预防措施提供依据。方法对门诊体检士兵中精索静脉曲张发病情况进行统计分析。对于部分I度或亚临床精索静脉曲张患者(预防组)
该文采用SPOT不同时相的数字遥感图像,利用数字图像处理技术和地理信息系统技术,首先对数据经过常规的处理,然后在ENVI的Classifier模块对图像进行了监督分类,在充分分析塌陷