卷积神经网络模型压缩的算法优化研究

来源 :河北经贸大学 | 被引量 : 2次 | 上传用户:skybey
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着卷积神经网络规模的不断增加,网络结构也越来越复杂,网络中冗余参数也越来越多,使得其难以在资源有限的设备上进行应用部署。因此,如何保证卷积神经网络精度的下降在允许范围内,通过对卷积神经网络模型进行压缩处理,得到一个稀疏的网络结构,并且减少计算量和所需内存,是一个具有重要意义的研究问题。本文主要针对卷积神经网络模型压缩的算法进行优化研究,具体工作如下:1.提出了一种基于最佳阈值的双重剪枝算法网络剪枝是一种通过删除模型中大量的冗余参数来对卷积神经网络模型进行压缩的技术。为了解决现有网络剪枝方法中用于控制稀疏率的阈值和判断节点的重要程度方面的不足,本文提出了一种基于最佳阈值的双重剪枝算法,该算法将节点的灵敏度和相关度作为重要程度的判断依据,并且利用贪心算法自动选择可以均衡最大稀疏率和最小误差的最佳剪枝阈值对网络进行剪枝,以此来达到模型压缩的目的。通过实验证明,该算法可以有效的降低网络参数,减少运行时间。2.提出了一种基于相关性丢弃的R-Dropout正则化算法Dropout是通过在原网络结构中随机删除部分节点,防止网络模型过拟合的正则化方法。随着卷积神经网络的规模不断增加,网络中线性相关性节点会随之增多,相关节点会形成大量数据冗余,影响算法执行的效率。基于此,本文把相关性的思想融入Dropout正则化方法中,提出了R-Dropout正则化方法,通过以一定概率删除部分相关性较大的节点,有效地限制了参数的数量。实验证明算法有效地提升了训练收敛速度,与原Dropout算法对比,在相同迭代次数等前提下,算法执行效率更高。3.提出了一种基于二分K-means聚类的参数量化方法二分K-means算法的出现弥补了传统K-means算法随机选取的初始聚类中心影响较大的不足,在对初始聚类中心的选取上比较严格,使得各聚类中心点的距离较远。该算法避免了初始聚类中心会被分到一个簇上,减少了算法陷入局部最优得可能性。通过二分K-means聚类算法对神经网络每层的权值进行聚类之后,将原始权值用得到的聚类中心表示,实现权值共享,本层的多个连接权值共享同一个权值。如此,K值远小于权重数量,达到了压缩的目的,并通过实验证明了该方法的有效性。
其他文献
一看到屁颠虫M3C的样子,笔者立马就笑了,它的造型简直是当年日本动画蒙面超人在迷你音响中的现实复刻,黑色金属网眼与红色塑料机壳相结合,不正是"正义力量的化身"吗?
仿佛一夜之间,陈发树因为83亿巨额捐赠而被千夫所指。“做中国的比尔·盖茨”,还只是个说法就几被棒杀。
管理的手段多种多样.现代管理有目标管理、情感管理、质量管理、制度管理等.管理理念也丰富多彩.民主、平等、效率、自由已逐渐成为当今世界管理的价值追求.在众多管理手段与
数月前,乔布斯捧出"神器"iPad。这款革命性的产品威力无比,成功地让众多的消费者拜倒在乔布斯脚下,成为他的"笃徒"。iPhone 4同样在"万众期待"下光鲜登场,上市三周就达300万销量。
中小型制造业是一个国家在国际竞争力和综合实力方面的重要表现。制造业的可持续发展不仅对于国家的经济建设具有重要意义,也是提高生产力和人民生活水平的重要保障。自改革
听课是教学管理的必要方式和手段,但“推门听课”绝不是教学管理的法宝。“以人为本”的互动听课才能让教师在融洽、和谐的人际环境和自主、多向、愉悦地学习与交流中提升素养
品牌战略是培育上市公司核心竞争力的重要支撑,没有品牌战略,就难以形成持久的企业核心竞争力,在日益激烈的市场竞争中,核心竞争力是市场竞争的主要内容,而品牌战略是企业核心竞争
科学技术的发展、移动互联网终端的普及让我们进入到现代化信息社会,社会在取得高速发展的同时,环境问题对人类社会的生存造成巨大考验。温室气体排放过量、河流污染严重、树木滥砍滥伐等都对人类生存环境造成巨大影响,政府与社会公众对环保问题都愈加重视,但是仅仅依靠环保部门来解决环境问题是远远不够的。金融部门可以调节经济发展所需要的资源,所以要加强金融机构在环境保护方面的作用,绿色信贷在此背景之下应运而生。商业
2018年,《政府工作报告》中明确提出,环境污染防治是我国目前面临的三大攻坚战之一。因此,作为经济核心的金融应发挥其资源优化配置的作用,而我国金融业中的核心又当属银行业
新的形势和机遇下,青海省海北州不断深化对州情的再认识,着眼海北的地理特点和资源禀赋,重新审视工业发展机遇和发展环境,确立了“生态立州、农牧稳州、工业富州、科教兴州、旅游