基于网络生长方法的模型压缩与加速方法研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:WZY86512
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度学习在计算机视觉、自然语言处理等领域成为研究热点,深度模型尽管性能强大,然而由于参数数量庞大、存储和计算代价高,依然难以部署在资源受限的硬件平台上。传统的模型压缩和加速算法有网络剪枝、网络精馏、量化与二值化等,但是,现有的方法难以对结构复杂的模型进行压缩,并且在高压缩比的情况下性能下降严重。为了达到模型压缩、加速与模型性能的相对平衡,本文首先沿用网络精馏方法,通过教师网络来训练学生网络,并在此基础上进行延伸,维护一个学生网络种群,通过遗传算法,使得学生网络种群从基础网络开始不断进行变异和进化操作;通过改变遗传算法中的Fitness函数,使得进化的网络达到准确率和模型大小的平衡,最终达到网络压缩的目的。接着,本文探讨了网络二值化方法,通过用位运算代替传统的卷积乘法对网络进行加速,同时为了避免二值化带来的性能下降,本文提出了多组二值化权重拟合的网络生长方法,在保证性能的同时进一步对网络进行压缩和加速。本文提出了基于遗传算法和二值化的网络生长方法,相比传统的网络精馏和二值化等方法,能够在模型压缩、加速比和性能上取得相对平衡。实验结果表明,该方法能够在维持网络性能的前提下,有效对网络进行压缩和加速,效果显著。
其他文献
目的探讨房颤相关急性脑梗死首选机械取栓或动脉溶栓的疗效。方法发病6 h内急性脑梗死患者共51例,分为房颤组(n=17)和非房颤组(n=34)。房颤组:有房颤证据并骤然起病的急性脑
笔者以深圳股票交易所94家上市公司2010—2014年的数据为样本,利用动态面板SGMM模型,考察股权结构对企业技术创新能力的影响。研究发现:国有产权与企业技术创新能力呈显著的
目前我国经济水平和规模不断扩大,推动了电力行业的快速发展,同时也满足了人们日益增长的用电需求。在电力供应中,变压器是整个系统最为关键的设备,变压器的安装质量是否合格
针对现有模型压缩与加速方案难以兼顾压缩和速度的不足,设计了一种结合卷积核剪枝和DSD训练方法的新方案。将卷积核剪枝策略融入DSD训练方法,结合卷积核剪枝加速模型运行和DS
2015年1月出台的《外国投资法(草案)》从立法体例入手,拟实现外国投资的统一适用以及基础性制度的统一整合,草案积极大胆地引入"负面清单"模式,致力于创制一份精准、明确、透
<正> 十一、关于学科基础理论的讨论学科基础理论,是一门学科的灵魂。只有基础理论建设得好,学科才能建立一个逻辑严密、结构合理、内容翔实、关系协调的科学体系,从而在学科
"几何直观"是《数学课程标准(2011年版)》新增加的核心概念之一。在教学中,应用几何直观为学生创设丰富的体验活动、给学生提供有思维价值的感性学习材料,引导学生在直观中思
随着我国经济的迅速发展,高速公路的建设逐渐加快。在筑路过程中,为了保证行车转向的安全和平稳,通常采用各种曲线形式。而卵型曲线就是其中常用的一种。而涉及到卵型曲线的
水电站的设备运行中,其安全性和稳定性主要和设备维护、保养密切相关,其中水电站的运行情况,与人民群众、国家社会财产安全存在直接联系,因此,为了保证水电站可以安全运行,需
噪声污染已经成为与空气污染和水污染并列的世界三大主要污染之一,对人体和环境的危害已经受到世界各国和相关组织日益广泛的关注。本文通过对漓江航区船舶噪声污染现状的探