循环神经网络模型压缩与加速

来源 :浙江大学 | 被引量 : 0次 | 上传用户:babyface_2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
循环神经网络及其变体长短时记忆网络等,具备处理时间顺序数据的功能,大大提高了语音识别、自然语言处理和机器翻译等工作的准确性。但是,循环神经网络参数量庞大,推理存在顺序依赖性。而边缘设备具有有限的计算资源和存储空间,很难处理大型神经网络。同时,对于拥有大规模并发请求的服务器上的应用程序,实际使用时的推理时延对于节约计算资源也是十分重要的。边缘设备存储、快速离线应用循环神经网络模型仍然存在非常大的难度。模型压缩是一种探索模型关键结构的技术,能有效减小模型规模、提升推理速度,是在边缘设备上有效利用神经网络模型的重要技术。对于卷积神经网络模型的压缩已经有了很多成果,但对于循环神经网络模型的压缩与提速的探索还刚起步。在循环神经网络模型压缩现有的少量方法中,剪枝时都只考虑了模型单循环层内权重权值重要程度,这样剪枝存在几个问题:首先,现有的循环神经网络模型剪枝规则都只考虑了循环层内权重的相对重要程度,没有在整个网络内衡量参数的冗余。其次,在衡量参数重要性时,都只考虑了权重权值的规则,忽略了循环单元的相似性,没有消除循环单元间的冗余。针对以上问题,本论文中提出了基于L2范数与相似性相结合的剪枝方法来对循环神经网络模型进行压缩加速,该方法计算循环神经网络每层权重权值重要性特征,进行归一化,在整个网络中衡量权重重要性,同时本方法考虑了循环单元间相似性,进一步消除了循环单元间的冗余。此外,现有的剪枝方法都是针对已有权重根据重要性规则进行修剪。目前最新研究的一些实验表明,子网络的有效性体现在结构上而非预训练权重上。根据这个研究,我们提出了基于最优初始化结构探索的循环神经网络模型压缩方法,压缩时只考虑子网络结构,摆脱了对预训练模型权重的依赖。与本领域已有的方法相比,本论文中提出了全新的压缩规则,考虑了全局与循环单元间冗余,也启发性地探索了循环神经网络最优初始化结构,摆脱了剪枝对权重的依赖。文中对提出的方法在实验中进行了论证,取得了不错的成效。
其他文献
近年来,在我国政府实施“走出去”、“一带一路”等政策的推动下,我国企业加快了国际化经营步伐,越来越多的中国企业走出国门参与全球竞争,特别是国内许多从贴牌代加工向自有
近年来,由于能源短缺和环境污染等方面的问题,新能源的开发利用成为人们关注的焦点,半导体光电化学技术将太阳能直接转换为电能,被认为是最具有应用前景的技术之一。在半导体光电极材料中,TiO2依然占据了最重要的地位。然而TiO2的两大固有缺陷限制了其在光电化学领域的持续发展:一是较宽的带隙,二是较高的电子空穴复合率。TiO2纳米棒阵列因其具有有序的物理结构和较大的比表面积,能有效地提高载流子传输能力,从
深度卷积神经网络在广泛的应用中都达到了最先进的性能。但是,复杂的人工智能任务通常需要更复杂的更深的卷积神经网络模型,这些模型包含庞大的参数量和运算量。尽管最近的研
随着科技的飞速发展,大数据与人工智能技术已经成为新一轮产业变革的核心力量。而推动大数据和人工智能的发展需要依靠人才的支撑,人才的质量和数量决定着大数据和人工智能发
叶菜类蔬菜作为居民餐桌上的重要消费品,容易富集重金属污染物,有较高的安全隐患,为了降低叶菜类蔬菜重金属污染风险,提高叶菜类蔬菜的安全水平,为公众的食品安全保驾护航。本文以上海青为研究对象,探索降低叶类蔬菜中重金属污染物积累的途径。水培模式作为一种较为便捷且能够有效控制其中组分的培养模式,可以减少环境中的干扰因素,保证研究过程中金属阳离子含量及配比。正交试验设计是一种高效、快速而经济的多因素试验设计
随着社会的发展,人们越来关注健康这个话题,适量的运动和良好的睡眠可以让人们保持健康。人体运动状态、运动卡路里消耗、运动姿态识别和睡眠监测是当前研究的热点,而微型传
随着汽车产业的持续发展,增压器的需求与日俱增,生产过程中的铸造缺陷检测也愈发重要。然而目前大多数厂商仍采用人工检测的方式对缺陷进行识别和标记。这种方法不仅效率低,
聚氯乙烯(Polyvinyl Chloride,PVC)生产过程,是一个大规模的工业过程,而且具有非常复杂的化学反应。基于生产过程控制层面考虑,主要具有以下几种特征,其中包括变量之间的强耦
国民用电量随着经济的发展迅速增加,母线作为大电流传输的载体得到越来越广泛的应用。弯曲作为母线使用过程中不可避免的一道工序,对母线成形质量具有重要影响。目前关于母线弯曲成形的研究主要集中在平弯,对于立弯的研究相对较少,我国在母线立弯成形方面,面临的主要问题是成形过程中母线存在翘曲变形,严重影响了母线的正常安装,同时会降低其导电性能以及使用寿命。因此,对母线立弯成形过程中的翘曲变形进行深入研究是非常有
近年来,为满足广大出口商出口测试和认证的需求,CNAS认可的第三方检测校准实验室为国家各级实验室分担了不少压力。传统的实验室信息管理方式以人工操作、纸质纪录为主,容易