卷积神经网络的特征通道剪枝方法研究

来源 :华中师范大学 | 被引量 : 1次 | 上传用户:wushenjian
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,卷积神经网络(CNN)以其良好的性能得以在人工智能的各个领域广泛应用,如图像分类、物体检测、自然语言处理等。其优良的性能得益于其强大的表示学习能力和模型概括能力。但是,卷积神经网络中大量可训练的参数使得深度学习模型需要消耗大量的计算资源和存储资源,这限制了其在移动智能终端等资源受限设备中的部署与应用。因此,对卷积神经网络模型进行优化和压缩,以解决设备上部署的瓶颈问题,具有重要的理论意义和现实意义。针对卷积神经网络对设备性能要求高,占用存储空间大,工程落地比较困难的问题,本研究从深度模型剪枝入手对神经网络进行剪枝压缩。本研究的主要工作包括:(1)在调研现有的细粒度剪枝和结构化剪枝两种剪枝方法后,本文选择了结构化剪枝的方法作为研究对象,探索了一种新的特征通道重要性评估指标,提出了基于互信息的结构化剪枝算法。这一方法的步骤是:首先通过预训练的模型计算特征通道的互信息;再按照互信息的大小对通道进行排序,根据剪枝率直接剪裁掉互信息小的部分通道;最后对模型进行微调,得到恢复精度的模型,这种方法取得了高压缩比例,优于现有的其他通道重要性评估方法。(2)为了进一步改善现有剪枝策略使剪枝后模型精度损失过大的问题,本文研究了新的剪枝策略,提出了一种互信息引导的注意力正则化算法。在剪枝前对网络模型进行优化,提升模型精度的同时降低不重要通道的权重,达到模型在剪枝后降低剪枝损失的同时提升精度的目的。首先,根据过滤器通道的特征响应与其标签之间的互信息,评估特征通道的重要性。然后,引入了一种互信息引导的注意力正则化方法,来重新分配特征通道的权重,这样可以专注于重要通道并抑制不重要的通道。最后,采用迭代修剪和微调策略去除不重要的通道以获得压缩模型。互信息引导注意力正则化模块在剪枝前可以提高原始模型的精度,同时减小不重要通道的权重参数,降低这一部分参数在网络中的敏感度,从而降低剪枝造成的精度损失。大量实验结果表明,所提出的互信息索引在特征通道选择方面优于现有的信息熵索引方法,并且在模型优化和修剪方面均具有优异的性能。
其他文献
随着科学技术的不断发展,越来越多的用户在网上分享自己的观点。社交网站和购物网站上隐藏着大量的用户情感信息。如何从这些海量数据中挖掘出有效的信息并加以利用已成为研究的热点。文本情感分析就是对文本中深层次的情感信息进行探索和分析,通过一定的方式找到文本中的有效信息并加以利用。然而,现有的情感分析模型无法有效的提取文本深层次的情感信息,并且缺乏提取文本内重要信息的能力,为了进一步提高情感分析的水平,针对
学位
“一带一路”是“丝绸之路经济带”和“21世纪海上丝绸之路”的简称,以政策沟通、设施联通、贸易畅通、资金融通、民心相通为主要内容加强沿线国家之间合作。语言互通是实现“一带一路”互联互通的重要方面。加强语言能力研究,提升语言能力是“一带一路”建设中非常重要、紧迫的研究任务。但是在目前的高新技术词语推广方面,如:支付宝、清洁能源的光伏发电、北斗卫星导航等特色的词语,教师很难用语言将每个知识点都解释的非常
学位
党的十九大报告中明确指出,要深刻挖掘中华优秀传统文化,并结合时代要求继承创新,让中华文化展现出永久魅力和时代风采。荆楚文化被认为是华夏民族文化的一个重要组成部分,在我国古代文明的发展历程中具有举足轻重的地位,是湖北的“中国形象”和“世界名片”,是传播“一带一路”中华文化的重要组成部分。在荆楚文化中,尤以中华历史楚国文物漆器作为代表,其造型之精美、纹饰之绚丽,可谓漆器史上的一次飞跃,尤其是其表面装饰
学位
情感在人类交往过程中有着不可替代的作用,面部表情是人表达情感最直接最常用的方式。面部表情分析是人脸识别技术中不可或缺的重要研究内容,研究的是如何高效准确地捕捉和分析面部表情及其传递的信息。面部表情分析使用表情的类别和强度两个属性全面地分析人的情绪状态,在新型人机情感交互等领域有着巨大的研究价值和广阔的应用前景。在目前的面部表情分析研究中,大量工作主要集中在识别面部表情类别,而很少有对表情强度的研究
学位
DDoS攻击是一种比较常见的网络攻击方式,其技术原理并不复杂,但是造成的危害非常大。因此,实现DDoS攻击的精确检测并采取有效的防范措施是非常重要的步骤。然而,现有的研究工作仍然存在不足,主要体现在主流研究工作采用有监督学习算法来进行DDoS攻击检测,这对新形式的DDoS攻击的检测效果并不理想。针对上述不足,本文研究了无监督学习算法在DDoS攻击检测中的应用,旨在提高DDoS攻击检测的准确率。本文
学位
头部姿态估计是计算机视觉的热点研究方向之一,并在人机交互、学习者行为分析等领域有着广泛的应用。虽然已经很多方法在实验数据集上报告了良好的结果,然而这些方法在实际应用时性能却急剧下降。究其原因:大部分头部姿态估计算法采用有监督学习方式训练,对数据集的头部姿态客观标注过于依赖;然而,由于标注困难,现有数据集的头部姿态标注存在较大误差。为规避头部姿态估计方法对数据集标注的依赖,本文研究了人脸三维重建和基
学位
近年来,随着人工智能理论和技术的快速发展,机器阅读理解任务引起各界广泛的关注。机器阅读理解,是利用计算机进行算法建模,要求机器具有像人类一样的阅读能力,可以通过阅读浏览文本、分析语义、逻辑推理来进行问题的回答,该任务可以衡量机器对自然语言的理解程度,有着重要的研究意义和应用价值。目前,大多数传统的机器阅读理解模型都采用了端到端的“编码—交互—预测”的框架来模拟人类阅读的过程,并在一些公开数据集上取
学位
大数据时代,人工智能技术获得了飞速发展,人机对话作为人工智能中的一个重要组成部分,有望成为物联网时代主要的人机交互方式之一。对话生成是人机对话的一个关键环节,它能够根据对话内容产生机器应答,并将该应答转换为自然语言反馈给用户。对话生成的质量直接影响用户的使用体验,很大程度上反映了人机对话系统的智能化程度。当前对话生成的研究主要是基于序列到序列模型,该模型能从海量的对话语料中自动学习对话的语义信息并
学位
随着互联网的普及,再加上政府出台的各种政策的引导以及大量资本涌入教育行业,在线教育渐渐兴起。但是传统的在线学习平台由于当时技术的局限性,采用单体式架构进行开发,存在灵活性较低、可拓展性和稳定性较差等问题,不能够很好地满足不断增长的业务规模和用户需求。而且传统的排序推荐算法,也存在小样本可信度问题和马太效应。为了解决上述问题,本文设计并实现了一种基于Spring Cloud和课程特征属性的在线学习推
学位
城镇化是指人口从农村转移到城镇地区,使城镇得以发展的过程,我国城镇化过程中出现了一系列复杂问题。国家新型城镇化规划(2014—2020年)指出,要建立生态文明的新型城镇,城镇体系的建立规划、合理的空间格局和数量结构至关重要,应重视城镇规划在城镇化过程中的引导作用。城镇空间交互作用能够揭示城镇区域间的相互依存关系,有助于更好地理解城镇空间结构、科学地优化城镇布局和形态,对基于生态文明的新型城镇化具有
学位