深度模型压缩技术的研究与应用

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:naonao6521
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度神经网络在计算机视觉以及自然语言处理等任务上不断刷新已有最好性能,成为最受关注的研究方向。然而深度模型的参数量巨大,存储成本和计算成本过高等原因却严重限制了其在嵌入式设备和移动设备上的部署和应用。本文从模型压缩的角度出发,将深度神经网络的裁剪和优化任务分为两部分:1)针对单个卷积层的模型裁剪技术;2)探究模型各层压缩组合的最优效果以及自动化。在此研究的基础上,本文设计并实现了一个具有普适性的模型压缩工具,便于更多的深度学习用户可以快速的对模型进行优化部署。首先针对单个卷积层的剪枝策略,本文将首次从权重贡献的角度出发对权重粒度、kernel粒度和通道粒度下的压缩算法进行原理解释,并据此分析当前针对滤波器粒度剪枝所提出算法的不合理性。为此本文提出了两种新型的滤波器剪枝策略。从滤波器提取的特征空间完备性出发,使用滤波器间正交性作为剪枝标准;从不同滤波器输出特征图的信息丰富度出发,使用特征秩作为滤波器的剪枝标准。其次,针对模型各层剪枝比例的组合问题,本文则提出结合强化学习实现模型整体的自动化压缩。具体地,将模型各层的结构属性、剪枝比例和最终的压缩性能分别映射为强化学习算法中的状态、动作和奖赏,并且针对剪枝比例取值范围的连续性,提出了基于RNN控制器和DDPG两种自动化压缩算法。接下来,本文设计并实现了Pliers模型压缩工具,该工具集成了上述提出的不同的剪枝粒度和自动化压缩算法,用户仅需通过前端界面进行数据集和模型的上传和管理,然后通过配置界面设置训练超参数和启动模型压缩引擎。压缩工具会依照配置中的参数信息对模型进行自动化压缩,并将最终的压缩性能对比结果以报表的形式呈现给用户,方便用户进行下载使用。最后,本文对提出的算法和压缩工具分别进行实验验证和系统测试。在算法验证环节,通过对CIFAR-10数据集训练的Vgg16模型进行不同粒度的剪枝对比和自动化压缩实验,最终可以实现模型的参数量减少85%,计算量减少80%,推理延迟的两倍加速,并且模型的精度损失均在1.5%以内。在系统测试环节,首先介绍了压缩工具的部署环境,接着对配置模块、数据管理模块和任务管理模块进行了功能测试,验证了系统的可用性。
其他文献
新能源汽车电池输出的直流电通过IGBT进行逆变,将直流电转换为交流电驱动马达工作,每颗IGBT均需搭配一颗快恢复二极管用作续流。通过本文研究,要设计一款可以替代进口快恢复
学位
在机械中旋转机械最为常见且其在工业中的地位也非常显著,因其通常在恶劣的工作环境下并且长期运作,易损坏发生故障的概率极大,意外的故障会对工作人员的安全及经济的生产都
地理标志不仅是一个农产品的特色标识,并且是知识产权这棵大树上的一个重要树干。河南省著名优质农产品众多,有着丰饶的地理标志资源,占据着施行地理标志农产品发展的优质基础。但就目前河南省地理标志农产品的发展进程来说,地理标志数量偏低,与其农业地位并不相符。不论是在地理标志项目的开拓方面,还是在农产品当下的市场份额和经营范畴等方面。于此同时,地理标志农产品的消费者、生产者和经营者对地理标志方面还不甚了解,
以太网技术历经几十年的发展,以其高带宽、低成本、高集成度等优点,已成为一种民用环境中成熟稳定,不可替代的通信技术。随着工业以太网、车载以太网、时间触发以太网等概念的出现和发展,以太网技术的应用场景不断拓展,对以太网数据传输的实时性与可靠性也提出了更高要求。作为提供网络数据交互服务的核心设备,在航空航天、工业控制、汽车驾驶等特定领域,传统以太网交换设备提供的尽力投递服务显然无法满足需求,因此,对兼顾
随着改革的不断深入,各行各业都进入改革攻坚期。无论企业规模大小,在改革的大环境下都承担着各自的任务和使命。为适应新时代发展,企业必须不断根据内外部环境调整经营战略,合理规划企业的战略发展方向。对企业而言,人力资源是最重要、最活跃且唯一有创造力的资源,是企业在制定发展战略时必须考虑的首要因素。与国有企业相比,民营企业、中小企业管理相对灵活,但员工绩效考核制度不成熟、不完善,机制不健全的现象比较普遍。
2015年,两会提出“双创”理念后,“双创”的浪潮在中国大地上如火如荼,黑龙江省开展了两轮科技型企业三年行动计划,哈尔滨市承担全省大约三分之二的各项指标任务,随之,哈尔滨
光学成像技术是光学领域一个非常具有前景的方向,该技术已广泛应用于医疗诊断,遥感遥测,虚拟现实等场景中。随着生物医学成像,尤其是医用内窥镜的发展,面向高分辨率,低成本的超精细内窥镜成像成为了研究热点。多模光纤因其芯径小,内部传输模式丰富,信息吞吐量大,被认为是解决超精细内窥镜成像的理想传像媒介。由于多模光纤自身特殊的光学特性,导致原始图像经多模光纤传输后会形成高度随机化的散斑图案。如何由散斑图案恢复
房地产作为最受关注的行业之一,也是促进我国经济发展的重要因素之一,自2016年起,房地产企业正式迎来“营改增”时代。在房地产企业的产业链上涉及多个方面的业务,因此在交税时难免会出现重复或者遗漏税款的情况,而这次的改革主要目的是为了使税收方面的链条拼接起来,尤其针对抵扣项目上的缺失,使得整个增值税链条更加透明和完整,链与链之间紧密却又分明。同时盈利能力又是体现房地产企业综合能力水平的要素之一,通过“
煤炭生物转化是一种清洁的煤炭利用技术,具有反应条件温和,能耗低,环境友好的优点。从研究至今的四十多年里,煤炭生物转化技术得到了蓬勃的发展,但是却仍然存在一些问题,其中最为关键的是煤炭生物转化效率低。本文尝试利用基因工程技术对真菌进行改造以提高转化效率,为煤炭生物转化的工程应用提供技术参考。主要研究结果如下:(1)研究对象为实验室保存的一株煤炭降解真菌AH,ITS基因鉴定该菌为哈茨木霉菌(Trich