深度卷积网络约束优化压缩方法研究

来源 :兰州理工大学 | 被引量 : 0次 | 上传用户:luohai8899
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据和高性能计算机的飞速发展,深度卷积网络已在智能交通、智能医疗等重要领域取得突破性进展。但为了提升网络的性能,深度卷积网络的结构复杂度和模型尺寸不断上升,这严重阻碍了深度网络在嵌入式等边缘设备的部署。因此,关于深度卷积网络模型压缩方法的研究得到广泛关注,并成为深度学习领域的重点研究内容。根据是否需要构建预训练模型,现有深度卷积网络模型压缩框架可划分为有预训练模型与无预训练模型的压缩框架。其中,张量分解等低秩近似方法可应用于两种框架以去除网络冗余或不重要参数,且已成为深度卷积网络压缩的主流方法之一。本文主要针对有预训练模型压缩中的约束型压缩方法和间接压缩方法存在的不足展开研究,同时,针对现有网络模型压缩方法应用领域较为单一的问题,开展拓宽其应用领域的研究。主要工作与贡献概括如下:1.总结现有深度卷积网络压缩框架与方法,详细介绍深度卷积网络压缩和张量分解的基础理论。经过对不同深度卷积网络压缩框架的深入分析,在基于预训练模型的压缩框架中,指出基于矩阵分解的约束型压缩存在参数结构信息丢失、压缩步骤复杂繁琐的问题;同时在无预训练和基于预训练模型的压缩框架中指出,直接学习和基于张量分解的间接压缩中存在未压缩模型信息未获得充分利用,且未压缩模型缺乏低秩特性的问题。上述综合分析为本论文后续研究提供了明确方向。2.针对基于矩阵分解和预训练的约束型压缩存在权重参数结构信息的丢失与压缩过程复杂的问题,提出基于张量分解的直接LC网络模型压缩方法(Tensor Decomposition-based LC algorithm,TDLC)。该方法首先去除学习-压缩(learningcompression,LC)框架中的预训练过程,随机初始化网络模型。其次,将LC算法和张量分解方法结合,保证权重参数结构性。同时,解决学习步骤和压缩步骤中的学习率配置和最优秩选择问题,提升网络压缩效率,最终实现最优压缩。实验部分包括图像分类任务与图像超分辨率任务,实验结果表明,与9种最先进的压缩方法相比,所提出的方法可以有效地减少网络压缩时间,并且在模型性能和压缩率之间有一个很好的平衡。例如,与基于预训练的TDLC相比,所提方法在Resnet32中实现了22%的训练时间缩短和22%的参数减少,同时提高了0.02%的分类精度。3.针对基于张量分解的间接压缩缺乏低秩特性的问题,提出基于ADMM框架的最优网络模型压缩方法(ADMM-based optimal network model compression method,ADMM-OC)。该方法首先最小化具有低秩张量约束的未压缩模型的损失函数。其次,通过交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)与Cosine学习率,使得未压缩的CNN模型具备低秩特性,最后,在经过ADMM训练阶段后,通过基于SGD的微调高效恢复压缩网络的性能。关于图像分类任务的实验结果表明,与11种最先进的压缩方法相比,所提方法能够在网络性能不受损失的情况下,更大程度地降低网络的存储量与计算复杂度。值得注意的是,所提方法将Resnet56压缩到28%而无精度损失,且压缩模型的分类精度比LC方法高1.14%。
其他文献
随着当代工业系统结构的不断复杂化,设备的规模不断扩大,运行环境愈加苛刻,导致系统设备频繁发生故障。旋转机械作为工业系统中的重要设备,对其进行有效的剩余寿命预测研究,有助于降低系统设备的故障隐患,并提高生产效率和生产效益。滚动轴承作为旋转机械设备的重要部件,其状态与设备的安全运行密切相关。准确预测滚动轴承的剩余使用寿命可以提高设备工作的可靠性,同时也可以为设备的预防性维护提供实用参考。因此,如何利用
学位
间歇过程工艺在生产高附加值产品中发挥着重要作用,由于生产过程的自动化程度提高,生产环节变得越来越复杂,对间歇过程的安全可靠运行提出了更高的要求。因此,为确保生产安全和产品质量,对于间歇过程建立有效地监控模型,及时准确地故障检测和诊断备受工业领域和学术界关注。当前,工业生产的技术水平不断地提高,大量的生产数据得以存储,由于这些数据蕴含着丰富的过程信息。因此,有必要利用这些过程数据来监控过程的运行状况
学位
铜绿假单胞菌(Pseudomonas aeruginosa)、荧光假单胞菌(Pseudomonas fluorescens)及恶臭假单胞菌(Pseudomonas putida)是重要的致病菌与腐败菌,极易形成生物被膜,对人类健康和食品质量安全造成了严重的危害。Pel胞外多糖是假单胞菌(Pseudomonas)生物被膜的重要组成部分,通过相应的Pel系统进行合成和转运。运用生物信息学分析技术对Pe
期刊
为减少设备投入及人工、维护等费用,在新郑煤电公司14采区通风行人联巷及西翼运输大巷实施了架空乘人装置一机两巷运输。实施前通过对各项运输数据进行计算和验证,明确所需设备功率,选取合适的架空乘人装置,安装后运行稳定。通过一机两巷运输,减少一部设备投入,节约费用32万元,另每年可节约人工及维护费用约122万元,实现了矿井节支降耗。
期刊
多智能体系统(Multi-Agent Systems,MAS)的一致性控制因其在实际工程中的广泛应用成为了控制工程领域的一个研究热点。由于智能体之间相互连接、自由配合、相互通信的分布式交互特点引入的个体之间的耦合,使得MAS具有更加复杂的结构和动态特性,加之MAS运行环境的恶劣和复杂性,使得MAS 比单个体系统以及一般的集中式系统更易发生故障,因而,越来越多的学者致力于MAS的故障诊断与容错控制研
学位
基于深度学习的超分辨率算法(super resolution,SR)通过自适应的学习从低分辨率(low resolution,LR)图像到高分辨率(high resolution,HR)图像的非线性映射拟合SR映射。相比于传统算法在效率、泛化性等方面表现突出。现有基于卷积神经网络的单图像超分辨率(super resolution,SR)模型存在三个限制。首先,一幅LR图像其对应的HR图像的数量在理
学位
水电作为一种清洁能源受到各个国家的重视,我国也不断加大了对水电资源的开发。灯泡贯流式水轮发电机组(Bulb Tubular Turbine Generator Unit,BTTGU)具有转化效率高、尺寸小、重量轻等优点,是开发水电资源的理想机型。机组能否安全稳定地运行决定输出电能的质量,因此掌握其运行规律、提高控制性能具有重要现实意义。本文以BTTGU调节系统为研究对象进行建模,并采用改进型引力搜
学位
作为测绘地理信息工作实现“两支撑、一提升”定位的服务载体、自然资源管理的统一底板、智慧城市的时空基础设施、数字孪生城市的空间数字底盘等,时空大数据平台已成为城市信息化建设不可或缺的内容。时空大数据平台服务领域不断扩大,对其在时空大数据汇聚、融合、管理、共享、分析,以及高可用、高并发、高弹性等方面的要求也不断提升。本文基于云原生平台架构,建立基于微服务和容器的平台服务体系,实现平台服务的稳定、高效与
期刊
约束多目标优化问题不仅需要优化多个冲突的目标函数,而且还伴随着各种各样约束条件的限制。进化算法可以有效求解多目标优化问题,但由于约束条件的存在,进化算法需要结合约束处理技术来求解约束多目标优化问题。当约束条件的数量较多、非线性较强或存在等式约束时,可行域变得狭小,现有算法在求解此类问题时处理等式约束能力不足,无法有效利用不可行解信息,不能平衡目标函数和约束条件,不能兼顾收敛性、多样性和可行性。因此
学位
为防止架空乘人装置断绳事故的发生,设计了一种新型断绳抓捕器。使用ANSYA软件对新型断绳抓捕器进行静力学分析,使用ADAMS进行动力学仿真。搭建了试验台,通过实验得出断绳抓捕器的抓捕距离1.2~1.6 m,远小于安全距离3 m,该断绳抓捕器具有较好的断绳保护效果。
期刊