基于通道剪枝的神经网络压缩研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:luosenkate
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习的飞速发展,深度神经网络在计算机视觉、自然语言处理、推荐系统、交通规划和时序预测等领域取得了令人瞩目的成绩,渗透到生活的方方面面。深度学习使用神经网络堆叠的方式对海量数据进行处理,具有参数量大和计算复杂度高的特点。一方面,神经网络被设计的愈发复杂与庞大以取得更高的精度,对设备的算力和内存要求越来越高;另一方面,应用领域的拓展使在低算力低内存的边缘设备部署神经网络的需求愈发迫切。为解决这一矛盾,神经网络模型压缩算法应运而生。基于通道剪枝的模型压缩算法由于直观性与易用性,受到了学界和工业界的广泛关注。然而,通道剪枝仍然存在一些问题等待解决。第一,目前的通道剪枝算法通常不能对残差模型做到像直筒模型一样的修剪,残差连接的通道数对齐与冗余通道的修剪难以兼顾。第二,现有的通道剪枝算法中稀疏化训练误差与剪枝误差此消彼长,难以兼顾。为了解决通道剪枝算法中存在的这两种问题,本文分别提出了一种基于直筒等效的残差模型通道剪枝方法和一种基于掩膜等效和梯度解耦与重置的通道剪枝方法。本文的研究内容总结如下:(1)基于直筒等效的残差模型通道剪枝方法:提出了一种针对残差模型的通道剪枝算法,先将残差模型等效为直筒模型,再对直筒模型进行通道剪枝。首先是引入额外的卷积通道等效恒等映射,接着对BN层、激活层和降采样做出相应调整以保留恒等映射。最后,对等效后的直筒模型进行剪枝,即可得到一个紧凑且无残差连接的模型结构。通过在多个数据集上对多个模型进行实验证明了该方法的有效性。(2)基于掩膜等效和梯度解耦与重置的通道剪枝方法:提出了一种引入额外结构并使用惩罚项对其进行稀疏训练的方法。首先在模型待剪枝的“卷积层-BN层”结构后添加掩膜等效的1×1卷积层,接着对模型使用无稀疏惩罚项的损失函数进行训练,对1×1卷积层的梯度添加稀疏惩罚项,并使用梯度重置使其中较小的通道更接近于0。在稀疏化训练结束后对1×1卷积层进行剪枝,最后将“卷积层-BN层-1×1卷积层”结构合并为一个卷积层,即可得到一个紧凑的模型结构。通过在多个数据集上对多个模型进行实验证明了该方法的有效性。
其他文献
轴承是旋转机械的核心零部件,其健康状况直接影响机械设备的整体运行。航空发动机主轴轴承一般工作在高温、高速、重载的严苛工况下,作为传动关节的主轴轴承很容易受损,轴承一旦受损将导致发动机效能下降,甚至造成严重事故。因此,对航发轴承进行故障诊断与预测可以降低维修成本,优化资源配置,确保设备正常运行。目前,现有的轴承故障分类神经网络模型只适用于固定转速和载荷的情况,在转速时变、交变载荷的情况下其诊断性能急
学位
目标检测是机器视觉的基本任务之一,其主要目的是识别场景中的特定目标类别,并确定目标边界框的位置。如今,由于硬件设备的不断升级,大量视频数据被生成,视频目标检测技术在车辆自动驾驶、互联网视频审核、安防监控数据审核回溯等领域有着巨大的应用潜力,因此视频目标检测技术研究对于实际工程应用具有重大意义。近年来,随着深度神经网络在各领域取得的成功,基于深度神经网络的视频目标检测技术的精度和效率取得了突破性进展
学位
以某医院建设工程项目作为研究案例,对高大梁模板满堂脚手架施工技术进行深入研究,先确定搭设方案,再进行受力计算,最后详细阐述施工技术要点,并简要介绍了大梁模板的监测方法。经研究得出结论:建筑工程施工过程中,高大梁模板支撑架施工具备危险性,稍有不慎就会导致安全事故的发生,所以,在对其进行施工时必须对施工技术的选择予以重视。
期刊
随着视频采集技术和采集设备的快速发展,单相机获取的视觉信息内容单调、角度单一已经无法满足人们对于沉浸式视觉体验的追求,相机阵列技术作为计算机视觉领域中一个重要的发展方向已经被广泛地应用到体育赛事、智慧安防等多个领域。本文针对大场景下现有相机阵列视觉区域受限的问题,结合篮球赛事场景中动态目标自由视点视频生成的需求,提出了一种主从式云台相机(Pan-Tilt-Zoom Camera,PTZ Camer
学位
三维GIS是数字孪生城市可视化的基础平台,与监控视频实时融合能实现对物理城市运行状态的精准映射,已成为新一代智慧城市发展的关键技术。然而由于视频图像与GIS数据接口的无关性,导致海量视频时空信息难以融入GIS中充分表达。本文聚焦于视频时空数据在三维GIS中的准确、高效融合,为了满足视频与三维GIS融合中时空信息一致、系统稳定流畅的需求,研究了基于场景信息的视频相机注册方法与基于轨迹提取的视频GIS
学位
准确可靠的农作物分类信息是农情监测和粮食安全评鉴研究的重要数据来源,遥感技术的快速发展为农业信息的获取提供了极大的技术支持。极化合成孔径雷达(Pol SAR)是一种主动微波遥感系统,具有全天时、全天候的对地观测能力,可以为农作物分类提供丰富的信息。然而单时相的雷达数据无法完整地反映农作物生长过程中的形貌变化情况,具有一定的局限性。此外,相比于光学数据,雷达图像的解译往往比较困难,而光学遥感可以获得
学位
当前,互联网技术蓬勃发展,“互联网+教育”的教学模式逐渐进入了人们的视野,伴随着各种线上教学系统的出现,传统教育模式的壁垒逐渐被打破。随着微信小程序的兴起,人们能够更加方便快捷的访问各类应用平台,教辅系统与小程序的融合也将成为必然趋势,因此设计一款课堂测试微信小程序,将课堂上的签到、测试等环节迁移至线上进行,不仅能够节约课堂时间、减轻教师压力、提高学生的积极性,也能够及时的获取反馈,从而达到检验教
学位
随着科技的不断发展和国外局势的日益紧张,人们对于权威报刊新闻热点的关注度越来越高,然而传统的新闻报刊已经少有人问津。相比冗余复杂的权威报刊信息,知识图谱以其结构化、网络化的特点,能够更好地满足人类获取权威报刊信息的感官体验,满足用户快速获取新闻间关系的需求。当前广泛应用的知识图谱主要有金融、医疗、旅游等领域。由于报刊新闻信息的关系复杂,因此市面上权威报刊领域的知识图谱还很匮乏。针对以上背景,本文通
学位
在光照不足情况下拍摄的图像会遭受多种退化,比如低能见度,低对比度以及强噪声等。这些退化不仅会降低图片的视觉美感,而且会退化许多以光照良好的图像作为输入的计算机视觉算法的性能。针对上述问题,本文结合人类视觉系统对亮度的感知特性以及Retinex理论对低光照图像增强进行研究。根据人类视觉系统对亮度的感知特性:背景亮度值较低或较高时,人眼对目标物体和背景之间的亮度变化感知相对不敏感。虽然低光照图像的暗区
学位
目前,在疫情隔离、安防监控和自动驾驶等广泛应用的嵌入式视觉场景中,已获得成熟应用的成像传感器主要有摄像头和LiDAR等。其中LiDAR具有测量结果准确、抗干扰能力强等优点,但是在目标识别方面仍存在不足。而光学摄像头借助深度学习的不断发展,在目标识别上具有较高的准确度,但是容易受到光照、天气等环境影响。因此,在各种资源均受到限制的嵌入式平台下,如何将光学摄像头与LiDAR获取的图像信息进行融合来避免
学位