深度神经网络压缩与应用研究

来源 :厦门理工学院 | 被引量 : 0次 | 上传用户:zhangruidao11
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度神经网络在自然语言处理、图像识别、语音处理等人工智能研究领域具有重要的应用价值,但随着网络结构不断加深、规模不断扩大,对应的参数量和计算量也成倍增长,导致神经网络特别在嵌入式设备或移动设备部署运行困难。传统单一压缩方法难以达到最佳压缩比与网络性能的平衡,而传统混合压缩算法难以深度融合,导致网络精度损失和额外训练开销。针对嵌入式智能终端设备的实际场景下的目标检测和分类应用需求,本文对深度神经网络混合压缩算法展开研究,在保证网络精度前提下提高压缩比,具体包括:(1)提出一种基于通道自注意力剪枝和知识蒸馏重训的混合压缩算法。通过对神经网络添加通道域注意力编码器评价通道贡献度进行剪枝,针对网络剪枝后性能下降的问题,运用知识蒸馏的方法分别将剪枝前后的网络模型作为教师模型和学生模型进行重训练提升精度。实验表明,上述基于通道自注意力剪枝和知识蒸馏重训的混合压缩算法可在网络准确率损失1%的情况下,将VGG-16网络的参数量和计算量分别降低83.2%和85.9%。(2)提出一种基于深度可分离卷积剪枝和知识蒸馏混合压缩算法。第一步将逐点卷积中各通道融合时的权值大小作为通道贡献度评价依据进行结构化剪枝;第二步将剪枝后剩余通道的滤波器间通过K-L散度两两计算相似性进行滤波器移除;第三步将剪枝后的网络模型采用与(1)中相同的知识蒸馏方法进行网络精度重训练。实验表明,基于深度可分离卷积剪枝和知识蒸馏混合压缩算法可将VGG-16网络在准确率损失2.18%的情况下参数量降低89.2%,计算量下降81.9%。(3)提出一种基于仿射变换的量化压缩算法。通过自适应仿射变换的方式将使用32位浮点数精度存储的参数权值转化为8位整型精度数存储,网络前向推理时将参数权重进行反量化参与计算。(4)深度神经网络混合压缩算法的应用研究。通过深入分析(1)(2)(3)所提压缩算法的原理,将三种网络压缩算法融合使用。实验表明,在神经网络准确率近似的情况下,压缩方法的混合使用可更大程度的降低神经网络参数量和计算量。将上述三种压缩算法混合在基于YOLOv5的口罩佩戴检测系统中混合使用,可使压缩后的YOLOv5网络在准确率仅损失2.8%的情况下,参数量下降40.2%,计算量下降20.3%。
其他文献
跟随机器人是构建人机共融环境的重要组成部分,其检测器的性能是影响跟随能力的决定性因素。搭载单一传感器的跟随机器人目标检测能力存在严峻的挑战:依靠激光雷达检测器的跟随机器人对环境的适应能力强且检测范围广,但是数据信息稀疏造成检测精度较低。而依靠相机检测器的跟随机器人目标检测精度高,缺点是视野范围窄。针对上述问题,本文改进激光雷达的检测方法,建立适用跟随机器人的数据集优化相机检测,并针对激光雷达与相机
学位
目的在临床上对心肺复苏患者展开护理服务,其具体工作实施过程中,观察选择施用急诊护理干预模式,分析其影响效果如何。方法本院此次研究选取80例进行诊治的2021年1月至2022年1月这一期间心肺复苏患者,将其研究对象划分,建立实验组40例、对照组40例(经由随机法选取)。此次研究中的对照组受试者,常规护理干预模式为具体的干预措施,急诊护理干预模式为实验组受试者具体的干预措施。结束护理干预之后,比对试验
会议
小径薄壁管座作为发电厂日常运行设备中的关键一环,其焊缝易出现不同类型的缺陷,经过时间的累积会造成管道泄露,甚至会发生严重的爆炸事故。对小径薄壁管座角焊缝进行无损检测可以有效保障小径薄壁管座的质量,但是小径薄壁管座角焊缝的复杂变曲率结构造成缺陷检测难度大,检测人员采用现有方法难以对不同类型的缺陷进行准确定性定量。针对以上问题,本文开展小径薄壁管座角焊缝超声相控阵检测方法的仿真应用研究,主要内容包括:
学位
脑肿瘤在现今的社会中仍然是一种难以治愈的疾病,神经胶质瘤是由许多神经胶质细胞严重受损引起的,占恶性脑肿瘤的一半以上,严重危害人的生命。传统的基于机器学习的分割方法不能处理复杂的场景,而脑肿瘤在正常的脑组织中,形状不规则,且在脑组织中所占比例较小,因此传统方法无法达到较高的分割准确性。现在,大量论文证明了基于深度学习的脑肿瘤分割方法是有效的。同时,在当前的影像科中,会结合多模态的磁共振图像(MRI)
学位
目前,水闸视频监控系统缺乏智能分析功能,水闸管理工作过度依靠管理人员的主观判断。为了提高水闸智能化管理水平,本文设计了适用于水闸场景中的智能视频图像处理系统,该系统具备对运动目标检测跟踪等功能。本文完成的工作有:首先,根据水闸管理的实际情况,对智能视频图像处理系统进行需求分析,在此基础上设计了四个基础功能:视频图像采集功能、运动目标检测功能、运动目标检测跟踪、入侵警戒区域检测功能,并利用分层理念设
学位
配电网作为供电系统中的重要环节,在电能的分配、传送中起到重要作用,如何有效实现其故障时的安全告警进而提高可靠性是智能电网建设所关心的问题。本文针对当前配网的电源接入情况,在输电线路发生单相接地故障下其产生的跨步电压问题进行研究,选择了更合适的告警方式和制定了更恰当的告警措施,并开发了相应的跨步电压告警软件模块,这对保障作业人员的生命安全和维护电气设备稳定运行具有实用意义和工程价值。具体研究工作包括
学位
近年来,人体姿态估计在计算机视觉领域引起广泛关注。人体姿态估计是人类动作识别领域的关键技术,其目的是提取图像或视频中的特征并估计人体的姿态,以骨骼关键点等形式表示。人体姿态估计已广泛应用于人机交互、视频监控、智能运动、CGI应用、训练机器人等各个领域。然而,遮挡、运动模糊、光照变化和对新场景的适应等一直是人体姿态估计研究中面临的挑战。为了解决此问题,本文提出了基于最大化热图的人体姿态估计模型。该模
学位
无线信道估计效率对无线通信系统的性能至关重要。因为水汽衰减、路径损失等问题都会导致信号到达接收端前发生改变,所以信道估计的任务就是利用接收信号将信道模型的模型参数准确地估计出来,提高输出端输出信号的调解效率。并且由于6G网络将使用太赫兹频段作为无线信号的传输通道解决5G频谱资源逐渐不足的情况,因此研究太赫兹信道估计具有重要意义。太赫兹信道估计研究有利于构建稳定、高效的6G通信系统,在融合其他创新技
学位
随着中国二次元产业的逐渐发展壮大,其已开始有了引领中国产业发展的趋势,品牌的发展更是颇具潜力,除潮玩、虚拟主播、动漫展览等项目之外,线下动漫主题咖啡店逐渐浮出水面,消费者的某种需求通过在主题咖啡店中的社交互动得到充分满足。对这种推动消费欲望的根源的挖掘与研讨,在当前世界面临疫情持久战、线下产业的发展仍旧面临严峻困难的情况下显得格外重要。面对阻碍,不但需要开创以高新技术为载体的崭新发展路径,还要本着
期刊
探析黄土高原植被覆盖演变及其驱动因素,有助于了解黄土高原生态现状。本研究以MOD13A2为主要数据源,采用像元二分模型、趋势分析法和相关性分析法对黄土高原地区植被覆盖度动态变化和驱动力进行分析。结果表明:(1)2000-2020年整体植被覆盖度呈上升趋势,其增速为0.005/a(p<0.01)。其中,2000-2010年增速为0.006/a, 2010-2020年增速为0.004/a;(2)200
期刊