面向边缘设备的DCNN模型压缩策略研究

来源 :西安工业大学 | 被引量 : 0次 | 上传用户:ajimide001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习中卷积神经网络技术发展,现今的卷积神经网络的模型结构应用越加广泛。为了提升模型性能,网络模型通常变得更加复杂,规模日益庞大,且神经网络本身存在计算冗余,使得边缘设备无法满足复杂模型的运算需求。因此深度卷积神经网络的模型压缩工作被广泛研究,使用有效的模型压缩算法可以减少冗余度,让复杂模型转变为轻量模型以适应更丰富的应用场景。本文主要工作研究了轻量化卷积神经网络和结构化模型剪枝技术。首先是手动设计轻量化卷积模块来构建神经网络RDPNet。主要方法是基于深度可分离卷积和重参数化方法构建RDP模块,其多路结构模块用于训练,重参数化的单路结构模块用于推理。在此基础上,以适当的深度和宽度调整来构建整体网路结构。实验结果显示RDPNet在同类型轻量化神经网络的比较中表现突出,在模型性能和推理速度两方面达到了较好的平衡。然后是改进并提出了全局自适应剪枝方法,这是一种结构化动态剪枝方式。利用稀疏化训练得到带有稀疏解的模型,根据训练所得掩码对通道重要程度进行判别,进而对冗余通道进行剪枝以压缩模型。采用这种方式的优点在于算法注重探索模型的隐式架构,且动态地对处于训练状态的通道进行重要性判断,以达到更好的压缩效果。最后是将提出的两种网络压缩方法应用在了边缘设备环境中。通过使用INT8量化方法,在前两种方法基础上进一步压缩模型大小,加速计算。通过在边缘设备上对压缩模型进行推理,验证了本文提出的压缩方法的有效性。
其他文献
红外弱小目标检测技术在周界安防、目标跟踪、防火防灾等领域具有广泛的应用。红外弱小目标由于其尺寸小、特征不明显且经常受到背景杂波干扰等特点而导致检测难度极大,现有的目标检测方法存在严重的漏检和虚警。针对这些问题,本课题基于深度学习理论开展了红外弱小目标检测方法的研究。主要工作如下:(1)提出了基于孪生Transformer的单帧红外弱小目标检测方法。该方法将原图划分为若干个不重叠的子图,然后将目标子
学位
随着互联网的快速发展和数智化时代的到来,个性化推荐已经被广泛应用在商品、视频、音乐、电影、短视频等各种推荐场景上,并且发挥了至关重要的作用。但如何进一步提升推荐的准确性并带来更高的用户体验感,一直是相关研究的重点。现有的基于深度学习的推荐算法常使用的预估模型是以用户的点击为目标的,这样并无法考虑到用户点击后产生的其他行为,从而缩小兴趣网络降低用户满意度,并且存在样本稀疏、显隐式反馈运用不平衡、目标
学位
目标识别作为图像感知和视觉领域的一项基础任务,其性能的好坏将直接影响后续中高级任务的性能,进而决定着人工智能在特殊场景中的应用。最近几年,随着深度学习的发展,目标识别方法也取得了巨大的突破。但是现有的方法在面对复杂场景中的小目标识别和缺少标注数据的小样本目标识别上依然存在一些困难尚未解决。本文针对现有问题,从两方面进行分析,首先利用深度学习的目标特征感知能力和强化学习的序列搜索能力来解决小目标识别
学位
在日常获取图像的过程中,受物体移动或相机移动等外界因素的影响,导致所拍摄照片会产生图像畸变。运动模糊是一种常见的图像退化问题,运动模糊图像复原技术一直以来是图像处理方向的研究热点,研究人员根据模糊核是否已知将图像去模糊方法划分为两类:模糊图像盲复原方法和模糊图像非盲复原方法。本文深入研究了运动模糊图像盲复原技术,对现有方法存在的缺陷进行了详细分析,提出了一种全新的基于多阶段的运动模糊复原网络,提高
学位
学位
图像超分辨率重建技术是指在同一场景下,从低分辨率模糊图像到高分辨率图像转换的一种特殊方法。近年来,由于其具有广泛的实际应用价值和深远的理论意义,这种技术已经被广泛地应用于计算机视觉、图像处理等领域。由于将生成对抗网络用于图像超分辨率重建可以获得更高的质量和更好的视觉体验,所以与生成对抗网络有关的研究受到了极大的重视,但是该网络在模型重建中存在尺度单一和获取高频信息不充分的弊端,导致生成的图像有强烈
学位
随着互联网的快速发展,移动应用数量激增,同时移动应用产品功能趋于多样化与复杂化,由此引发的GUI测试问题也越来越具有挑战性。现有的移动应用GUI测试方法中,传统的手工测试存在高成本、低效率、强依赖等问题。而主流的自动化测试方法,money随机测试难以复现bug,录制回放技术需要大量人工操作。因此,如何实现快速高效的移动应用GUI自动化测试成为当前移动应用测试的研究热点。GUI测试建模是实现GUI自
学位
知识是对“识”的理解和描述,也可以说知识就是智能。但目前的主流认知是知识是人类在实践中认识客观世界的结果,这种认识并没有对认识的主体进行讨论。在人工智能领域,为了建立一个基于共识的知识库来表现智能,出现了专家系统、神经网络、知识图谱等模型,这些模型对知识的研究不够深入,且知识库不会随外界更新。因此为了建立一个全面、基于自我意识、可以随外界更新的知识库,本文在知识表示研究的基础上,将知识融合任务分成
学位
现代战争中,无人机在空战和空地联合作战中都占据重要地位并发挥着巨大作用。然而,从战术任务起飞点出发,躲避所有障碍物并且避免敌方探测器的嗅探和攻击,安全飞行并最终到达任务终点,是无人机在诸多战术应用中的首要任务,是执行一系列任务的前提和保障。因此,无人机需要一条满足任务需求的飞行路径,需要有效的路径规划方法来获得。除此之外,无人机战术路径规划的常规仿真方案中,无论是环境感知、态势评估、飞行控制、无人
学位
相机在拍摄人脸图时,常常因为抖动、失焦等原因得到模糊图像。而当人脸图像被模糊化时,对人脸识别等高级视觉任务有很大的影响。人脸图像去模糊的目的是从模糊的输入图像中恢复出清晰的图像,从而提高识别精度等。因此,图像去模糊问题是图像复原领域里面的研究重点,而一般的去模糊方法在人脸图像上效果不佳。本文采用生成式学习方法,结合特征矫正模块,实现对模糊人脸图像进行高精度复原,主要工作如下:(1)基于高效自注意力
学位