【摘 要】
：
近几年来,卷积神经网络凭借其强大的特征提取能力,在复杂的图像分类任务中取得了显著的效果,成为了图像分类领域的研究热点。ResNet残差网络作为卷积神经网络的一种经典架构,通过增加网络深度,增强了其特征提取能力。然而,随着网络的不断加深,模型精度提升难、参数冗余等问题逐渐突出,残差网络的优化越来越难。因此,如何提升网络模型精度、减少模型参数量成为优化ResNet模型的关键之处,为此,主要做了以下工作
论文部分内容阅读
近几年来,卷积神经网络凭借其强大的特征提取能力,在复杂的图像分类任务中取得了显著的效果,成为了图像分类领域的研究热点。ResNet残差网络作为卷积神经网络的一种经典架构,通过增加网络深度,增强了其特征提取能力。然而,随着网络的不断加深,模型精度提升难、参数冗余等问题逐渐突出,残差网络的优化越来越难。因此,如何提升网络模型精度、减少模型参数量成为优化ResNet模型的关键之处,为此,主要做了以下工作:一、概括了卷积神经网络模型优化方法的研究背景及意义,阐述了模型优化方法的发展现状,详细分析了卷积神经网络的相关理论,以及知识蒸馏的工作原理和具体分类。二、针对ResNet模型在图像分类任务中因网络不断加深而导致模型分类精度提升困难的问题,提出了一种基于互学习知识蒸馏的ResNet模型优化方法。该方法通过利用非对称卷积块（Asymmetric Convolution Blocks,ACB）强化了卷积神经网络的特征提取能力;采用多个学生网络互相学习训练的知识蒸馏方法,让每个学生网络在无教师网络指导的情况下,不仅接受传统监督学习,还需要接受其余学生网络的监督信息,提升各学生网络的学习能力。实验结果表明,改进后的ResNet20和ResNet110模型分类精度分别提高了 0.82%和0.74%,具有更高的分类精度。三、针对ResNet卷积神经网络结构中存在的参数冗余问题,引入轻量化卷积神经网络GhostNet,并结合基于注意力机制的知识蒸馏算法,提出了一种基于注意力知识蒸馏的ResNet模型压缩方法。该方法利用Ghost模块优化了 ResNet中残差结构的卷积层,以一系列廉价的线性变换增强卷积结构的特征提取能力,去除其中冗余信息;注意力机制作为特征监督信息,引导学生网络模仿强大的教师网络的注意力图,在一定程度上弥补了引入GhostNet网络带来的精度损失。实验结果表明,改进后的ResNet模型与传统的ResNet网络相比,在牺牲少量精度的情况下减少了 40%以上的参数量,显著改善了模型参数冗余的问题。
其他文献
随着互联网的快速发展,与人们的衣食住行密切相关的购物方式也从传统的线下购物逐渐向线上购物转变。消费者如何利用已有的信息筛选出自己满意的商品,成为电子商务模式下急需考虑的问题。在这种背景下,对消费者的在线购物行为进行研究,无论是对于消费者对商品的选择,还是商家对消费者心理的把握,都有重要的参考价值。当前消费者行为研究主要是对影响消费决策的因素进行研究,传统的研究中要么只考虑了单一要素的影响,或者对不
本文提出了两类随机传染病模型,研究在噪声干扰下疾病的流行规律,全文共分为四个章节:第一章,介绍本文的研究背景,主要工作以及预备知识.第二章,研究了一类具有潜伏期的随机时滞乙肝模型.首先,通过构造随机Lyapunov函数,证明了系统存在唯一的全局正解.其次,利用Lyapunov函数法,研究了随机系统解的渐近行为.最后,通过一些数值模拟验证了所得理论结果的正确性.第三章,研究了一类具有潜伏期的随机新冠
随着移动互联网技术、GPS定位技术的蓬勃发展以及智能设备和社交网络的普及应用,基于位置的服务（LBS,Location-based Services）也开始成为了人们生活中的一个重要应用。LBS使得用户的日常生活变得十分灵活和方便,但与此同时,长时间使用LBS也会对用户的隐私数据安全带来潜在的隐私泄露隐患。当用户根据自己的需求向LBS服务器提出查询信息的请求时,要将个人的身份、位置、兴趣等隐私信息
学习任务强调“学习为中心”的教学、将学科内容置于相对具体真实的学习环境中，强化经验学习的突出地位；完整的语文学习任务包含任务情境、任务达成指标、任务的过程性行为标准、任务支持系统；语文学习任务群要求将文本学习置于学科学习语境之中，让文本学习具有相对明确的方向。语文教材中的单元，是将教学内容按一定的标准进行切分而形成的相对独立的组成部分，学生要完成单元学习任务，须以单篇或群文教学所培养的语文认知和语
行人重识别任务是视频监控领域的重要研究内容,近年来受到诸多研究学者的关注。该任务是指给定摄像机拍摄的行人图像,从多个非重叠多视角摄像机捕获的图像库中重新识别该行人的过程,在智能安全防护、视频监控等领域有广泛的应用前景。然而,现实复杂环境下的行人图像受局部遮挡、复杂背景干扰等因素影响,导致行人重识别准确率下降。为此,本文将行人重识别中引入注意力机制来提高网络的学习性能,主要工作如下:针对行人重识别中
单元作业是一种追求整合性、进阶性、开放性的作业形态，与基于学习任务群的语文教学改革具有较高的契合度。文章尝试立足于“学习任务群”，对单元作业的内涵、特征、设计思路进行梳理，并从“立足学习任务，确定作业目标；创设作业情境，统揽单元内容；明晰作业思路，整合单元资源；设计作业内容，关注内外衔接；加强作业反馈，完善评价机制”五个维度进行作业设计探析。
目标检测作为计算机视觉中的重要分支之一,在如今的日常生活和工业生产中均被广泛应用。然而,在实际应用中目标检测模型多基于全监督学习方法,检测性能好的全监督目标检测模型需要大量高质量、高规格边界框标注的数据,收集此类数据会耗费大量的人力和物力。针对目标检测任务,基于弱监督学习方法的模型训练时只需要图像级别标注,比全监督学习更节约成本。本文基于此出发点,对弱监督目标检测展开一系列相关研究。主要工作如下:
冲突分析近年来受到了学者们的关注,有学者将三支决策与冲突分析相结合提出了三支冲突分析.为了解决更复杂和不确定的冲突问题,本文在区间直觉模糊信息系统的背景下研究了三支冲突分析.具体内容如下:在区间直觉模糊信息系统的背景下,本文分别针对单个问题、问题集,提出了三支冲突分析模型,引入了描述两个代理之间态度差异的距离函数,并导出了每个代理的冲突集、中立集和联盟集,这三个集合构成了代理集的一个划分;其次,给