面向图像分类的卷积神经网络子结构设计理论与方法研究

来源 :电子科技大学 | 被引量 : 3次 | 上传用户:eimayao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像分类是计算机视觉领域的基础任务与研究热点,它是目标检测、语义分割、目标跟踪等视觉处理任务的重要组成部分。因此研究图像分类技术具有重要的理论意义和应用价值。近年来,随着大数据时代的到来,计算机运算能力的提升以及深度学习技术的发展,多种基于卷积神经网络结构设计的图像分类算法被相继提出,它们极大地推动了图像分类的发展。然而,卷积神经网络结构具有复杂性、多样性、联结方式多变性等特性,这些因素导致图像分类在网络结构构建、网络模型轻量化等重要问题上依然面临着挑战。研究并设计高效的卷积神经网络结构是计算机视觉领域的迫切需求。因此,本文展开了对面向图像分类的卷积神经网络子结构的设计与方法的研究。本文从图像分类出发,以提升卷积神经网络的特征提取性能为总体目标,从特征提取结构设计和特征增强结构设计两方面对卷积神经网络的结构进行了研究。同时对利用网络子结构设计解决迁移学习中迁移知识结构的问题和噪声标签的问题进行了探讨。本文的具体研究内容和主要创新点概括为以下几个方面:第一,针对现有激活函数无法适应输出变化的问题,从特征提取结构设计角度出发,提出了参数化形变指数激活函数。该方法首先为激活函数引入函数属性优异的形变指数函数形式,同时引入可学习的参数化因子用于调节激活函数对网络层输出的响应尺度。最后,本文提出了一种适用于该激活函数的网络权值初始化方式。该激活函数有效地提升了卷积神经网络的非线性建模能力。第二,针对现有网络训练中单损失监督无法有效构建特征分布的问题,研究了优化过程中的监督信息,提出了基于混合监督损失函数的图像分类方法。该方法首先引入两个辅助损失函数约束特征类内紧致特性和类间分离特性。然后,利用多损失混合监督单个分类器,从而降低特征之间的差异性。本文从理论上证明了混合监督损失函数的优越性。该方法能够提升卷积神经网络的特征提取能力,并可以推广到文本分类等任务。第三,针对现有利用注意力模块无法有效调节不同网络层的特征增强方式的问题,从特征增强结构设计的角度出发,提出了基于自适应调节的注意力模块。该方法首先融合现有的注意力机制,然后通过引入一组可学习参数对注意力子模块进行加权,学习不同网络层的注意力模块自适应分布,从而提升网络的特征增强能力。第四,针对样本在训练阶段同等处理导致样本间区分度低的问题,进行了基于样本间特征增强的结构设计的研究,提出了基于批维度的注意力模块。该方法首先利用样本内注意力机制生成多维度注意力权值。然后利用注意力权值生成样本重要性并进行样本间归一化操作,从而生成样本间相对重要性。最后利用样本相对重要性对样本特征进行整体加权,有效提升样本特征间的区分度。第五,针对现有迁移方法中无法很好地传递老师模型特征信息给学生模型的问题,提出了基于多组知识迁移结构的算法。该方法首先引入多老师模型进行联合迁移,然后同时迁移网络的最终预测层结果和中层特征,并对中层迁移特征进行分组量化以消除信息冗余问题。最后构建样本间特征的相似性度量,从而有效提升知识迁移的效果。第六,针对现有监督学习框架下样本标签中含有噪声的问题,提出了基于样本特征重标定模块的噪声标签分类算法。该方法首先对输入空间的样本进行融合增广,并对网络进行隐式线性正则,从而简化模型训练的复杂度。然后在特征空间利用融合注意力机制进行样本加权,从而达到样本特征增强的效果,最后在标签空间引入标签软化降低噪声标签对监督信号的影响,从而探索标签隐式信息。该方法有效提升卷积神经网络对标签噪声的抗噪能力。
其他文献
随着我国人民消费水平的提高,邮轮旅游作为一种新兴旅游方式得到了迅速发展,对我国旅游经济的发展和海上运输业的发展起着重要的推动作用。但随着邮轮旅游市场的不断扩大,邮
研究背景卵巢癌是一个由不同临床病理和分子特征的异质性卵巢肿瘤组成的集合。在全球范围内,卵巢癌都是最致命的妇科恶性肿瘤。尽管有不少研究者对新型化学疗法、靶向疗法和
伴随着大数据时代的到来,数据量正呈现指数级增长,与此同时所带来的在数据分析和挖掘等方面的需求也不断激增,而聚类分析作为数据挖掘的重要工具,其研究热度一直很高,但是每
目的:研究表明过长或过短的睡眠时长均会引起全因死亡风险的增加。但行为危险因素和健康状况是否影响以及如何影响睡眠时长与全因死亡的关系,睡眠时长如何促进全因死亡风险的
声子晶体,基于其展现出的超常弹性波操控性能和丰富的动力学行为,正在基础物理研究与工程应用探索等方向蓬勃发展。例如,声子晶体所具有的弹性波带隙、局域缺陷态与负折射率
无论是要解决器件散热问题,还是要更好地设计热功能材料,都需要对纳米尺度导热规律有更深入的了解。纳米结构特征尺寸与平均自由程相当,此时傅里叶导热定律不再适用,热量以弹
高精度室内定位是众多领域的共性研究问题。本文将室内定位从实现机制上分为主动式与被动式定位,针对主被动定位各自的优缺点,本文拟选择智能手机惯性数据与普通单目监控视频
合约是双方合意的表示,能够促进合作剩余的产生,而合约形式选择能够对合作剩余的分配、双方预期与权益保障产生深刻影响。随着土地流转规模日益扩大,加强农户的土地流转合约
随着智能时代的到来,情感识别任务成为众多学者研究的热点问题之一。研究情感识别不仅能够优化人机交互的体验,而且在个性化推荐、健康监督、交互式游戏等等方面具有广泛的应
图像处理技术因深度学习的发展取得了革命性的进步,尤其在分类与识别领域,其表现已经接近甚至超越人类。然而这些成果主要体现在模式识别领域的成功,离真正的人工智能还任重