论文部分内容阅读
图像分类是计算机视觉领域的基础任务与研究热点,它是目标检测、语义分割、目标跟踪等视觉处理任务的重要组成部分。因此研究图像分类技术具有重要的理论意义和应用价值。近年来,随着大数据时代的到来,计算机运算能力的提升以及深度学习技术的发展,多种基于卷积神经网络结构设计的图像分类算法被相继提出,它们极大地推动了图像分类的发展。然而,卷积神经网络结构具有复杂性、多样性、联结方式多变性等特性,这些因素导致图像分类在网络结构构建、网络模型轻量化等重要问题上依然面临着挑战。研究并设计高效的卷积神经网络结构是计算机视觉领域的迫切需求。因此,本文展开了对面向图像分类的卷积神经网络子结构的设计与方法的研究。本文从图像分类出发,以提升卷积神经网络的特征提取性能为总体目标,从特征提取结构设计和特征增强结构设计两方面对卷积神经网络的结构进行了研究。同时对利用网络子结构设计解决迁移学习中迁移知识结构的问题和噪声标签的问题进行了探讨。本文的具体研究内容和主要创新点概括为以下几个方面:第一,针对现有激活函数无法适应输出变化的问题,从特征提取结构设计角度出发,提出了参数化形变指数激活函数。该方法首先为激活函数引入函数属性优异的形变指数函数形式,同时引入可学习的参数化因子用于调节激活函数对网络层输出的响应尺度。最后,本文提出了一种适用于该激活函数的网络权值初始化方式。该激活函数有效地提升了卷积神经网络的非线性建模能力。第二,针对现有网络训练中单损失监督无法有效构建特征分布的问题,研究了优化过程中的监督信息,提出了基于混合监督损失函数的图像分类方法。该方法首先引入两个辅助损失函数约束特征类内紧致特性和类间分离特性。然后,利用多损失混合监督单个分类器,从而降低特征之间的差异性。本文从理论上证明了混合监督损失函数的优越性。该方法能够提升卷积神经网络的特征提取能力,并可以推广到文本分类等任务。第三,针对现有利用注意力模块无法有效调节不同网络层的特征增强方式的问题,从特征增强结构设计的角度出发,提出了基于自适应调节的注意力模块。该方法首先融合现有的注意力机制,然后通过引入一组可学习参数对注意力子模块进行加权,学习不同网络层的注意力模块自适应分布,从而提升网络的特征增强能力。第四,针对样本在训练阶段同等处理导致样本间区分度低的问题,进行了基于样本间特征增强的结构设计的研究,提出了基于批维度的注意力模块。该方法首先利用样本内注意力机制生成多维度注意力权值。然后利用注意力权值生成样本重要性并进行样本间归一化操作,从而生成样本间相对重要性。最后利用样本相对重要性对样本特征进行整体加权,有效提升样本特征间的区分度。第五,针对现有迁移方法中无法很好地传递老师模型特征信息给学生模型的问题,提出了基于多组知识迁移结构的算法。该方法首先引入多老师模型进行联合迁移,然后同时迁移网络的最终预测层结果和中层特征,并对中层迁移特征进行分组量化以消除信息冗余问题。最后构建样本间特征的相似性度量,从而有效提升知识迁移的效果。第六,针对现有监督学习框架下样本标签中含有噪声的问题,提出了基于样本特征重标定模块的噪声标签分类算法。该方法首先对输入空间的样本进行融合增广,并对网络进行隐式线性正则,从而简化模型训练的复杂度。然后在特征空间利用融合注意力机制进行样本加权,从而达到样本特征增强的效果,最后在标签空间引入标签软化降低噪声标签对监督信号的影响,从而探索标签隐式信息。该方法有效提升卷积神经网络对标签噪声的抗噪能力。