细粒度图像分类是用来区分同一类别下不同子类的。由于该任务存在类间视觉差异细微的难点,细粒度分类任务相对于通用分类更具挑战,如何从图像中学到更具判别性的局部特征是解决此问题的关键。在现有细粒度分类方法中,双线性模型和破坏重建模型被认为是应对细微类间差异最有效的两种模型。双线性模型可以不依赖额外标注信息,通过特征交互自主挖掘判别性特征。破坏重建模型则通过打乱图像的全局语义信息生成破坏图像,迫使网络去学习图像局部区域内的判别性特征。但是,这两类模型都存在严重的问题:1)双线性模型中用于交互的特征集是指定的,且没有利用多尺度特征间的互补信息;2)破坏重建模型忽略了不同粒度的图像局部信息,也未能消除破坏图像中各局部区域的边缘噪声。针对这两类模型存在的问题,本文开展了以下研究:针对问题1,本文提出了基于自适应交互选择的多尺度双二次池化模型。该模型能够改进网络中不同语义卷积层的特征交互方式,并自适应地为特定数据集学习最优的交互子集。首先,本文提出了双二次池化模块,通过哈达玛运算对两组不同卷积特征的层间关系进行建模,之后通过双线性池化的方式对同一特征的不同通道进行层内相关性建模。其次,本文从多个语义级别中提取了不同尺度的卷积特征,利用不同语义级别特征间的互补信息来进一步强化双二次池化的性能。最后,本文提出带监督信息的稀疏的交互选择模块,为特定数据集自适应地从所有候选交互集合中学习最优的交互子集。针对问题2,本文提出了基于注意力的多粒度区域混淆模型。该模型旨在提取图像局部区域内的判别性信息来提升目标识别精度。首先,本文提出了多粒度区域混淆机制,将原始图像划分为多个局部区域并随机打乱这些区域,促使神经网络去学习图像中不同粒度的判别性特征。其次,本文设计了一个多尺度融合的空间注意力模块,用来消除区域混淆机制所引入的区域边缘噪声,并辅助网络更精细地去定位目标不同粒度的判别性区域。综上所述,本文提出了两种通用的细粒度分类模型,分别从优化特征交互方式和关注图像局部区域的角度进行研究。在多个公开数据集上的实验结果也证明了本文所提模型的优异性能。