细粒度图像识别任务主要是要识别不同大类下的子分类,该任务作为通用图像识别任务下一个应用前景广泛的子任务,因为其在新零售、生物医疗以及社会安防等场景中具有巨大的落地前景而广泛受到关注,其应用场景包括在大街小巷上设置摄像头对车辆进行车型年款级别的分类,在无人超市识别不同品牌的矿泉水,在生物研究中识别不同的病毒,这些应用场景都具有不可限量的价值。近年来,该任务已经在各个方面都取得了一些进展,但以下的几个问题仍然需要学术界和工业界共同关注:（1）图像背景干扰较大。与通用图像识别任务相比较,细粒度图像分类任务通常较复杂,存在着背景干扰等问题,背景信息中存在很多对分类无益的噪声,如何准确定位到具有分辨力的关键区域是一个需要攻克的难题;（2）图像标注信息获取难度较大。当前的通用图像识别任务一般只会在训练和拟合的过程中用到图像级别的标注信息,但是对于细粒度图像识别任务而言,图像级别的标注信息往往不能满足识别需求,需要用到更细致的部位级别的标注信息,例如物体标注框或者部位标注点等。这些信息会用来帮助定位到目标的关键特征和寻找具有区分性的区域,而这些额外的标注信息通常需要使用专家级的知识进行标注,这是一件人力成本高昂且耗时很长的事情。因此,如何在细粒度图像识别任务中仅使用图像级别的标注信息仍然具有挑战性,并且变得越来越重要;（3）具有区分性的细微特征利用率低。传统的图像识别任务主要是对类间差异较大的目标进行识别,典型的任务例如区分猫和桌子,这些目标在整体上就具有区分性较明显的特征,例如颜色、形状都有很大区别,但是细粒度图像类间对象在形态上差异较小,决定类间差异的往往是细微特征例如鸟喙形状。因此,是否能够有效利用图像中具有区分性的细微特征是决定细粒度图像识别任务成败的关键环节。因此,本文从过往的研究经验出发,针对目前的细粒度图像识别领域的问题和研究难点提出了一种基于多模双线性池化的细粒度图像识别方法,主要研究内容如下:（1）基于目标检测算法YOLOv3的判别性区域定位方法。本文在图像输入阶段预先使用目标检测算法YOLOv3对具有显著判别性的目标区域进行提取,这能够帮助对图像中检测目标以外的背景噪声进行抑制,降低无关背景对模型识别性能的负面影响;（2）基于多模双线性池化模型的细粒度图像识别方法。将第一步获得的目标区域输入到端对端的多模双线性池化模型中,模型由两个特征提取器组成,能够以平移不变的方式,对局部特征交互进行建模,通过将图片输入到两个卷积神经网络中提取出两个视觉卷积特征。该方法能够在学习图像数据的特征张量时分工协作,关注到不同尺度的目标特征,对不同大小的目标都有较好的识别效果。同时识别过程中仅需要使用到图像的标签信息,不需要使用额外的专家级人工标注信息,能够有效解决图像标注信息获取难度较大的问题;（3）基于TFN方法的特征向量融合。当双路特征提取器完成特征提取后,使用新的特征融合方法对获得的双路特征进行融合编码并输入分类器。本文通过对特征向量补1操作,并将两个一维特征向量的特征映射到不同模态间外积的高维特征空间。TFN特征向量融合通过模态之间的外积计算可以大大增加不同模态的元素之间的相关性,同时还会保留原始特征向量本身的信息,使用TFN特征向量融合方法对双线性池化模型提取的不同尺度特征进行融合,实现了高效利用图像数据中具有区分性的细微特征。