细粒度图像识别无论在工业界还是学术界都有着广泛的研究需求与应用场景。双线性卷积神经网络（Bilinear Convolutional Neural Networks,B-CNN）因其编码方式具有卓越的提取细粒度特征的能力,由于细粒度图像识别的关键在于局部特征的提取与识别,所以应用B-CNN有效的提取并识别细粒度图像的区分性特征,是提升细粒度图像识别精度的方法之一。本文主要从两个方向对B-CNN模型进行优化:第一个方向,本文提出基于方向梯度直方图（Histogram of Oriented Gradient,HOG）特征提取的B-CNN模型,此方法使用HOG提取细粒度特征来加强对于网络的监督约束,在此基础上改进网络模型的激活函数来使模型更加快速的收敛。第二个方向,本文提出基于多分支及多尺度的细粒度图像识别,该模型在基础网络的基础上加入定位分支与多尺度分支,使模型能够更加准确地定位不同具有区分性的局部特征。本文的具体工作如下:1.本文针对网络模型提取特征不当和激活函数构造不当的问题,提出基于HOG特征提取的B-CNN模型。本文首先提取原始图像的HOG特征图,然后将其作为图像特征的补充输入到B-CNN中进行训练。同时,本文结合Swish函数和Arc Re LU函数构造出SwishArc Re LU激活函数用于进一步改进网络模型。本文将此模型应用于Caltech-UCSD birds（CUB＿200＿2011）数据集以及Stanford-Dogs数据集,实验结果表明此方法的识别准确率分别达到91.3%,97.9%,明显优于传统B-CNN模型,具有实际应用价值。2.针对如何更加精确的定位到有区分性的区域以及如何进行更加有效的数据增强的问题,本文提出基于多分支及多尺度的B-CNN模型。本文方法使用三个分支网络对图像识别过程进行监督,首先通过原始分支提取物体的整体特征,然后通过定位分支获得物体的边界框信息进而对识别目标进行定位,接着通过多尺度分支提取出几个区分性最强,冗余度最小的区域进行裁剪得到多尺度局部图像来进行数据增强,最后将裁剪后的图像发送给卷积神经网络模型进行训练,使得网络模型能够学习不同比例以及不同部位的细粒度图像特征。实验结果表明本文提出的基于多分支及多尺度的B-CNN模型具有实际应用价值。