双线性卷积神经网络在图像分类任务中研究的是细粒度图像分类问题。细粒度图像分类在计算机视觉领域是一个重要的研究方向,这一任务的目的是在粗粒度图像中进行子类别的划分,其在生态和物种保护的应用中能够起到十分重要的作用,因此有着广阔的研究和发展前景。由于在细粒度图像中,子类别物体之间的差异通常比较细微,因此一般只能依靠微小的局部差异来完成分类任务,如何更好地构建细粒度图像分类模型成为了这一任务的研究重点。近几年来,深度卷积神经网络快速发展,表现出强大的特征学习能力,使得深度学习方法在图像分类领域中获得了广泛的关注和深入的研究,本文在双线性卷积神经网络基础上,从三个不同的角度对该方法进行了改进,以解决细粒度图像分类任务中存在的不同问题,本文主要研究内容和贡献如下:在细粒度图像分类中,标注框的使用是一个重要的因素,对于去除无关背景干扰起到很大的作用,而在现有的细粒度图像分类方法中,使用的标注框都是来自数据库提供,因此对于不提供标注框的细粒度图像数据库,无法准确地定位图像中的物体。本文在双线性卷积神经网络的基础上,加入检测得到的标注信息,提出了基于目标检测和双线性卷积网络的图像分类,该方法不再使用数据库提供的标注框,而是利用目标检测算法对图像中的前景物体进行标注,并且在网络训练中使用检测得到的标注框,这样不仅减少了人工标注图像所带来的大量工作,同时还能拓展应用到各种类别的其他数据库上,有效地提高标注信息在细粒度图像分类算法中的实用性。另外,本文还对标注框的使用方法进行了评估,使检测得到的标注信息能够获得最大程度的利用。在训练网络过程中,高维度的特征往往会包含更多的图像信息,有助于细粒度图像的特异性表达,但过高的维度也会消耗更大的运行内存,在网络训练时引入过多的参数量。因此,针对这一问题,本文提出了一种基于近似二阶统计特征的卷积网络模型,利用哈达马积计算建模图像信息的二阶特征表达,同时在这种特征建模的基础上设计了三种全新的网络架构,能够做到在不损失图像特异性信息的情况下,控制特征表达维度的大小和网络训练中参数量的数目,使得在细粒度图像分类任务中得到有竞争力的分类精度。二阶统计特征的建模在细粒度图像分类任务中是一种常见的特征建模方法,对于图像的二阶信息,可以从特征的空间相关性和通道相关性等多个角度进行建模,本文受到双线性卷积神经网络中建模特征通道相关性的启发,从空间相关性角度对特征进行二阶建模,并且提出了基于特征融合的卷积网络模型,在图像表达层面,对不同方法建模得到的图像二阶特征进行了融合,融合的两种特征建模方法分别为:本文第三章提出的基于近似二阶统计特征网络的图像分类,和图像二阶空间协方差特征,该融合方法在细粒度图像分类任务中得到了较高的性能提升,证明了利用不同方法得到的二阶统计信息之间存在互补性。