图像分类是计算机视觉领域一个重要研究方向,在商品推荐和移动支付等互联网领域中具有良好的应用前景,也是无人驾驶等高科技产业中的关键支撑技术。随着图像规模的急剧扩增及人工智能产业发展的迫切需求,在大规模或复杂场景图像数据上获得具有高判别性和鲁棒性的图像表达愈发重要。鉴于深度卷积神经网络(CNN)近年来所展现的强大特征学习能力和二阶统计量协方差能够充分利用特征本身包含的有效信息且计算简单高效的优势,本文开展了基于深度卷积特征二阶统计建模的图像分类方法研究,利用二阶统计信息来进一步提升图像表达能力,提出两种新的高判别、鲁棒的图像分类方法。论文主要研究内容和创新性工作如下:(1)提出了多层融合的二阶统计卷积神经网络模型(HLBP-CNN),并有效应用于图像分类和检索任务中。HLBP-CNN基于单个CNN架构,采用二阶统计模型融合不同卷积层的深度特征,构建了特征层累加、表达层累加和特征级堆叠降维三种双线性池化深度神经网络模型。HLBP-CNN不仅有效利用了不同卷积层固有信息的二阶统计量,而且提供更精准、鲁棒的图像表达能力。在Birds200-2011、FGVC-aircraft和Flower-102等七个广泛使用的数据集上进行了细粒度图像分类和检索任务实验,实验表明HLBP-CNN优于其基准双线性卷积神经网络(B-CNN),与当前最优方法相比也表现出相当甚至更好的性能。(2)提出了基于深度卷积特征鲁棒协方差表示的图像分类方法。对深度卷积特征进行协方差估计建模可有效提升图像表达能力,但其存在小样本下高维卷积特征的协方差难以鲁棒估计和高维协方差表达引起的计算与存储成本问题。为解决该问题,本文提出了一种深度卷积特征的鲁棒协方差表示方法。首先,引入两种正则化的最大似然估计在高维和小样本情况下对深度卷积特征进行鲁棒协方差估计;然后,考虑到协方差的黎曼几何结构而提出一种大间隔降维方法对协方差表示进行降维,其不仅显著降低了鲁棒协方差表达的维数,还提高了判别能力。在纹理分类、人脸识别和细粒度图像分类三种不同视觉图像分类任务上对所提出方法进行了测试与比较,实验表明提出方法优于同类方法且达到当前最优水平。