传统的图像识别需要人工操作提取特征，成本高，且有些图像特征是根据特定的场景设计的，不具有普适性。随着深度学习的发展，卷积神经网络作为其分支，有效避免了人工设计和提取特征，在图像识别领域获得了广泛的应用。然而粗粒度的图像分类无法满足人们对图像的了解更深层次的需求，细粒度图像分类方法应运而生。细粒度图像分类任务要求对图像细节进行辨认，即使人类也难以在如此小的类间差异和大的类内差异中区分数百个下属。加之同一类中图像背景复杂，不同的姿势、角度和照明条件使任务变得更具挑战性。搭建合适的卷积神经网络结构能够实现端对端的细粒度图像分类任务。
　　本文介绍了卷积神经网络以及双线性卷积神经网络的基本理论。在CUB-200-1011鸟类数据集和Stanford Cars汽车数据集上验证双线性卷积神经网络对于单标签细粒度图像的分类效果，通过调整网络层次结构、归一化方法、输入图像数据大小对分类任务进行优化，实验表明减少图像剪裁可以提高准确率。
　　针对更为复杂的细粒度图像数据，如多标签、数据不平衡，双线性网络并不适用，本文改动训练集采样方法，搭建了一个“粗细结合”的深度网络。此网络结合空间金字塔池化和特征融合的优势，将模型不同层的卷积生成的特征图通过空间金字塔池化层融合，能够同时利用图片的整体特征和局部特征，自动检测差异，对细粒度图像分类问题有较大的提升。
　　利用集成学习的方法进一步优化网络模型，提升分类准确率。本文最终建立的粗细结合的模型在人类蛋白图谱数据集上进行了验证，与经典卷积神经网络相比较，训练的精度与F1得分均有提升。