目前的计算机视觉系统在图像的一般分类任务中已经取得了较高的准确率,但在一些需要对图像进行更精细分类的任务中还不能得到令人满意的结果。主要困难包括细粒度类别之间极强的类别相似性、姿态变化引起的类内差异以及高度局部化的特征。本文主要研究了基于部件的图像细粒度视觉分析理解技术。通过分析细粒度分类研究对象的结构特点,我们通过挖掘和检测细粒度研究对象的身体部件,提取局部特征并将其有序化,以获得具有判别力的特征并减少量化误差,从而提高细粒度视觉分析的性能。按照对物体部件的使用条件不同,这些方法可分为使用真实部件信息的强监督分析方法、仅使用训练样本部件信息的弱监督方法,和完全自主学习部件信息的无监督分析方法。本文主要研究工作包括:(1)提出了一种基于强监督部件稀疏表示的细粒度分类方法,适用于部件坐标已知的数据。该方法利用已知的部件坐标进行部件对齐,目的是提取高度局部化的特征,以缓解细粒度分类中特征量化误差造成的特征低判别力下降的问题。特征提取过程建立在稀疏表示的基础之上,但和一般稀疏表示需要学习字典的基不同的是,我们直接使用训练样本经过对齐的部件图像作为基,来线性表示查询图像中对应的部件图像。由于使用了部件的真实坐标信息,该方法是直接利用部件的强监督学习方法。通过直接将部件作为线性表示的基,能够保留基的类别信息,并将基的类别信息传递至最终的分类向量中,从而减少特征量化带来的误差。我们还统计了稀疏表示系数的方差,以描述不同部件对于分类的贡献大小。实验表明,通过使用上述表示方法,我们能够在较低的计算复杂度下有效提升细粒度分类的准确率。(2)提出了一种基于弱监督与无监督部件检测和部件制导分割的细粒度分类方法。该方法从获取更精确的分割前景和抑制背景噪声方面提升分类的效果,适用于具有部分部件坐标或者无部件坐标的数据。为了利用部件指导前景分割,我们分别设计了弱监督和无监督两种部件检测方法进行部件检测。弱监督的部件检测适用于具有部分真实部件坐标的数据,无监督的部件检测能够完全自主挖掘部件信息。相比于强监督的方法,进一步放宽了使用部件的限制条件,具有更强的泛华能力。在分割阶段,我们迭代地优化GrabCut分割的前景输出和检测阶段获得的部件假设,使得部件假设和前景输出达到最大的一致性。即如果一个被检测到的部件被划分为背景,那么就增大下一次分割迭代模型中该部件被分为前景的概率,同时减小部件假设中该部件为前景的概率,达到利用部件指导分割的目的。实验表明,该方法通过保留部件获取更精确的分割前景以及抑制背景噪声,在分割准确率和分类准确率方面都获得了明显的提高。通过对比,我们还发现了一般物体分割方法在分割细粒度物体方面的局限性。(3)提出了一种基于显著性无监督部件结构划分的弱结构物体细粒度分类方法。对于部件形状差异极大的弱结构物体,难以进行部件检测并提取局部有序化的特征。为此我们提出利用显著性信息来发现和划分物体部件,并在局部进行特征学习以提取局部具有判别力的特征进行分类。该方法首先使用一种改进的基于显著性信息的分割方法对物体进行前景分割,然后在分割前景中计算前景的显著度图像。为了挖掘部件区域,我们对前景显著度图像的像素进行聚类,按照类别将前景划分为若干独立的部件区域。实验表明,无监督部件划分能够成功发现一些具有语义信息的部件,并且对于形状尺度变化具有很强的鲁棒性。在此基础上,我们按照部件组织特征,分别为每一种部件学习局部的视觉单词和提取局部特征。最后通过局部的特征编码为每种部件产生最终的特征向量用于分类。相比于全局类的弱结构物体分类方法,我们的方法能够提高物体的局部细微特征在整个特征向量中的表达效果,获得更好的分类效果。(4)提出了一种基于部件的跨类别细粒度检索应用和对应的检索方法。不同于一般图像检索关注的相似图像的检索问题,该应用主要解决相似部件的检索问题,即检索和目标图像具有相似部件的图像。通过跨类别地搜索具有视觉相似的部件的图像,以发现细粒度类别之间的联系。由于视觉相似的部件在分类学和感知科学中往往暗示着其具有相似的功能特性,从而反映对象在遗传进化方面的同源性,其对于生物学等具有重要意义。针对目前的部件定位网络无法提取单一部件特征的问题,我们设计了基于几何约束的部件池化层。其通过计算部件的相对距离,调整部件图像的感受野,以聚焦于特定部件的特征提取并减少来自其他部件的干扰。在检索阶段,我们利用部件特征构建了一个两步搜索策略和相似性排序函数,以提高检索的精度和效率。另外,我们利用神经网络的激活节点热力图计算不同部件对于分类一类物体的重要性度量,并借此将使用单一部件的检索扩展为使用多部件的检索。同时,针对弱结构物体,我们根据弱结构物体的部件划分方法设计了对应的检索方案,并证明了其有效性。