很多计算机视觉问题可以被看作图像对二元关系学习问题,它们学习图像对二元关系预测模型,用来预测一个给定的图像对是否满足特定的二元关系。在已有的图像对二元关系中,相似性关系和偏序关系是计算机视觉中最常见且最重要的二元关系。相似性关系学习(又称相似性学习或相似度学习)方法的目标是学习合适的相似度,使得图像之间的相似性可以在分类或聚类中得到更好地度量。与相似性关系不同,偏序关系是一种反对称关系,其目标为预测两个图像之间的相对次序。截至目前,研究人员已经提出了一系列相似性学习方法,其中马氏距离度量学习和深度相似度学习方法最为普遍和常用。马氏距离度量学习方法通过马氏距离来表示相似性,大多数现有的距离度量学习方法都是通过基于传统的梯度下降相关求解算法、启发式算法或一步训练求解,然而这些求解方法往往难以兼顾模型的识别准确率和训练效率。近年来,研究人员提出了一系列深度相似度学习方法以突破传统方法的人工特征提取造成的瓶颈,现有的深度相似度学习方法往往将相似度表示为图像深度特征的欧氏距离,这类模型虽然在图像识别中效率较高,但是尚不足以表示图像之间的联系,使得模型的识别效果受到一定限制。深度孪生网络以其参数较少,相对不容易过拟合等优点,广泛应用于深度相似度学习方法中,然而其在偏序关系学习中应用仍然很少,所以如何将深度孪生网络扩展到偏序关系学习成为了一个亟待解决的问题。此外,现有的偏序关系学习方法主要应用于排序问题,然而在回归问题中图像对同样满足偏序关系,如何在回归问题中通过学习图像对的偏序关系以改进回归效果,同样是需要解决的问题。在有些应用中,图像对之间有多个元素存在偏序关系,所以同样需要对偏序关系学习方法进行扩展,并设计多偏序关系的学习方法,用以联合学习多个元素的偏序关系。本文针对上述问题,针对图像对相似性关系与偏序关系学习提出了一系列方法,主要包括:(1)基于距离度量学习的图像对相似度学习方法:本文将距离度量学习表示为一个包含半正定约束的核分类问题,并提出了两种距离度量学习方法,即基于半正定约束的度量学习方法和基于非负系数约束的度量学习方法,这两种方法均可以保证度量矩阵的半正定性。本文通过迭代训练支持向量机来训练这两个模型,该算法可以保证解的全局最优性。在UCI数据集分类、手写数字识别、人脸验证和行人识别的实验结果表明,本文的方法可以达到满意的分类准确率与较高的训练效率。(2)基于特征融合的图像对深度相似度学习模型:本文通过提出了一个新的相似度函数来引入图像对特征,以更好地表示图像之间的联系,并且将图像对特征与单图像特征融合,以结合这两种特征的优点并提高识别效果。本文提出了一种基于深度卷积网络的相似度学习方法来联合学习这两种特征,并且在合理的计算代价下取得更高的识别准确率。此外,本文使用基于二元组和三元组的学习模型来学习该相似度,并将这两种模型学习的相似度进行结合。在CUHK03、CUHK01和VIPeR数据集的实验表明本文的方法可以取得较高的识别准确率以及花费合理的训练时间。(3)基于孪生卷积网络的图像对偏序关系学习方法:本文将深度孪生网络从相似度学习扩展到偏序关系学习。本文首先建立了图像的二阶表示和偏序关系预测函数,然后提出了基于深度孪生卷积网络的偏序关系学习模型,该模型不仅可以应用于排序问题(如相对属性预测),还将该模型应用于回归问题(如年龄估计),尽管回归问题并非以偏序关系预测为目标。本文通过实验评估该模型在相对属性预测和年龄估计应用中的效果,实验结果表明该模型的预测效果超过其他的对比方法。(4)基于孪生卷积网络的图像对多偏序关系联合学习方法:本文将多偏序关系学习问题看作一个多任务学习问题,并基于深度孪生网络提出了一种多偏序关系学习方法。为了联合学习多偏序关系,本文提出了一种深度孪生网络,该网络包含两个共享参数的分支,每个分支包含空间子网络和回归子网络,它们分别学习图像的空间特征和目标值的回归算子。每个目标值的学习采用相同的空间子网络与不同的回归子网络。实验结果表明本文的方法在相机姿态估计和相对属性预测中取得了较好的预测效果。