通过图像中的对象关系检测可挖掘图像更加细粒度的特征和提供结构化的图像内容表示,增强复杂场景下图像检索的效果。本文针对图像中的对象关系提取以及将其应用在图像检索领域进行了研究,通过提取图像中对象和对象之间的特征构建视觉关系预测模型,采用知识增强的方法来处理对象关系中固有的长尾分布(Long-tailed Distribution)问题。图像检索根据三元组对象关系组成的场景图(Scene Graph)提出了基于硬匹配(hard matching)和软匹配(soft matching)两种匹配方式,提高复杂场景中的图像检索能力。具体工作包括:(1)对象特征表示与先验知识表示融合学习:提出了将对象特征和先验知识表示联合建模的方法来预测对象之间的关系。通过目标检测模型来定位图像中的实体对象,并从中提取对象的视觉特征、对象间的位置特征和类别特征构建视觉关系预测模型。通过符号表示学习将文本知识库(Wikipedia、图像描述、场景图等)中的符号向量化,得到对象和关系的符号向量并通过映射函数构建对象关系的语义相关性,通过先验知识表示学习拉近相似类型关系的距离,提高预测的准确率以及解决对象关系长尾分布造成的Zero-shot或Few-shot问题。(2)基于场景图的图像检索:提出基于对象关系组成的场景图(Scene Graph)进行图像检索的方法,解决复杂环境场景下的图像检索问题,同时提供了以图搜图和以文本搜图两种检索方式,提出了基于硬匹配(hard matching)和软匹配(soft matching)的两种匹配方式,来提高场景图的语义匹配能力。(3)图像检索系统原型实现与实现验证:在检索应用中部署对象关系预测模型,实现图像检索的系统原型,并在视觉对象关系数据集VRD和Visual Genome上验证对象关系预测模型的准确率和应用在图像检索领域的有效性。实验表明对象特征表示构建的视觉关系预测模型能够很好的捕捉对象之间的关系,通过先验知识增强的方式使视觉模型预测结果得到了显著的提升,在VRD和Visual Genome数据集上的Recall值分别提高了约21.3%,16.8%。将对象关系组成场景图应用在图像检索领域相较于直接提取整张图像特征用于检索的Median Rank值从20提升到了6。