图文互检索的研究横跨计算机视觉和自然语言处理两大研究领域。近年来,这两个领域分别在影像理解和文本语义分析方面取得了显著的进步,因此,图像语义互检索任务吸引了越来越多学者的关注,并取得了巨大的研究进展。然而,图文互检索任务仍然面对诸多挑战,如图像特征不能全面反映图像中包含的信息,对场景上下文描述不足;跨模态检索时两个不同模态的特征之间存在邻近关系不对称性等。本文针对上述问题进行了系统深入的研究,主要研究成果如下:(1)提出一种融合目标上下文深度视觉特征的图文对齐算法。传统的图文互检索算法是用基于ImageNet数据集预训练的卷积神经网络模型来提取图像的视觉特征,该特征包含丰富的目标信息,但缺乏对场景上下文的描述,因此,为了确保图像包含多重互补语义信息,本文融合基于目标的和基于场景分布的卷积神经网络提取深度视觉特征。然后,利用长短时记忆网络对文本进行编码,提取出对应的语义特征表示;接着,利用两个映射矩阵分别将视觉特征和文本特征映射到同一个跨模态的嵌入空间中,构建了更加适用于图像-语义描述互检索的跨模态嵌入空间。最后在MSCOCO数据集和Flickr30k数据集上评估了图文对齐模型的性能,实验结果表明,本文提出的图文对齐算法在各个指标上都取得了较VSE++等模型更好的结果,证明了本文所提取的视觉特征包含了更加丰富的语义信息,从而实现更好的图文对齐,构造了更优越的跨模态嵌入空间。(2)提出一种基于互惠近邻重排序的跨模态图文互检索方法。由于文本包含的是高度浓缩的语义信息,而图像特征里包含更为原始和丰富的语义信息,所以互检索时会出现邻近关系不对称的问题,从而影响检索的精度。本文在MVSE++空间中采用基于跨模态互惠近邻关系的方法对初始检索列表进行重排序,以减小图像特征和文本语义特征在跨模态嵌入空间中的邻近关系不对称性,从而降低图像-语义描述互检索的误差,提高检索精度。在MSCOCO数据集和Flickr30k数据集上的实验结果表明,本文提出的基于跨模态互惠近邻的重排序方法显著地提高了最终的图文互检索准确度,同时也有效缓解了在跨模态嵌入空间中检索关系的不对称性问题。