随着人工智能和深度学习的快速发展,图像文本匹配逐渐成为跨模态领域中一个重要的研究课题。实现图像文本的正确匹配需要对视觉和语言之间的对应关系有强大的理解能力。近几年,基于深度学习的图像文本匹配方法取得了显著的成功,然而现有方法仍然有以下问题:第一,图像文本匹配需要深入理解单模态内信息,例如图像中各对象之间的关系、文本单词的长远依赖关系,还需要探索图像区域和文本单词的细粒度对齐关系,如何将以上两点融合在同一个模型里有待解决。第二,现有的细粒度图像文本匹配将所有可能的图像区域和文本片段进行多次相似性度量,虽然准确率有很大提高,但是多次相似性度量导致模型计算量过大,并且会有很多不必要的冗余对齐。第三,先验知识能够增强模型的表征能力和可解释性,减小模型内部复杂度,如何有效构建和利用先验知识是一个值得探索的问题。因此本文的具体研究内容如下所述:（1）针对如何将模态内信息和模态间信息融合在同一模型中的问题,本文提出了基于自注意力机制的图像文本匹配方法。该方法不仅对单模态内信息使用强大的自注意力机制进行建模,同时也对图像区域和文本单词使用交叉关注的方式进行建模。实验表明,该方法有效提高了图像文本匹配的准确率。（2）针对现有细粒度匹配方法计算量过大和缺少多视角匹配的问题,本文提出了基于Transformer架构的多视角图像文本匹配方法。该方法对图像分支和文本分支堆叠了多层Transformer架构,并在最后一层共享图像和文本分支的权重。在相似性度量阶段,该方法使用空洞卷积的方式构造多视角匹配,使得模型能够以不同的视角理解图像。该方法所有输出的图像向量和文本向量都属于紧凑型向量,减小了模型的计算量。实验结果表明,该方法有效提高了图像文本匹配的准确率。（3）针对如何构建先验知识来指导图像文本匹配的问题,本文提出了基于先验知识图的图像文本匹配方法。该方法利用先验知识图来指导图像文本匹配,有效地利用先验知识可以减少模型内部的计算量,增强模型对真实情况的理解能力,而非专注于某个数据集。该方法使用图卷积的方式构建先验知识图,使得先验知识之间有了深刻的联系。在图像和文本特征提取阶段分别采用了自注意力机制和一维卷积,增强了模型的推理能力。实验表明,该方法在两个基准数据集上有效提高了图像文本匹配的准确率。