跨模态检索是多模态学习领域中一项十分重要的研究。不同的数据类型,如图片、语音、文字等有其固有的特征,称之为不同模态的数据。跨模态检索旨在探索不同模态数据间的语义关联信息,为处在不同模态、但具有相同语义信息的数据建立语义连接。从而可以跟据语义连接对不同模态间的数据进行检索。本文主要聚焦于图片和文本两个模态间的检索。当前主流跨模态检索算法都着眼于模态内的细粒度信息,如图片中的显著性区域和文本句子中的单词等。通过将两个模态内细粒度特征对齐,从而实现模态间整体语义结构的对齐。但是这些方法往往只关注对模态间的实体信息进行语义对齐,忽略了模态内各个细粒度特征间的语义关联信息,在检索过程中容易造成歧义。对于跨模态检索任务而言,细粒度特征的对齐意味着两个模态内包含有相同的实体信息,但各个实体间的关系并不确定,导致不同模态表达的语义信息会存在不一致,造成歧义。因此,对模态内的细粒度特征间的关联信息进行建模是十分有必要的。由于保留了模态内的局部性结构信息,增加了关联信息的细粒度特征更具有鉴别性,因此,当两个具有关联信息的细粒度特征进行匹配对齐时,也是在对该细粒度特征所在的局部结构进行对齐。这使得训练得到的网络具有更强的泛化能力,能够识别模态间较为复杂的局部结构,提高模型检索精度。针对上述问题,本文从模态内细粒度特征间的关联信息出发,对其进行建模推理。实验结果表明,本文提出算法可以较好的对模态内细粒度特征间的关联信息进行建模,捕获到细粒度特征的局部结构信息。本文主要工作如下:（1）提出了一种基于掩码注意力的图网络跨模态检索算法。为解决图片-文本模态间的存在的语义鸿沟问题,当前细粒度跨模态检索算法主要采用注意力机制构建新的共享语义空间,继而计算查询模态与共享语义特征间的相似度,从而构建查询模态与其对应模态间的语义关联。采用注意力机制可以使得重要的细粒度特征获得较多的关注,不相关的特征获得较少的关注。但不相关的特征仍会对构建的共享语义空间产生影响,造成歧义。本文提出算法通过对模态内细粒度特征间的关联信息构造掩码,进一步消除模态内不相关特征的影响,同时增强了重要特征在共享语义空间中的表达。（2）提出了一种基于Transformer的相似度推理跨模态检索算法。为更精确的捕获细粒度特征间的关联信息,从而对模态内的局部语义结构进行建模,提高检索准确性。本文提出算法采用Transformer对模态内细粒度特征间的相似度信息进行推理。通过Transformer结构中相似度信息间的信息传递,使得每个相似度向量学习到其局部语义结构信息,有助于模型进行更为复杂的模态间匹配与检索,提高了模型的检索精度。（3）提出了一种基于关系推理的细粒度跨模态检索算法。算法基于图神经网络和Transformer结构,分为两阶段完成,可以更为精确的对模态内细粒度信息间的关联信息建模,模态间局部结构匹配。第一阶段采用图神经网络构建,基于两个模态内的细粒度特征构建语义结构图,将模态内的细粒度特征作为节点,细粒度特征间的关联信息作为边。使得细粒度特征在保留自身实体信息的基础上,学习其与邻居节点间的关系信息,有助于两个模态间局部结构信息的匹配。第二阶段采用Transformer结构对细粒度特征间的相似度信息进行推理,进一步增强了细粒度特征间的关联信息,提升了模型的检索能力。