指称表达理解（Referring Expression Comprehension,REC）是近年来较为流行的计算机视觉和自然语言处理交叉领域的一个核心研究方向。其本质是通过给定的指称语言文本描述,准确定位视觉图像中相应目标区域的一种跨模态视觉-文本任务,因此需要模型能够充分理解复杂的语言文本语义和各种视觉目标的特征信息。尽管目前关于指称表达任务已经取得了显著的进步,许多基于两阶段和单阶段的指称表达模型被研究人员提出。但是由于现实场景中往往存在视觉和语言特征描述差异较大、图像现实场景复杂、语义歧义等问题,使得指称表达任务仍面临着巨大的挑战。为了降低不同模态间差异的干扰,提升指称表达任务的效率和准确率,我们对现有的指称表达研究工作进行了详细的研究,在单阶段框架下提出了两种加深不同模态特征交互的方法,具体算法设计如下:1.针对指称表达任务中视觉-文本模态差异较大,且现有模型在复杂场景中容易受语义歧义影响而出现性能下降的问题。我们提出了一个融合自注意力机制的多模态分层聚合的方法,通过模态间和模态内的特征交互,有效利用文本-视觉模态内部各元素之间的信息联系从而生成更加全面的全局上下文特征表示,实现语义信息的补充与对齐,从而有效提升了模型面对长、复杂语句的处理能力,大大提高模型定位目标的准确性。最终,我们在Flickr30k Entities和Refer It Game公开数据集上进行了大量的实验,相较于之前经典的指称表达方法,该模型在两个数据集上均有不同程度的性能提升,平均精度分别达到69.22%和64.67%,实验结果充分证明了该方法的有效性。2.现有单阶段指称表达模型大多存在缺乏对全局信息的捕捉、视觉-文本上下文特征相互独立的问题,因此许多模型在处理复杂图像内容和长难文本语句的情况时普遍存在性能大幅下降的现象。为了解决这个问题,本文提出了一种基于Transformer结构的单阶段指称表达模型,简称为REC-Tr模型。本文在Transformer模型的结构框架下,设计了跨模态编码器和指称表达解码器两个主要部件。跨模态编码器通过引用多个自注意力层,输出视觉文本的联合嵌入特征信息。解码器将文本特征与编码输出的视觉文本联合特征进行计算,使其在解码器部分能够学习和捕捉与指称表达语句相关的视觉上下文,为指称表达理解提供更加全面、准确的信息。最终,我们在Flickr30k Entities、Ref COCO、Ref COCOg三个公开数据集上进行了实验,实验结果证明相较于之前的单阶段指称表达方法,基于Transformer的REC-Tr模型有较为显著的性能提升,尤其在Ref COCO Test A数据集上平均精度达到了82.09%,远远优于之前的大部分方法。