随着互联网技术的飞速发展,人们在日常生活中也在不断创造并分享着各种多媒体素材。面对网络中量级日益增长的海量多模态数据,传统的单模态检索已经逐渐不能满足用户的需求。如何使计算机正确理解多模态数据之间的语义关联进而实现跨模态检索,已经成为多媒体理解领域的重要研究课题。为此,本文利用语义和常识信息围绕跨模态图像文本检索任务开展了深入的研究工作,其中主要的创新性研究成果如下:（1）提出了一种堆叠式多模态注意力网络用于跨模态图文检索任务。该算法利用堆叠式注意力机制,通过联合使用单模态信息和多模态语义信息作为作为指导,利用多步骤的注意力推理实现对细粒度跨模态关联的捕捉。此外,通过对匹配图文实例之间的距离施加约束,能够更好地保持公共空间中多模态数据的分布一致性。（2）提出了一种堆叠式放缩激活循环残差网络用于跨模态图文检索任务。首先,该网络将多种语义增强操作集成到表征模块中,通过模块的多层堆叠实现多层级特征的提取。此外,为捕捉多层次特征之间隐含的语义关联,提出一个跨模态语义差异约束,进而利用语义层级之间的关联性来缩小异构数据之间的分布差异。（3）提出了一种共识知识感知的视觉语义嵌入模型用于跨模态图文检索任务。通过统计图像描述语料库中语义概念之间的共现关联将共识知识（Consensus）建模为概念关系图,并将其与图卷积网络结合学习得到对共识知识敏感的概念表征。在此基础上,我们能够利用共识知识对多模态数据进行高阶语义概念的推断和表征,进而实现更精准的跨模态语义对齐。（4）提出了一种常识知识辅助的视觉语义嵌入模型用于跨模态图文检索任务。通过将知识图谱、统计关系与图神经网络相结合,同时实现对逻辑型常识知识和统计型常识知识的抽取,从而将多种常识知识融入到跨模态表征之中。以上方法均在两个公开基准数据集MSCOCO和Flickr30k上进行了测试,大量实验证实了本文所提四种方法的先进性。