随着互联网、多媒体技术的飞速发展和社会信息化程度的加深,图像、文本、语音和视频等共存并具有高度语义关联的多模态数据呈现出爆炸式的增长。近年来诸如视觉问答和图文检索等基于图像和文本的多模态学习任务,引起了学术界的研究热潮和工业界的应用关注。由于视觉问答和图文检索任务的复杂特性,图像和文本之间的多模态关键学习问题仍然亟待解决。本文聚焦于视觉问答和图文匹配这两大重要研究课题,对视觉问答中的空间关系图推理学习和深度统合多上下文学习,以及图文检索中多级匹配特征的学习和集成,这三个图像和文本的多模态相关学习问题进行研究。本文的主要工作如下:（1）针对需要空间关系推理的视觉问答问题,提出了问题引导的空间关系图推理视觉问答模型（Question-Guided Spatial Relation Graph Reasoning Model,QG-SRGR）。为了能进行空间关系推理,首先利用视觉对象之间的大小和位置等空间关系属性结构化建模图像为空间关系图;然后通过计算问题引导的节点注意力和边注意力分别发现与问题相关的视觉对象和空间关系;最后基于节点和边注意力权重提出并构造了门控图推理网络,通过门控图推理网络的信息传递机制和控制特征信息的聚合来捕获到节点之间的深度空间交互信息,从而学习得到具有空间感知的视觉特征表示以达到基于问题的空间关系图推理学习。模型在VQA v2.0数据集上进行训练、验证和测试,实验结果表明,QG-SRGR模型相比于先前的模型在各项准确率方面都有明显提升,特别是对于需要空间关系推理的问题,模型展现出较好的推理能力。（2）针对视觉问答中深度多上下文学习缺失和统一建模的问题,提出了深度统合多上下文学习网络（Multiple Context Learning Network,MCLN）。为能进行多上下文学习,MCLN探索了包括视觉上下文、文本上下文和视觉文本上下文在内的三种上下文信息。同时,为了将多上下文学习整合到一致的学习框架中,提出了统一的上下文建模策略并构建了三个相应的上下文学习模块。对于深度的上下文学习,通过将三个学习模块组合成多上下文学习层（Multiple Context Learning layer,MCL）,提出用深度堆栈MCL的方式提取图像和问题的深度上下文信息。此外为了获得更全面的上下文信息,本文还构造了一个上下文化的文本编码器,并对其进行了微调从而增强文本特征提取阶段的文本上下文学习。将MCLN运用在视觉问答数据集VQA v2.0和GQA上,实验结果表明与先进的模型相比,MCLN在各项评估指标上均取得了显著的优势,并且大量的消融研究验证了所提出方法的有效性。（3）针对图文检索中基于标量的余弦相似性不足以充分描述图像和文本特征之间复杂匹配模式的情况,以及经验性集成多级匹配相似缺乏可解释性的问题,提出了一个多级匹配网络（Multi-Level Matching Network,MLMN）,该网络能够学习和集成多级匹配特征。首先实现图像和文本在全局和局部级别上进行表示;针对余弦相似性的不足,通过多模态因式分解双线性池化来模拟两种模态的高阶交互,设计了两条基于向量的匹配路径来学习相似性表征更强的匹配特征,从而捕获到图文之间复杂的匹配模式;接着为了有效整合多级匹配特征,提出了一种基于全局匹配信息并且可解释的自适应匹配集成策略;最后为使基于匹配特征度量相似性的MLMN模型能够从负图文对中准确地检索出正配对的图文,图文检索问题被进一步视作二元分类问题,并且构造了带最硬负样的二元交叉熵损失对MLMN进行优化。在MSCOCO和Flickr30K数据集上的实验结果表明,MLMN比其他的图文检索模型具有更优的检索效果。