跨媒体数据是指在描述相同概念或事件时,通常使用的表达相近语义,但来自不同模态、不同视角、不同来源的数据。随着信息技术和移动互联网的迅猛发展,数字图像、文本、音频、视频等跨媒体数据正呈爆炸式增长,改变了人们的生活和工作方式。如何利用人工智能技术分析理解这些跨媒体数据的语义内容,已成为计算机科学领域的一项重要研究内容。跨媒体数据的语义分析是包括图像自动标注、跨媒体信息检索、视觉问答等在内的各类跨媒体智能应用的基础。目前跨媒体数据的语义分析依旧面临着巨大挑战。主要表现在:（1）“语义鸿沟”问题导致相同类型的媒体数据特征表示和高层语义的不匹配;（2）“异构鸿沟”问题导致不同类型的媒体数据分布和特征表示不一致。这两大鸿沟严重阻碍了跨媒体数据的准确语义分析及其应用。如何实现跨媒体数据的语义关联理解,是跨媒体语义分析的核心问题。一类方法是跨媒体统一表示,即通过构建公共语义空间,使得模型能够在该空间中直接使用欧式距离或余弦距离等衡量异构数据之间的相似性。通过这种方式缩小跨媒体数据异构鸿沟。然而传统的统一表示基于各媒体数据的全局特征进行建模,无法做到跨媒体数据之间的细粒度信息对齐,并且会引入噪声。另一类方法是特征融合方法,融合不同模态数据的特征并基于融合后的特征分析跨媒体数据之间的语义关联。这类方法的核心是捕捉模态间复杂的关联关系,并利用这种关联关系促进特征融合。但如何捕捉跨媒体数据之间的复杂关联信息还有待深入研究。鉴于此,本文以图像和文本等主要跨媒体数据为研究对象,针对各类跨媒体语义分析应用任务中的图像视觉特征与语义内容之间的鸿沟问题,跨媒体数据之间的异构鸿沟问题,进行了深入研究。旨在利用深度神经网络的非线性建模能力,挖掘跨媒体数据之间的细粒度关联信息,提升跨媒体数据语义分析的准确性,进而应用到各类跨媒体应用中去。论文主要工作包括:1、本文提出了一种基于语义排序学习的语义增强框架,并应用于图像自动标注任务中。跨媒体语义增强的目标是利用视觉特征和文本特征之间的对应关系,寻求一种有效的映射机制。基于具有显著判别分布特性的文本特征,这种映射可以较好地改善视觉特征的杂乱分布特性。我们设计了一个简单但有效的神经网络进行语义排序学习,实现该映射。传统基于排序学习的自动标注模型直接对标签进行排序,而我们的模型主要由两个阶段组成:第一阶段,训练排序神经网络帮助测试图像搜索到更准确的语义近邻图像。第二阶段,采用近邻模型将语义近邻图像的标签传播到测试图像。为了验证该语义增强框架的能力,我们在4个主流公开数据集上进行了丰富的实验。实验结果表明,我们提出的基于语义排序学习的语义增强方法可有效缓解图像视觉特征语义鸿沟对图像语义内容理解带来的不利影响,从而有效提升图像自动标注模型的标注准确率。2、提出了基于文本语义关系的文本表示方法,并在此基础上提出了一种新的基于级联互注意力机制的跨媒体信息检索模型SCANet。传统的文本数据建模方法通常采用与网格数据相同的特征提取方法,将文本表示为“扁平”的特征,忽略了其他文本内部显式或隐式的复杂关系。而本文采用图模型建模文本词级的语义近邻关系信息。我们采用全局共享的图结构和针对特定文本上下文感知的图特征进行建模,并采用级联图卷积神经网络增强词级表征,最终通过对词级的特征融合获得关系感知的文本表示。为了验证该文本表示方法的有效性,我们在此基础上设计了跨媒体信息检索模型SCANet,并通过构建级联互注意力网络,深入挖掘图像-文本跨媒体细粒度语义关联信息,利用这种关联信息实现文本和图像在公共意义空间的细粒度语义对齐,并且采用距离度量学习,以数据驱动方式,学习在公共语义空间中两种媒体数据之间的相似度度量。在5个主流数据集上的实验结果表明,本文提出的文本表示方法和级联互注意力机制可有效缓解跨媒体信息异构鸿沟给信息检索带来的不利影响,有效提高了跨媒体信息检索的效果。3、提出了基于视觉关系推理和注意力机制的跨媒体融合方法,并应用到跨媒体信息检索和视觉问答任务上。我们提出的跨媒体融合方法能够获得不同模态特征之间复杂的对应关系,为下游的预测任务提供充足的判据。我们设计了视觉关系推理模块和视觉注意力模块,结合两者,可以有效融合跨媒体数据特征,进而提升跨媒体信息检索和视觉问答的准确率。视觉关系推理模块可在问题引导下,同时推理图像中各目标两两之间的视觉关系和若干目标之间的关系。视觉注意力模块则采用双线性模型,具备细粒度特征交互能力。在跨媒体检索和视觉问答两种任务上的丰富实验结果表明,视觉注意力模型增强了与问题有关的目标信息,视觉关系推理模型则将目标之间的视觉关系融入到图像特征中,两者结合后可有效缓解跨媒体信息异构鸿沟带来的不利影响。