随着信息技术的发展,知识的呈现形式趋向于跨媒体特性,即多模态异构数据以交叉混合的形式来共同表达知识,传统的单模态数据分析与处理技术无法很好应对这一形式的变化。因此,海量异构媒体数据的分析与处理技术亟待研究。异构媒体数据分析与处理的主要问题之一是多模态数据的异构性带来的度量挑战,即异构鸿沟问题。为了解决这一问题,本文围绕文本和图像这两种主要的异构数据形式,从特征嵌入学习入手,主要研究基于特征嵌入学习的文本图像检索、基于特征嵌入学习的文本辅助图像多标签分类和基于特征嵌入学习的文本辅助图像语义分割等内容。论文的主要研究内容和创新成果包括:（1）提出了一种基于任务驱动和对抗学习的特征嵌入学习方法。由于数据的异构特性,现有特征嵌入学习方法不能有效解决异构媒体数据在公共特征空间中分布不一致的问题,导致异构媒体数据在嵌入空间的相似性度量不准确。针对上述问题,本文根据不同的异构媒体检索任务学习特定的嵌入空间,利用对抗学习来降低文本和图像在嵌入空间的分布差异,从而使文本和图像在嵌入空间中的表征分布保持一致。在两个主流的基准数据集Flickr30K和MS COCO上的实验表明,本方法可有效地提升异构数据检索的性能,对于图像检索文本任务和文本检索图像任务性能分别获得了3.75%和3.35%的平均增益。（2）提出了一种基于丰富特征表示的特征嵌入学习方法。由于异构媒体数据表示方式的单一性,导致异构数据在嵌入空间的表征能力差。针对上述问题,本文分别构造图像和文本的丰富特征表示,并通过基于难样本挖掘的三元组损失函数来学习嵌入公共空间的丰富特征。在MS COCO和Flickr30K这两个主流的数据集上的实验表明,本方法可有效地提升异构数据检索的性能,图像检索文本任务和文本检索图像任务上的性能分别获得了3.11%和2.38%的平均增益。（3）提出了一种面向图像多标签分类的特征嵌入学习方法。由于部分类别存在视觉目标不可见、外观形态差异大以及目标类别整体服从长尾分布的问题,导致开放环境下的图像多标签分类准确度差。针对以上问题,本文将文本蕴含的常识信息迁移到图像多标签分类中,利用双路协同学习网络区分各种图像目标类别之间的差异,并将此差异化的信息整合起来用于预测标签类别,进而得到更具有信服力的预测结果。在大规模图像识别数据集Recipe1M上的实验表明,本方法可有效地提升食物图像多标签分类的性能,能获得8.27%的平均增益。（4）提出了一种面向图像语义分割的跨模态特征嵌入学习方法。由于图像语义分割标注成本大,使得语义分割数据集通常比较小,导致在标注数据有限条件下语义分割结果较差。针对以上问题,本文使用多模态预训练方法进行任务间的知识迁移,首先利用大量易获得的文本和图像训练图像文本交叉检索模型,然后将检索网络学习到的知识迁移到图像语义分割模型中,实现了从检索任务到语义分割任务间知识迁移的目标。本文构建了一个新的食物图像数据集,在此数据集上的实验结果表明本方法可有效提升食物图像语义分割的性能,能获得2.2%的平均增益。