人们身处在跨模态环境,人工智能要更好地理解人们所处的环境,则需要具备解析跨模态信息的能力。通过模态学习搭建能处理和连接跨模态信息的模型。如在内容理解领域,需要分析文本、图片、视频、语音等跨模态数据对应的不同级别特征和其他辅助描述特征等。因此跨模态媒体分析是目前人工智能研究中重要的课题之一,它为不同表现形式（模态）数据间提供了沟通的桥梁。根据跨模态数据的不同表现形式,研究者将跨模态媒体分析任务细分为具有不同目标的子任务,如跨模态数据检索和跨模态媒体翻译等,并在子任务的方向上进一步地探索与研究。随着计算机性能的不断发展,深度学习技术逐渐成为实现跨模态媒体分析任务方法中的主流。计算机利用深度学习技术捕捉跨模态数据的内容并构建这些内容的联系,进而实现相应的任务。本文针对跨模态媒体数据的分布,分析了跨模态数据的特性及相关深度学习技术的优缺点,在不同方向上对跨模态媒体分析任务进行了研究与探索。本文从基本的图像与文本数据出发,分析并理解图像与文本跨模态间的内容与联系,并将理解的内容用于实现图文间的相互检索任务。接着,本文将跨模态数据的理解工作推广到具有复杂分布的视频与文本的相关工作中,并实现手语视频翻译任务。最后,本文针对上述工作中需要大量训练数据的问题,以图像和文本为基准,利用跨模态媒体信息帮助网络模型在样本量不足的情况下完成相应的任务。本文的主要工作如下:（1）提出了一种基于深度学习技术的图像与文本相互检索方法,该方法在捕捉图像与文本内容的同时还在深度学习隐空间中衡量图像与文本间的相关性。在深度学习网络训练的过程中,该方法不仅对已标注样本进行学习,还利用大量的无标注样本对网络参数进行优化。实验表明,该方法在联合优化策略下取得了优异的检索效果。（2）提出了一种基于深度学习技术的从手语视频到自然语言的翻译框架。针对手语视频信息的表现特性,该框架使用时域卷积网络学习视频短时序的动作内容,并用循环卷积网络学习视频长时序的语义内容,同时设计了一种融合网络衡量动作内容与语义内容之间的联系。最后,该框架利用得分融合策略提升手语视频翻译过程的准确率。（3）提出了一种基于全卷积的手语视频翻译框架。结合卷积的性质,该框架利用低层的卷积操作关注视频短时序的动作内容,并利用高层的卷积操作捕捉视频长时序的语义内容。同时,该框架使用稠密连接机制将不同层级的视频内容融合与学习。实验表明,该框架较基于循环神经网络的翻译框架缓解了过拟合现象,同时翻译的结果更准确。（4）提出了一种基于跨模态知识发掘的少样本学习方法,并在数据有限的情况下利用跨模态信息增强深度学习网络的鲁棒性。该方法首先从图像中分离出前景和背景来补充对图像内容的表达,接着从文本标签中获得语义相关性知识并将其用于网络模型的训练,最后结合数据分布知识平衡网络的学习过程。实验表明,该方法大幅提升了少样本学习的准确率,同时该方法也可以提升部分现有的少样本学习的工作。