多模态表征学习已经成为计算机视觉、自然语言和语音处理等领域中一个热门研究方向。然而,现有大多数多模态表征学习方法在多模态层次特征提取和多层次特征融合方式上仍然面临一些挑战亟需解决。（1）信息不对称问题,即现有方法多关注如何提取某种模态的细粒度的局部信息来增加监督,导致在其他模态上找不到与之相对应的部分,从而影响监督信息发挥作用。（2）混合层次融合问题,即现有方法多使用统一表征方法对多模态数据进行混合层次融合,造成数据的层次性被忽略。这些挑战使得大部分现有方法难以有效解决多模态表征学习任务。为解决信息不对称问题,本文提出加强多角度全局信息提取的特征提取方法,从多层次特征提取模型和层次间损失函数两个方向改进。本文除了能够提取局部信息,还能从不同角度充分利用全局信息,相比于现有方法关注提取细粒度的局部信息来增加监督,本文不仅增加了监督信息,而且有效避免了细粒度局部信息造成的信息不对称问题。其次,为了加强层次间约束,本文提出了层次间一致性损失函数,进一步帮助表征学习。本文在视频-文本检索任务和视频字幕任务上进行大量的实验并提供了可视化结果,实验结果证明了本文所提出的方法提取的特征能够包含更丰富的信息。为解决混合层次融合问题,本文提出分层次特征融合的多模态协同表征模型,从特征融合方法和跨模态知识蒸馏两个方向改进。本文除了能够将多模态信息进行融合,还能充分利用到信息的层次特性,相比于现有方法关注使用统一表征方法来进行多模态混合层次融合,本文不仅融合了多模态信息,还考虑了信息的层次特性,丰富了表征。其次,因为多模态数据的质量不一,粒度不一的特点,本文提出了跨模态知识蒸馏方法来进一步提取有用信息。本文在视频-文本检索任务和视频字幕任务上进行大量的实验并提供了可视化结果,实验结果表明本文所提出的分层次融合方法能够有效融合多模态数据的特征帮助表征学习。