理解和表示多模态数据一直是人工智能领域非常重要的研究课题,其中一个重要的研究分支是采用深度概率生成模型对多模态数据进行建模。近年来,基于变分自编码器框架的多模态生成模型在多模态数据的建模方面取得了丰硕的研究成果。然而,多模态数据固有的多类型、异质性和冗余性的特点使得对其进行建模仍然面临很多问题。针对这些问题,最近的研究表明将多模态数据的共享与私有信息解耦表示可以有效地提升模型推理与数据生成性能,但现有的研究工作也存在对多模态数据的信息抽取不准确等问题。针对该问题,本文发现对共享信息的对齐与融合是关键因素,因此通过引入度量学习的方法,并结合自监督学习的思路进行了研究探索,主要研究成果如下:针对多模态数据的表示与生成,本文提出一种基于自监督的多模态解耦变分自编码器模型（Self-supervised learning-based disentangling multimodal variational auto-encoder,SD-MVAE）,该模型主要通过以下三种方式提高了模型解耦表示与生成的有效性:1)引入共享隐向量及私有隐向量构建多模态数据的生成机制;2)采用专家积函数将共享隐向量进行融合;3)利用基于三元组损失的自监督方法进行共享隐向量对齐。在MNIST-SVHN、MNIST-CDCB数据集上的实验结果表明SD-MVAE模型可以有效地进行数据解耦表示,相关的数据表示可以显著提升数据交叉生成、转换生成的准确度及生成图像质量,同时可以有效提升模型在多模态数据分类、跨模态检索等下游任务的效果。通过进一步的研究,本文针对SD-MVAE模型存在的模型训练参数较多,以及难以对不同模态数据进行解耦表示约束等问题,提出了一种基于四元组度量损失的多模态变分自编码模型（Quadruplet metric loss based multimodal variational auto-encoder,Q-MVAE）。该模型通过优化模型架构与模型训练目标函数,并引入四元组度量学习损失,能够使用更少的训练参数取得了与SD-MVAE模型相当的模型性能。在MNIST-SVHN、Celeb A数据集上的实验结果表明Q-MVAE模型不仅在数据表示与生成性能以及在下游任务上的效果均有良好的表现,而且该模型还表现出了对多模态数据更细粒度的解耦表示与生成的潜力,这些都一定程度展现了此模型在图像处理方面的应用前景。综上所述,本文针对多模态数据的表示与生成,在变分自编码器框架下结合了度量学习,提出了相应的模型与算法,为深度概率生成模型处理多模态数据提供了一定程度的思路与技术支撑。