随着人类文明的发展和科技的进步,人们了解这个世界的手段越来越多,获取的数据也更加复杂多样,信息的获取、处理等也从单一的形式逐渐变成图片、文本、视频等多模态的数据。传统机器学习一般针对某一类型数据进行建模学习,而当前面对种类繁多的多模态数据,多模态机器学习也应运而生。无论是传统机器学习还是多模态机器学习都离不开对数据的处理,如何有效获得数据中的信息始终是一个重要的研究领域。传统机器学习中的数据表征学习一般是从单一模态数据中提取数据特征进行表示,多模态数据表征学习则是对多种不同模态下的数据进行融合,形成多模态数据表征。当前对多模态数据的表征学习研究仍然存在诸多问题。比如,不同模态数据的异构信息中,可能存在一些互补信息,而目前对这些互补信息的获取仍然处于起步阶段;现实生活中的数据往往会有缺失,比如对齐信息的缺失,而目前的多模态表征学习对于这种未标注对齐的数据无法利用;多模态数据表征基于有效的单一模态数据表征,而对结构化离散的属性数据的表征仍然不能充分获取数据的内在信息等。针对目前存在的一系列问题,本文围绕多模态数据的表征学习进行研究。本文主要贡献如下:（1）提出了基于模态内部结构传递的多模态数据表征学习框架（MTLS）。本文将单一模态内的数据结构作为互补信息,通过数据结构相互传递的方式来利用这种互补信息从而提升多模态数据表征的质量。同时,本文设计了松弛的度量学习策略来进行各模态之间数据结构的传递,同时通过无限边界的铰链损失函数加强了单一模态内的聚类结构。进一步地本文利用三元组的双向索引排序损失函数来对不同模态内的数据对象进行对齐,设计了交替的优化策略,来分别对不同模态下的数据对象以及数据结构进行对齐。最后我们将该框架应用到图片和文本模态,通过跨模态检索任务以及图片的聚类任务验证了表征的有效性。（2）提出了有限对齐数据下的图像-文本多模态表征学习模型（AMRL）。本文利用对齐数据的数据模态对齐以及非对齐数据的分布对齐,来提升多模态数据表征的质量。基于多模态数据表征,设计了自增强的模态内数据对齐策略提升单模态下的表征质量。另外,通过交替的数据分布对齐和模态对齐训练,使得得到的多模态数据表征在跨模态检索上有较好的表现。最后,本文构造了少配对样本数据集以及未见配对样本数据集,测试有限对齐数据下的多模态数据表征在跨模态检索任务的效果,同时测试自增强的模态内数据表征在图片模态下自检索任务的效果。（3）提出了基于层次化耦合关系的离散属性数据表征学习模型（CDE++）。本文分析了离散属性数据的层次化耦合关系（关联关系）,从不同的层次来捕获这些耦合关系。我们通过基于出现频率和共现概率来捕捉底层的特征值之间的耦合关系,然后设计了一种混合聚类策略,以在较低层次捕获更复杂和异构的特征值聚类。通过不同的聚类粒度来实现从不同的角度和语义上对特征值进行聚类。然后利用自动编码器来学习高层的特征值类之间的耦合关系,并产生低维的特征值表征向量,进而得到数据对象的表征。我们通过有监督以及无监督的学习任务验证了该模型的通用性及有效性。