多模态数据是从多个来源或特征子集获得的数据。例如,一个人的身份可以通过从字迹、指纹、面部、眼睛虹膜等多个来源获得的数据进行识别,而一张图像可以用其颜色和纹理特征来表示。大数据时代的来临,对所有数据进行标注是非常困难的,而聚类算法可以根据样本之间的相似性关系对其自动分组,所以,近年来针对多模态数据的聚类算法得到了越来越多的关注。多模态聚类的关键在于探索各模态数据间的共享信息,传统的多模态聚类算法只能提取样本的浅层特征,不能有效挖掘出隐藏在数据中间的更深层次非线性特征。与此同时,深度学习通过模拟人脑的认知过程,可以对特征进行很好的非线性变换,从而提取出多模态数据的更深层特征。基于此,论文针对深度多模态聚类算法进行研究,主要内容如下:1、针对现有的基于自编码器的深度多模态聚类方法仅使用重构损失不能保证重构样本与原始样本间主要信息的一致关系,导致不能有效提取用于聚类的多模态潜在描述这个问题,提出了一种新颖的深度对抗多模态聚类（Deep Adversarial Multi-modal Clustering Network,DAMC）网络,使得各模态学习到的潜在描述可以互相生成原始样本,且不丢失主要信息,获得更具有一致性的聚类结构。具体而言,采用多模态编码-生成网络提取每个模态潜在描述并使其生成所有模态对应的重构样本,保证了各模态潜在描述间的独特性与共享性。同时,使用判别网络和均方误差共同约束生成的重构样本并不丢失原始样本的主要信息,保证了所提取潜在描述的有效性。此外,采用加权自适应学习来获得共享潜在描述,并嵌入聚类网络以进一步提高聚类性能,利用_1,2范数约束共享潜在描述,使其具有区分性。在视频、图像和文本数据集上的实验结果表明,该方法优于其他多模态聚类方法。2、为了解决现有的深度多模态子空间聚类算法没有同时考虑模态内和模态间数据的几何分布关系,导致聚类效果较差这个问题,提出了基于对抗t-SNE的多模态子空间聚类（Adversarial t-SNE for Multi-modal Subspace Clustering,At SNE）算法。该算法利用对抗t-SNE网络来使得卷积编码器学习到的每个模态的潜在描述和所有模态共享潜在描述的分布保持一致,并采用自表达层学习一致的聚类结构,保证聚类结构包含模态内数据和模态间数据的几何分布关系。最后,采用卷积解码器来重构数据样本,以确保编码后的特征可以保留原始数据的信息。在四个多模态图像数据集上的实验结果表明,该算法具有优越性。