人类对于外部世界的认识通常是基于多种感知的综合响应,例如视觉、听觉、触觉等等。多模态数据是同一事物在不同形式下的展现结果,通过融合这些数据可以更加深入的了解事物的本质结构。在多模态融合中,传统的模型通常会忽略分析样本重要性对于模态融合的影响。在本文中,引入自步学习模型来改善这一问题。自步学习模型与人类教育过程类似,将样本按易学到难学进行排序然后逐步进行训练。本文的研究内容是基于自步学习的多模态融合算法,主要工作和创新点如下:首先,提出一种基于低秩表示的多模态融合模型。具体来说,不同模态数据之间存在共享信息。通过对模态数据进行低秩约束,可以抽取它们之间的潜在主体结构信息以帮助每个模态对样本做出更好的分类。进一步地,面对不同多模态数据源,利用L_2,p范数来自主性控制模态数据之间的稀疏性。鉴于L_2,p范数的非凸性,本文提出了一种通用的框架将其转换成凸问题并且证明了其合理性和原函数的收敛性。与此同时,本文采用自步学习模型来分析样本的重要性以帮助描述不同模态之间的相关性,从而进一步增加模型的鲁棒性和泛化能力。在ADNI和多光谱掌纹数据上的实验结果表明,所提出模型对多模态数据进行分类时可以取得更高的分类精度。另外,针对单层自步学习模型可能会因为早期训练缺乏样本而变得不稳定,本文提出多层自步学习模态融合模型。在一层自步学习训练结束后,将收敛结果作为先验知识传递到下一层模型训练中,这样可以有效地改善初始模型的稳定性。并且,当面临含有大量噪声的多模态数据,仅仅学习易学样本可能使模型的泛化性能变得很差。对于每次迭代中产生的错分样本,所提出的模型为其分配其更高的权重使得下一次迭代中可以得到更多的关注。在UCI公开数据集上与多种融合方法进行了比较,验证了提出方法的有效性。