当今最为活跃的多媒体技术催生出文本、图像、声音和视频等不同类型的多媒体数据。这些不同媒体数据通常呈现出多模特性,而多模态学习就是处理这类多模态数据的一类重要学习模式。它处理的数据不限于多媒体数据,还包括其他呈现多模特性的数据。多模态学习通过如何有效关联多模态数据、学习共享子空间,挖掘出多模态数据的潜在共享信息,是多模态学习模型的关注点之一。本文将一些典型视觉应用视为多模态学习模式,并研究有效的多模态学习算法来提升这些视觉任务的效能。这点不同于现有多模态学习模型,它们通常只关注方法论本身。具体为,本文期望在视频跟踪应用中,利用典型相关分析来挖掘不同图像块之间的关联性,来提升跟踪效果;在图像检索应用中学习图像和其标签的共享子空间;基于标签游走和非负矩阵分解方法,实现半监督学习过程;将跨模态检索模型推广到语义匹配。本文主要工作包括四个方面:1.提出了基于l0约束的在线典型相关分析模型。图像中同一目标的不同部分,可视为目标的不同模态表征。这是因为同一物体包含相同像素值,但同时又存在不同的差异,暗含高度关联性。在视频跟踪任务中,为揭示这种关联性,提出了高效的在线典型相关分析方法改善外观模块和运动模块,提升跟踪器的性能。这带来两个优势:1)外观模块采用增量子空间方法,在跟踪过程中,避免求逆运算,有效地减少了计算复杂度;2)运动模块采用基于l0的鲁棒性表达,求出最大概率粒子,从而获得下一帧中最佳候选目标。通过定量和定性实验分析,提出的跟踪器有效提升原有单模跟踪器的效能。2.提出了自协作的哈希模型。将单模图像检索中的图像及其标签分别视为两类不同模态特征,提出了自协作有监督哈希模型。通过学习图像和其标签两个数据集的共享子空间,同时保持每个模态的独特性,并结合图嵌入保持样本间的近邻关系。此外,在不用增加额外约束项情况下,解决无监督模型中的标签缺失问题,以及通过图嵌入学习标签信息有效保证了自协作哈希模型能够处理多模数据。大量图像检索实验表明,提出的模型优于现有的浅层模型。3.提出了基于标签游走的非负跨模态哈希模型。在仅有少量标注的样本情况下,利用流形平滑思想,将标注数据的标签游走到无标签样本上。为缓解游走过程中因多模态间的语义差异所导致的标签传播误差,结合非负矩阵分解进行特征重构,将高维图像和文本数据映射到哈希子空间,来提高跨模态检索的检索效率和精度。通过实验验证了模型的有效性。4.设计了鲁棒的有监督跨模态检索模型。在标签监督下,将文本和图像两类媒体数据通过自身子空间映射到同一公共子空间,实现图像-文本语义匹配。同时,使用l2,1-范数实现特征选择,提高模型的鲁棒性。在三个实际图像-文本数据集上的跨模态检索实验,验证了提出算法的有效性。