真实应用中的复杂对象语义丰富、表示复杂,如：包含文字、语音和图像的多媒体数据以及用于身份识别的面部和指纹特征等,这些从不同角度刻画或描述同一事物的数据被业界称为多模态数据或多组特征,如何将复杂对象表示为多组特征并加以学习成了研究者关注的重要任务,进而产生多模态学习。多数已有的多模态学习方法赋以多组多模态特征以相同的重要性,但在真实应用中不同的模态的重要程度是不同的,例如,在身份识别任务中使用指纹特征比面部特征更能获得更优的识别率。为此,本文对强模态辅助弱模态,并减少强模态收集开销进行了分析和研究,取得了如下创新成果：1.对不同模态的强弱加以划分,并提出了Auxiliary Information Regularized Machine (ARM)方法。该方法对弱模态最具有判别信息子空间加以提取,同时采用正则化技术对弱模态子空间信息加以有效利用,以此提高强模态预测。2.为减少强模态的收集开销,提出了ACQUEST(Active QUErying STrong modalities)框架。该框架通过主动查询挑选样本对应的强模态特征而不是标记信息,通过逆向预测技术缓解了对强模态特征取值查询可能带来的组合爆炸问题,将ACQUEST转为统一的优化模型,从而降低了整体的特征抽取开销。3.为了更有效使用强模态的领域知识辅助弱模态进行特征学习,提出了结合深度学习技术的多模态学习方法。该方法侧重在训练阶段利用强模态特征辅助弱模态学习更鲁棒的深度网络。