近年来,多源数据的获取变得越来越容易,大规模的多源数据集为研究多模态学习提供了便利。同时深度学习的发展帮助多模态学习完成了巨大的飞跃。多模态学习是深度学习技术应用在计算机视觉领域的常见方法,例如跨模态的图像识别任务、多媒体内容分析与理解任务等。多源数据的普遍性和深度学习技术的发展使得研究多模态深度学习具有重要的理论意义和实际价值。多源特征融合作为多模态学习最早的研究方向之一,也是目前应用最广的研究方向。本论文以基于多源数据的深度特征融合学习为具体研究对象,展开了两项研究工作。第一项工作提出了一种新颖的基于多源特征融合的多视图对抗度量学习方法,其主要针对包含同一个对象不同的表现形式的多源数据,采用了混合融合的特征融合方式;第二项工作则从多模态视频数据出发,提出了一种基于多源特征融合模型的视频人物识别方法,主要采用了后端融合的特征融合方式。在第一项工作中,本论文提出了一种多视图的对抗度量学习方法。该方法充分考虑了多源特征视图内和视图间的关系。视图内度量旨在通过合成难区分负样本来混淆当前度量,从而提高每个特定视图的辨别能力。而视图间度量旨在消除视图不一致并生成具有挑战性的视图间样本,从而挖掘多个视图间的共享关系。该方法将两个对抗模块结合起来,形成用于后续任务的最终特征表示,提高处理具有挑战性的多视图数据任务的性能。在多个基准多视图数据集上进行的大量实验证明了该方法有效性。此外,该方法在多源RGB-D识别任务和人脸漫画识别任务的实验,显示了该方法在基于深度网络提取的特征上也具有出色的性能。在第二项工作中,本论文针对视频人物识别问题,提出了一种基于深度学习的多模态特征融合算法。该方法的网络结构由多个单模态多层感知机识别模块和一个多模态特征融合模块组成。该方法首先预处理视频生成的多模态数据,然后使用不同模态数据训练多个深度网络,在此基础上将多个子网络生成的特征加权融合完成最终的识别任务。模型通过特征加权融合模块结合不同的模态的信息可以达到更好的识别效果。该方法能够克服视频数量巨大、包含信息复杂等困难,适用于多模态数据的分类或识别任务。在大规模的明星人物视频数据集的实验表明,该方法的特征融合策略有效地提高了模型对视频人物的识别性能,无需多模型集成,单个模型的平均精度均值达到了89.52%。