多源信息在现实世界中广泛存在,并且蕴含更丰富的内容。如何利用多源信息改善模型性能以及提升模型鲁棒性,已成为机器学习研究的热点问题。在各种机器学习算法中,分别从模型特征输入和环境反馈信息来看,存在两种广受关注的多源信息:多模态表示和多辅助奖赏。其中,多模态表示丰富了模型的输入信息,多辅助奖赏丰富了强化学习的指导信息。本文针对如何利用两种形式的多源信息进行了研究,并取得了相应进展:1.复杂多模对象的预测问题研究。复杂对象通常可以用多种模态来表示,例如,复杂文章包含文本段落和图片。以往的方法假设多模态的示例之间存在一致性,然而在实际应用中该假设往往得不到满足,例如,文章中文本段落和图片数量不定且不存在对应关系。多模态多示例多标记学习在处理此类复杂对象预测问题上表现出色,但是多模态多示例多标记学习面临两个挑战:1)如何有效利用标记相关性;2)如何充分利用未标记数据。为了解决这些问题,本文提出了一种新颖的多模态多示例多标记深度神经网络模型,该模型基于模态包级别的一致性端到端地训练深度神经网络。在该模型的基础上,我们使用基于最优传输的损失函数,并自动学习标记代价度量矩阵,从而利用标记相关性。此外,我们在该模型的半监督扩展中引入了未标记数据训练每个模态示例级的自动编码器和包级别最优传输。因此,本文所提的方法可以更好地预测标记并利用标记相关性和未标记数据。在基准数据集进行的实验验证了所提方法的有效性。2.多源辅助奖赏的决策问题研究。环境反馈信息是强化学习关键的组成部分,在很大程度上影响了强化学习算法的效率。稀疏奖赏和延迟奖赏会增加任务难度,造成现有的方法难以有效地探索,阻碍了强化学习的应用。通过引入领域知识构造辅助奖赏,多源辅助奖赏强化学习获得了优越的性能,然而仍然面临着两个问题:1)如何安全地引入领域知识构造辅助奖赏;2)如何自动组合奖赏函数。为此,本文提出了自动连续强化学习方法,该方法基于奖赏塑形在强化学习环境中引入领域知识,缓解稀疏奖赏带来的问题。为了在学习的不同阶段使用合适的奖赏函数,该方法自动选择最优的奖赏组合方式。仿真实验表明,本文所提出的方法在经典控制环境和视频游戏中均取得了优越的性能。此外,本文所提方法在现实世界均成功得到了应用。复杂多模对象的预测方法被应用于王者荣耀论坛的复杂文章分类中,提升了复杂文章分类的准确率。多源辅助奖赏的决策方法被应用于家居自动布局领域,降低了家居布局的经济成本和人类劳动。