多源图像融合是指将具有互补信息的多张图像合并成具有最优信息的单张图像的过程。多源图像融合技术根据具体输入图像的不同,可细分为多焦点图像融合、多曝光图像融合、红外和可见光图像融合等应用分支。目前,这些多源图像融合技术已经在军事和民用等多个领域获得广泛应用。因此,研究性能更高、计算资源消耗更少和鲁棒性更强的多源图像融合方法,具有很强的理论价值和实用价值。本文首先研究了几种经典多源图像融合方法的基本原理,包括传统图像融合方法以及基于卷积神经网络(Convolutional Neural Network,CNN)的方法。涉及的传统图像融合方法又分为简单加权平均方法和基于多尺度分解的方法。与传统方法相比,基于CNN的方法有明显的优势。它将传统方法中需要人工精心设计的融合策略交由CNN网络自动生成,解决了传统融合方法研究中面临的融合精度不足与适应性差的难题。基于分类CNN网络的多焦点图像融合方法,开创性地将图像分类网络引入图像融合应用中,后续进行的多焦点图像融合研究基本上是在此基础上的不断改进。然而,由于采用了分类网络和基于分块的策略,这类方法在焦点区域和非焦点区域分界处的融合效果不甚完美,常产生边缘不锐利并同时混杂焦点区和非焦点区内容的现象。除此之外,此类方法的融合效果还依赖于精心设计却又繁琐的后处理过程,适应性差,不便于实际应用。针对现有方法存在的问题,本文提出了一种新的基于端到端CNN的多焦点图像融合方法。该网络可以直接由源图像生成最终的融合决策图,并且通过引入多尺度特征提取单元和视觉注意力单元,最大限度地从源图像中提取跨尺度互补的结构特征信息,并准确分离焦点区和非焦点区的特征图,从而大幅提升了融合精度。和现有的几种先进方法相比,该方法的融合效果更好,实时性更强。此外,为了解决现有多曝光图像融合方法融合过程复杂且在极端曝光条件下融合效果不佳的问题,本文还针对性地提出了一种基于无监督学习的多曝光图像融合方法。与现有大部分方法不同,该方法无需花费大量时间和人力获取各种特殊条件下采集的多曝光图像,而是采用普通的自然图像通过仿真方法自动生成源图像。针对多曝光图像亮度差异较大的特点,本文方法首先将源图像的色度通道和亮度通道分离,而后采取不同的策略分别对两种通道进行融合处理。其中,亮度通道的融合,利用一种引入分层处理思想的CNN网络实现,并采用了一种新的加权结构相似度函数作为损失函数以提高融合精度。主观和客观实验结果表明,该方法在视觉效果和量化融合精度上均优于现有的经典方法。而且,该方法所提出的网络模型还能应用于红外和可见光图像融合,具有较强的应用扩展性。