图像融合一直是图像处理领域里的一个重要研究方向,其目的是将不同模态图像中的信息融合在一起,使得融合图像既包含多个模态图像中的显著信息同时降低模态间的重复特征。图像融合在很多计算机视觉任务中都有重要应用,比如多源检测、目标跟踪、监控等。在近几十年里,学者们提出了很多解决图像融合任务的算法。基于多尺度变换的融合方法和基于稀疏/低秩表示的融合方法是传统的图像融合方法中最重要的两种,但是这些方法在学习过完备字典时非常耗费时间,并且手工设计融合规则使得模型复杂度变高。伴随深度学习的飞速发展,基于深度学习的图像融合方法被提出,在一定水平上缓解了传统方法中存在的问题。就红外与可见光图像融合而言,许多现存的图像融合算法需要利用预训练的网络提取多模态图像特征,或是使用自编码的方式训练模型的特征提取和重构的能力,最后设计融合规则实现融合的目标。手工设计融合规则,无法实现端到端的图像融合,使得网络缺乏自适应性。基于以上思考,本文以基于深度学习的端到端的图像融合任务作为研究重点,对融合网络和融合策略的设计进行思考。本文的关键贡献可以划分成以下几点:（1）提出了一种基于多分支重构网络的图像融合方法。现有的融合方法严重依赖于在特征提取生成的潜在特征空间中进行融合,从而将融合操作降级为在固定粒度操作。因此,本文提出基于多分支重构网络的从粗到细的图像融合策略。首先,在特征提取产生的深层潜在特征空间中执行融合操作,融合两种模态中最重要的全局信息。其次,在多分支重构网络的每一个分支中添加浅层信息,以同时执行图像重建和融合。最后,在图像生成阶段,进一步融合来自多个重构分支的候选获得融合图像。在基准数据集上的实验证明,该方法可以在主观感知和客观评价上都能获得良好的融合性能。（2）提出基于多分支编码器的红外与可见光图像融合方法。受多分支重构网络的启发,该方法将多分支的思想应用于特征提取的过程中,通过增加编码器的分支数量,将源图像映射到不同的特征空间,丰富提取的特征图的多样性,从而提高网络的学习能力。此外,设计多级融合策略来实现精细化图像融合。级联的输入图像在特征提取阶段实现初级融合,在特征融合阶段融合多个编码分支的特征图,以及在图像重建阶段融合浅层编码器的信息,精细化的融合操作提升了融合图像的质量。实验表明,该方法可以在主观和客观评价上达到良好的效果。（3）提出基于差异双分支特征提取的多阶段图像融合方法。针对现有的图像融合方法无差别的提取多模态图像的特征,使得提取的特征互补性不足,导致融合图像缺乏细节信息。本文提出基于差异双分支特征提取的图像融合方法,在特征提取阶段使用两个结构不同的编码分支提取多模态图像的差异性信息,增强特征提取的多样性与全面性。此外,本文设计多阶段融合策略,分别为:对两个特征提取分支产生的差异性信息进行融合,对深层特征空间的多模态显著性特征进行融合,以及将编码器的特征融合到重构网络。通过实验证明,与现有的基础图像融合方法相比,通过该方法获得的融合图像同时包含两种模态的信息,具有很好的主观和客观评价。