图像融合是指从不同的源图像中提取最有意义的信息并加以组合,进而生成一幅信息量更大、更有利于后续应用的单一图像。由于其突破了单一传感器的硬件限制,在军事和民生方面被广泛的应用。过去的几十年里,图像融合任务主要采用多尺度变换、稀疏表示等方法进行,取得了令人满意的成果。然而,人工规则的引入也导致这些融合方法局限于特定任务,泛化性能较差。相反,基于深度学习的图像融合方法通过反向传播的方式对自身进行优化有效的克服了人工规则的影响,与传统方法相比,具有适应性强、容错能力和抗噪声能力等优点,成为了研究的热点。常见的基于深度学习的图像融合算法网络架构主要包括:卷积神经网络（CNN）和生成对抗网络（GAN）。基于GAN的方法主要通过生成器和鉴别器之间的对抗博弈,来提高生成器生成融合图像的质量,其对抗机制使融合图像的生成更加符合源图像的特征分布,然而,其训练的不稳定也导致网络的训练成为了一个难以估计的问题。相反,基于CNN的方法通常采用设计良好的损耗函数和网络框架来实现特征提取和融合,在确保训练稳定的情况下使融合图像能够有效保留来自源图像的特征信息。由于基于深度学习的方法在融合性能和泛化性上的优异表现,本文的研究内容主要针对基于深度学习的多聚焦图像融合算法和多模态图像融合算法,其内容可总结如下:1)针对多聚焦图像融合,本文提出了一种基于Nest网络和空洞卷积的多聚焦图像融合算法。针对现有主流的基于深度学习的融合算法的问题,即网络设计不充分考虑源图像间的关联性导致信息提取不完整、损失函数缺乏强约束性等问题,设计了针对聚焦与离焦特点的融合网络和强有力的损失函数。在这个网络中,设计良好的编码器从源图像中提取详细的聚焦特征,而解码器则更有效地聚合这些特征并输出准确的聚焦概率生成最终的融合图像。其次,针对性设计的混合损失,通过保真度损失、结构项损失和像素损失来约束训练,使网络更加确切的区分聚焦与离焦区域,生成高质量的融合图像。2)针对多模态图像融合,本文提出了一种基于显著性细节约束的多模态图像融合方法。考虑到多模态图像融合缺少真实标签,而无监督的训练方式通常会产生信息冗余,导致融合图像在亮度项和细节项上存在着偏差。为此,本文引入了显著性约束,迫使网络在训练过程中学习源图像的显著性特征。同时,为了减少网络特征传递过程中的信息丢失,特设计了渐进式的融合网络,其中,源图像构建的自强化注意力模块有效的精炼特征、降低信息冗余。在这些设计的相互约束下,所生成的融合图像更加能够有效反映源图像的显著性信息。本文所提方法均在其对应领域内的开源数据集上与当前最先进的方法进行了对比试验,其结果均证明了本文所提方法的优越性。