随着传感器技术的发展,越来越多不同模态的传感器已广泛应用于日常生活中。受制于传感器的成像机理,单一模态的图像很难捕捉复杂场景的完整信息,往往需要多个传感器或成像设备生成互补的信息。受制于焦距、光圈和亮度等参数的设置,相同的成像设备或传感器在不同的拍摄条件下获取的数据也具有显著差异。图像融合算法可以从一系列不同模态或者同模态但由不同参数拍摄的源图像中探测到有效且互补的信息,这些有效信息被融合到同一张图像中,从而增强图像的视觉效果和提升有效信息的利用率,为后续计算机处理或者视觉观察提供便利。目前,图像融合技术已被广泛应用于多个领域,例如智能手机中的计算摄影模块、医学临床诊断、遥感变化检测等。多源图像融合可以被分为同源（多镜头）图像融合和异源（多模态）图像融合。近年来,深度学习凭借其强大的特征提取和表征能力,逐渐在计算机视觉的各个子领域兴起。在图像融合领域中,深度神经网络由于能够代替传统图像融合算法所依赖的手工挑选的图像变换技术以及手工设计的融合规则,显著提升了融合图像的质量。然而,基于深度学习的融合算法也面临一些问题。例如对于有监督模型来说,真实训练集和标签的缺失是不可忽略的绊脚石;对于非监督或者自监督模型来说,解释所选择的预训练任务或代理任务的合理性仍是非常困难的。此外,当前的深度学习模型总是依赖于大规模的训练集、复杂的损失函数还有模型结构来实现性能层面的突破,但是忽略了图像融合任务的先验知识和特点。而本文探索并借助传统理论和技术有效解决了深度学习类算法存在的这些问题。因此,在国内外研究基础之上,本文分别以医学图像融合和多焦点图像融合分别作为异源图像融合和同源图像融合的样例任务,围绕上述问题展开相关研究。1.基于非下采样轮廓波变换的医学多模态图像融合网络为解决医学图像融合领域中缺乏训练集以及由同一位置处不同模态图像的强度差异导致的卷积神经网络难以直接用于医学图像融合领域的问题,本文提出基于非下采样轮廓波变换的多模态医学图像融合网络,结合该变换和卷积神经网络的优势获得了较好的融合结果。首先,多模态源图像被该变换分解为低频和高频子带。对于高频子带,本文设计了一种在频域中训练的新型感知高频网络（PHF-CNN）作为自适应的融合规则。而且提出一个新的数据集生成办法,该方法的显著优点是能够从自然图像中生成可供感知高频网络训练的数据集。而对于低频子带,本文在成熟网络的基础上使用预训练和迁移学习的策略,以便网络能够在小规模训练集上生效从而生成决策图。最后,非下采样轮廓波逆变换用于融合频率子带。实验表明该算法在融合多模态医学图像方面优于其他十个对比算法。2.用于多焦点图像融合的自监督残差特征学习模型为缓解多焦点图像融合领域中缺乏真实训练集和标签的问题,本文提出自监督残差特征学习模型,由一个代理任务和融合模块构成。通过理论研究和蒙特卡罗仿真实验验证,本文发现一个同时适用于图像超分辨率任务和多焦点图像融合任务的残差梯度先验。因此本文把图像超分辨率用作代理任务,把神经网络对于多焦点图像训练集的依赖转移到自然图像上。训练过程使用图像超分辨率领域的标准范式从自然图像中生成大量数据集,并通过所提先验解释了图像超分辨率作为多焦点图像融合代理任务的原因。下游任务仅由提出的融合模块承担,它由活跃程度度量和一个再优化决策图边界的方法构成,能够根据网络输出的残差图生成准确的决策图。实验表明,在仅使用图像超分辩率数据集而不使用任何多焦点训练集的情况下,所提模型的性能优于许多对比算法的性能。3.重思考多焦点图像融合:一个为本质特征而设计的模型为解决多焦点图像融合领域中的先验和特点没有被充分利用以及决策图边界不准确的问题,本文重新思考了多焦点图像融合任务并归纳出两个本质性特征,进而提出为本质性特征而设计的模型。该模型由两个特征提取器、一个特征蒸馏融合模块以及一个焦点分割网络构成。为提取多焦点图像的本质性特征,本文选择已训练好的图像超分辨率网络和图像显著性对象网络作为特征提取器。提出的特征蒸馏融合模块由边缘保留领域中经典流体理论推导得出的域变换和一个权重分配规则构成,该模块能够从通道和内容两个维度来蒸馏和融合特征提取网络中的特征图,以生成适用于多焦点源图像的本质性特征表示。焦点分割网络接收特征表示作为输入,在特征域中通过动态编码两个特征权重来执行焦点检测和分割任务,从而输出高质量的决策图。实验表明:（1）该模型优于许多先进的模型;（2）所提出的特征表示能够再优化许多其他的多焦点图像融合模型。