图像融合是指将多张具有相同场景的源图像信息融合成一幅综合、高质量的图像。根据源图像传感器的种类,图像融合可分为单模态图像融合和多模态图像融合,多模态图像融合是应用最广泛,难度最大的一类图像融合,这也是本文研究的重点。多模态图像融合顾名思义就是融合异源图像,由于异源图像差异较大,因此要让融合图像尽可能保留每张源图像重要信息的同时也要确保融合图像具有良好的视觉效果,这是多模态图像融合的主要任务。随着信息技术和传感器技术的不断进步,多模态图像融合经历了空前的发展,图像融合算法的种类日益丰富,算法的性能有显著地提高。但当前多模态图像融合算法依旧存在诸多缺陷,比如基于多尺度变换的图像融合算法对源图像信息的融合不够充分,基于显著性检测的图像融合算法生成的融合图像一致性较差,基于变分的图像融合算法融合图像细节信息不清晰,而基于神经网络的图像融合算法存在不稳定且存在模型难以训练的问题等。本文在现有的图像融合算法的基础上,提出了新的模型和算法,本文主要的工作和贡献如下:(1)本文在红外可见光图像数据集以及医学图像数据集上对经典多尺度变换图像融合算法和当前先进的全变分的图像融合算法进行实验和分析,发现变分理论能够更好的融合源图像低频信息。并设计了一系列算法和对比实验印证该观点,实验结果表明本文所设计混合模型的算法,在提升了多尺度变换图像融合算法低频信息融合质量的同时也有效弥补了全变分优化优化算法融合图像细节信息不清晰的缺陷。(2)本文结合显著性检测和全变分这两类算法的特点,设计了一款混合模型图像融合算法,在保证融合图像具有丰富的细节信息的同时具有良好的一致性。该算法首先使用显著性检测算法对源图像进行预融合,然后使用分数阶全变分图像融合算法对预融合图像和源图像进一步融合。(3)由于传统变分模型优化算法对模型的要求很高,因此本文结合深度卷积神经网络提出了一种通用的、适用于图像融合的全变分深度学习优化框架。在该框架下,可以设计任意的凸的或者非凸的全变分图像融合模型,运用神经网络学习优化求解,该框架能够较大程度上缓解优化算法对模型的限制。实验结果表明本文所提出的算法具有较强的鲁棒性,并且融合图像在客观评价指标和融合图像的视觉效果两个方面与当前先进的图像融合算法相比具有明显的优势。