多模态图像融合作为信息融合的一个热点,能够有效解决单一传感器成像能力有限,难以获得全面的空间信息的问题,在监控分析、军事安全、医疗影像等多个领域具有很高的应用价值。本文从两个方面出发分别对红外和可见光图像融合和医学图像融合进行了深入的研究,一方面采用了浅层模型与深度学习相结合的方式;另一方面,使用了一种基于现有融合模式之外的深度生成式融合思路。具体工作如下:在基于深度神经网络和结构-纹理分解的红外与可见光图像融合算法中,针对当前红外与可见光图像融合方法中存在低频信息未利用充分,以及高频细节易混入噪声的问题。本文提出了一种三频带分解模式,首先采用均值滤波将输入图像分解为高低频子带,为了充分利用低频信息引入结构-纹理分解模型对低频子带二次分解,根据特征属性以平均法则与邻域空间频率分别对结构和纹理进行有效预融合;其次采用预先训练的深度网络提取源图像的多层特征映射进行Sigmiod归一化策略以获得最终权重图,由最终权重图作为权重系数进行高频子带的预融合对高频子带进行预融合;最后利用预融合的高频、低频结构和低频纹理三个频带进行图像融合重建。实验结果表明,该算法能够融合图像的深层细节特征,有效保留纹理细节并抑制了噪声的生成。在基于条件可逆神经网络的多模态医学图像生成式融合算法中,针对现有基于深度神经网络的医学图像融合通常编解码模块独立且模型不可逆,引起融合过程中源图像信息损耗较大,且模型训练不易收敛的困难。本文提出一种具有融合架构且无训练参数的条件融合网络,并将可逆神经网络与无约束条件融合网络相结合,通过精确的对数似然计算和潜在变量推理,从而实现高效、精确地指导空间显著特征的分析及重构。提出的算法框架具有可逆性和参数共享性,由此引入了一种具有正向分析和反向重建的双向重用损失,以实现高层语义信息和空间细节的有效集成。该算法对五类不同医学图像对的融合具有通用性,实验表明了提出的算法架构在高效训练的基础上可以生成更具有适应性和表现力的融合图像。