随着计算机科学、集成电路系统以及传感器技术的迅猛发展,图像的获取方式不再局限于单一的传感器。如今,面对图像类型的多元化和数据的复杂化,单一模态图像已经不能满足现代复杂应用的需求,所以图像融合技术应运而生。图像融合技术将不同传感器所捕获的不同模态图像进行针对性互补,构建信息量丰富且可靠的融合图像从而实现对某一场景或者目标更加全面的描述与表达,便于后续的图像处理或者决策任务。其核心思想是在不引入任何人为干扰的前提下,对数据进行优化处理,最大程度提取并且保留有效的信息。多模态图像融合技术在军事侦察、视频监控、遥感、医学图像分析等领域具有较高的应用价值。本文主要针对红外与可见光图像和多模态医学图像融合中所涉及的关键问题进行了深入的研究,对人工神经网络在图像融合中的应用实现了进一步探索。本文的主要贡献如下:1.在基于优化神经网络的红外与可见光图像融合方法中,针对传统脉冲耦合神经网络模型参数复杂、缺乏自适应性等问题,结合蜂群优化算法和脉冲发放皮层模型,提出一种基于优化神经网络的红外与可见光图像融合算法。首先采用非下采样剪切波变换实现对源图像进行分解从而获取低频分解系数和一系列高频分解系数;然后脉冲发放皮层模型用于低频系数融合,显著决策图作为其输入,高频系数同样也采用脉冲发放皮层融合,利用多方向的空间频率的作为其激励,其次采用多目标蜂群算法优化脉冲发放皮层的参数;最后利用非下采样剪切波逆变换实现对融合系数的重构。实验结果表明,本算法可以有效的解决神经网络参数依赖于人工经验设定的问题,体现出自适应性和鲁棒性,融合结果中红外热源信息得到充分的保留,细节纹理丰富。2.在基于传统神经网络与深度卷积神经网络的多模态医学图像融合方法中,医学图像融合的主要目的是提高临床诊断的准确性,因此融合图像要充分保留源图像中的软组织和骨骼信息。本文设计了一种结合深度卷积神经网络和双通道脉冲发放皮层的多模态医学图像融合方案。首先利用非下采样剪切波变换实现源图像的分解,并且获取低频系数和一系列高频系数;然后卷积神经网络作为低频系数的融合框架,低频融合权重经过一系列的特征图和特征筛选规则处理生成,双通道脉冲发放皮层用作整合高频系数,利用多方向的平均梯度作为该模型的外部激励;最后,利用非下采样剪切波逆变换对融合系数进行重构。大量的实验结果表明,该融合方案具有良好的主观视觉效果和客观评价指标,并且在细节保留和视觉效果上取得了较好的结果。3.在基于无监督深度卷积神经网络的红外与可见光图像融合方法中,虽然近年来卷积神经网络在信息融合中得到了广泛的应用,但是现有的红外与可见光图像融合方法都是利用预先训练的卷积神经网络模型作为特征提取器,因此其模型并没有学会自适应的融合或选择深度特征。所以我们研究异构数据的内在联系,提出适用于红外和可见光图像融合的无监督端到端深度学习框架。首先利用原始的可见光和红外图像生成足够的基准训练数据集,然后利用改进的结构相似度指标和总变差函数组成的鲁棒混合损失函数对深度网络进行训练。最后,大量的实验结果表明,本文所提出的融合框架在主观和客观评价方面均取得了良好的效果。