为了获取观测场景的多方面特征信息,提高信息探测系统的信息探测能力及信息探测的可靠性,基于不同成像类型的(异源)图像传感器被广泛地集成应用于一个探测系统中。基于异源传感器获取的场景图像,具有显著的信息互补与信息冗余特性。如何有效地提取互补信息,利用冗余信息,在一幅融合图像中尽可能地呈现出异源传感器图像所有的互补信息,获得针对该场景更加准确和全面描述,利于后续的图像处理,是图像融合技术领域的研究重点。本文的主要工作包括一下几个方面:总结了不同成像传感器的原理和特点,图像融合的不同分类和图像融合的国内外发展现状。分析了几种现有的图像融合算法的原理、实现过程、以及融合算法的优势以及存在的问题。不同的融合算法存在不同的优点同时也有一定的缺点。本文尝试将红外与可见光图像的融合过程转化为一个优化问题,利用优化模型将基于NSCT的图像融合算法和基于结构张量的图像融合算法相结合。优化模型约束最终融合图像的梯度和NSCT分解系数,使其同时接近预融合梯度和预融合NCST分解系数。通过这样的优化约束,可以提高融合方法的特征提取能力,使得融合图像中保留更多的边缘和细节信息,从而获得了更佳的融合效果。实验验证了该算法的有效性。卷积神经网络由于其强大的学习能力和特征提取能力而被越来越多的学者应用在图像融合领域。本文首先分析了刘羽等人基于卷积神经网络的图像融合算法,并指出了其中存在的问题。通过利用具有多尺度、多方向性的多尺度变换融合的框架,同时采用新的相似性度量方法,改善了原有算法存在的细节信息提取不足和相似性度量方式不够全面的问题。随后,通过实验验证了该改进算法的合理性以及有效性。