红外成像传感器具有捕捉物体热辐射的能力,但对场景纹理细节信息的变化不具有敏感性。可见光成像传感器具有捕捉场景空间细节信息的能力,但容易遭受周围恶劣环境的影响。因此,融合红外与可见光图像可以捕捉各波段互补特征,显示辐射目标并保留场景信息。红外与可见光图像融合技术在情报收集、监控安全以及航空航天等领域具有广泛的应用前景。为了提高红外与可见光图像的融合质量,本论文主要基于多尺度变换、卷积稀疏编码以及卷积神经网络技术进行了研究,主要的创新性工作如下:(1)针对NSCT(Non-subsampled Contourlet Transform,非下采样轮廓波变换)域低频系数不具备稀疏性,且稀疏表示存在“滑窗”操作破坏了图像深层次空间结构的问题,本论文第三部分提出了基于CSR(Convolutional Sparse Representation,卷积稀疏表示)和邻域特征结合的红外与可见光图像融合算法(简称为:NSCTCSR算法)。首先将NSCT域低频子图通过高斯滤波分解成基础层和细节层,然后选用ADMM(Alternating Direction Method of Multipliers,交替方向乘子法)求解稀疏系数,完成细节层特征响应系数的融合。同时,根据清晰程度测量函数设计了合理的邻域特征,来完成NSCT域高频子图的融合。实验结果表明:NSCT-CSR算法有效地提取了源图像更深层次的清晰测度信息,克服了稀疏表示的块效应缺陷。(2)针对NSCT-CSR算法保留了NSCT分解,削弱了高频子带捕捉特征信息能力的问题,本论文第四部分考虑到参数自适应PCNN(Pulse Coupled Neural Network,脉冲耦合神经网络)模型的视觉特性,提出了基于CSR和APCNN(Adaptive Pulse Coupled Neural Network,自适应脉冲耦合神经网络)的红外与可见光图像融合算法(简称为:CSR-APCNN算法),实验结果表明:CSR-APCNN算法的视觉效果和客观指标相比于NSCT-CSR算法明显提高了。(3)NSCT变换具有方向不确定性,且卷积编码需要给定融合策略,因此NSCT-CSR算法和CSR-APCNN算法低频子带的自适应性略显薄弱。针对上述问题,本论文第五部分提出了基于NSST(Non-subsampled Shearlet Transform,非下采样剪切波变换)变换和SCNN(Siamese Convolutional Neural Network,孪生双通道卷积神经网络)的红外与可见光图像融合算法(简称为:NSST-SCNN算法)。NSST-SCNN算法使用孪生双通道卷积神经网络学习NSST域低频子带的特征来输出衡量子带空间细节信息的特征图。然后,根据高斯滤波处理的特征图设计了基于局部相似性的测量函数来自适应地调整NSST域低频子带的融合模式。实验结果表明:NSST-SCNN算法有效地解决了低频子带融合模式给定的问题,同时又克服了人为设置PCNN参数的缺陷。