论文部分内容阅读
红外图像与可见光图像的融合在图像融合领域已经取得了明显的发展。红外图像和可见光图像分别根据特定的传感器获取了相应的特征信息,利用传感器之间获取到的互补信息。通过特定的图像融合方式有效地融合图像的特征信息并突出显示红外目标以及图像的可见轮廓,最终使得融合图像具有更为丰富且易识别的场景信息,在军事、民用、目标检测和识别等领域有着重要的意义。本文主要围绕生成对抗网络、可学习的分组卷积、及一些特征损失的设计方法,对红外与可见光图像融合算法进一步研究,并结合主客观评价方法对提出的新模型方法进行验证。首先,本文说明了红外传感器与可见光传感器不同的成像原理和融合技术的相关理论,在此基础上提出了一种将生成对抗网络与可学习的分组卷积相结合的融合方法。该方法是以生成对抗网络作为主要融合框架,在模型的设计过程中,向生成器添加了细节损失与目标边缘损失,进而有效地保留图像的纹理结构和目标信息。对于模型的细节层,针对不同的源图像采用了不同的策略融合,使得该模型具有强大的拓展作用。针对图像融合领域急需解决的实时性问题,本文提出了一种新型基于生成对抗网络的新型端到端的网络架构,为了防止归一化层在较深的网络的训练过程中,在融合图像上产生伪影,对训练稳定性造成影响。本文采用将残差密集块作为网络构建的基本单元,充分利用各层的特征,在一定程度上减少了参数量达到网络深监督的效果。在生成器中采用可学习的分组卷积来替换普通卷积层,从而允许灵活的分组结构并产生更好的表示能力。相比普通卷积而言,分组卷积的方式可以在精度和速度之间可以更好地权衡。为了分析本模型在不同数据集的效果,分别对两类公开数据集做了实验,通过定性分析和定量分析来证明该模型方法的有效性。实验结果表明,该模型可以生成质量较高、纹理丰富的融合图像,且与其他方法相比具有一定的实时性的优势。