不同光谱下的图像各有优势,通过将它们进行结合,可以极大丰富图像中包含的信息量,这有效解决了单一传感器信息表达能力不足的问题。红外与可见光图像是应用最为广泛的多光谱图像,它们在军事和民用领域均有着重要的应用价值。如何充分地将红外与可见光图像的特点结合起来,实现优势互补,从而更好地用于解决实际问题,一直以来都是人们研究的热点和重难点。基于此,作者针对红外与可见光图像的配准及融合技术进行了深入研究。在红外与可见光图像配准问题中,两者图像的光谱距离较大、灰度差异明显,基于灰度、梯度等特征进行的匹配处理精度差。针对这一问题,作者提出了基于边缘提取的异谱图像配准算法。首先进行边缘清洗以此获得更有利于配准的边缘信息;其次构建多个子边缘模板来保证配准精度和速度;最后采用基于部分计算和金字塔结合的快速边缘配准算法,实现两类图像的配准。实验表明,基于边缘提取的异谱图像配准算法具有较高的配准精度和良好配准速度,可以很好地适用于红外与可见光图像的配准。针对红外与可见光图像融合问题,作者提出了一种改进的基于GAN的图像融合网络CCGDN。该网络包含生成器和判别器两部分,通过两者间的对抗训练来提高最终的图像融合效果。网络中的生成器采用了交叉连接双通道的结构,同时加入跨层连接,一方面提高了图像特征的提取能力,另一方面也有利于共有特征的提取,提高融合效果;网络中的判别器采用了三分类的设计,通过改进判别器的判别条件和对抗损失设计增强了其与生成器的对抗性,更有利于对抗训练。在网络的损失函数中,不仅考虑了图像中的像素差异,同时也考虑了结构差异,从而可以更好地指导网络进行训练。实验表明,CCGDN网络得到的融合图像纹理细节丰富、图像对比度较高。