图像融合,是信息融合的其中一个分支,也是融合问题的热点之一。处理多焦点图像融合的问题中,如何从两幅待融合图像中提取到更多特征来得到更精准的决策图是解决该问题的关键。几十年来,许多研究人员提出了大量图像融合算法。在拍摄照片的过程中,选择不同的光圈和焦距会使很多成像设备在不同景深下难以对画面中的所有对象进行聚焦,仅景深中的物体是清晰的,所以很难得到各个层面上的完整信息。为了解决该问题,出现了多焦点图像融合技术。虽然任何一张图片中的信息都不能说明整个场景,但这些图像中包含的信息又是互补的,所以多焦点图像融合问题可以通过对具有不同焦点的图像进行特征提取,并设计融合规则来合成一幅全焦点图像。在过去几年中,出现了一些多焦点图像融合方法,大致可以分为空间域和变换域两类。除此之外,随着近年来深度学习在计算机视觉和图像处理领域中得到了显著进展,如目标检测、图像分割等,也有一些用于多焦点图像融合的深度学习方法被提出。然而,基于传统图像融合方法需要对图像中的像素做焦点检测,这个过程往往采用基于块和区域的方法,因此融合的质量会受到划分方法影响,常出现边缘不理想的问题。除此之外,还需要设计较为复杂的融合规则来对多焦点图像进行融合。在后续提出的有关深度学习的图像融合方法,其网络结构往往较为单一,在训练过程中没有实现端到端的像素级预测,融合结果在细小的边缘处常出现伪影。本文主要针对传统方法焦点检测和融合规则的局限性问题,以及在深度学习中网络结构和标签设计单一的问题,对图像融合算法进行了研究,主要研究内容如下:(1)本文提出了一种多焦距图像融合的CNN架构——基于金字塔池化模块的密集连接卷积神经网络Pyramid Dense connection CNN(PDCNN),我们通过训练该网络可以得到能够获取初始决策图的模型,然后对初始决策图进行一些后处理操作得到最终决策图,最后使用源图像和最终决策图来获得融合图像。主要贡献有:提出了一种新的深度卷积神经网络,可以提取源图像中的聚焦信息;为了充分利用图片中的全局信息,采用了金字塔池化模块,通过该模块得到不同小区域的特征,并对每层特征进行1×1卷积;为了能够充分利用网络中的各层信息,设计了一个密集连接块,块中每一层的信息不仅传递至下一层,还将传递给之后的层。(2)为了进一步优化网络结构,得到更加精准的决策图,在源图像的基础上提取特征信息外,本文采用了生成对抗网络结构,将源图像拼接作为生成器输入,通过训练生成器和辨别器,来输出融合决策图,并通过辨别器来对生成器输出和真值图进行辨别,最终通过训练使生成器的输出接近焦点真值图。另外,本文在生成对抗网络结构的训练过程中,对损失函数进行了改进,加入了图像的内容损失,解决了使用传统生成对抗网络损失函数影响生成图像质量的问题。结果表明,与最近现有算法相比,所提出的多焦点图像融合算法有着更好的边缘效果,在客观评价指标上也有着更好的表现。