图像融合即将包含互补信息的同一场景的多源图像生成比单张图像更适合人类或机器感知的融合图像。图像融合能够改善并提高仅仅使用单一传感器的不足,促使融合图像包含更多可靠的信息。在军事、遥感、安全监控和医学图像等领域,图像融合技术广泛使用。传统的图像融合算法分为:基于转换域的图像融合方法和基于空间域的图像融合方法。基于转换域的图像融合方法中,多尺度分解工具的选择和融合规则的设计是影响融合结果的两个关键因素。基于空间域的图像融合方法中,分块的大小对融合效果影响较大。由于深度学习方法的兴起,基于深度学习的图像处理方法受到图像处理领域的巨大关注。近年来,深度学习(Deep Learning,DL)在图像处理问题上取得了巨大的突破,比如图像分类,图像去噪,图像超分辨率等问题。基于深度学习的图像融合问题也成为了比较活跃的话题。本文首先对课题的研究背景、研究内容、研究现状、本课题相关的深度学习技术和常用的图像融合方法及图像融合评价指标做了介绍。接着,基于传统方法的研究基础,通过分析卷积神经网络在图像融合的研究现状,利用卷积神经网络对图像特征提取的优势,提出了基于卷积自编码网络的图像融合方法,设计了适用于图像融合的网络框架进行训练和测试。本文所提出的卷积自编码网络框架,分别从网络结构设计原理、编码特征可视化分析、融合规则设计、实验设置、网络训练及测试等多方面细节进行介绍,然后,通过主观视觉评价和客观指标对实验结果进行检验分析。论文的主要研究内容如下:(1)现有的基于卷积神经网络的图像融合方法大多是有监督学习的方法,需要大量的训练数据和有监督的标签。考虑到这种先验信息的获取需要较大的人力投入并且标记的准确性直接影响待融合区域的判别,且人工标记标签的适用范围较为局限等问题,本文结合待融合图像的特点,提出了一种适合于多任务平行训练的端到端的无监督卷积自编码网络的图像融合方法。卷积自编码网络能够克服有监督学习下图像数据集不够的问题,在网络能够很好地重构源图像的基础上,设计了基于特征层的融合单元,融合后的特征经过网络的解码层直接输出融合结果。实验结果表明,所提算法得到的融合图像主观视觉效果自然清晰,客观评价指标优于对比算法,能够得到质量较好的融合结果。(2)我们对卷积自编码网络进行进一步的研究。针对传统的基于空间域的图像融合方法中存在边缘信息丢失的问题,设计了一种面向多源同模态图像特征学习的联合卷积自编码网络并用于多聚焦图像融合,进一步提高多聚焦图像融合的质量。考虑到多聚焦图像先验的冗余和互补关系,将多源图像的公共特征和各自的私有特征分别表达到不同的网络分支。基于私有特征设计一种位置相关的活动测度度量多聚焦图像的聚焦性,以此设计融合规则,在空间域实现了多聚焦图像的融合。与主流的LP,PCNN,DTCWT,NSCT,CVT,SR和CNN等方法相比,融合效果较好,同时也检验了联合卷积自编码网络对多源图像的特征提取能力。(3)我们对联合卷积自编码网络进行进一步的研究。将联合卷积自编码网络用于多源多模态的图像特征提取,所提特征用于鉴别红外与可见光图像之间的互补和冗余关系,从而获得更好的红外与可见光图像融合结果。所提算法首先用联合卷积自编码网络同时训练红外与可见光图像,学习红外与可见光图像的互补与冗余特征。为提高联合卷积自编码网络特征的学习能力,将VGG19的部分层的权值迁移至网络的编码层,并设计与图像融合质量相关的多任务损失函数用于训练网络。根据输入的待融合图像的冗余和互补特性设计融合规则以实现特征层的融合,融合后的特征经解码重构后得到融合图像。主观视觉效果与客观实验指标表明,所提算法在红外与可见光图像融合中表现优异。