在计算机视觉领域中,图像融合是一项重要的处理技术,它旨在将多张输入图像中的显著特征整合到一张便于理解的融合图像中。早期的研究中,研究人员将图像从空域转换到频域,将这些数据在频域融合,再将融合后的数据从频域转换到空域得到融合图像。这种方式不但计算量较大,而且还会造成信息的丢失。因此提出了基于表示学习的融合算法,直接在空域对图像进行融合。这些方法需要大量的手工设计,而为了取得更好的融合结果,特征提取方式和融合策略也变得越来越复杂。随着深度学习的发展,基于深度学习的图像融合算法在一定程度上缓解了所面临的问题。基于深度学习的算法中,图像的深度特征由训练好的神经网络提取。再将提取到的特征按照制定好的规则进行融合,最后由融合后的特征重构出融合图像。现存的许多基于深度学习的融合算法在提取图像特征时考虑并不充分,提取到的特征包含信息不够全面,直接降低了融合图像的质量。除此以外,许多融合算法虽然提取了图像的多尺度特征,但是并没有考虑不同尺度上特征的区别,对所有特征使用完全相同的融合策略并不合适。因此,本文主要进行基于深度学习的图像融合算法研究,针对上述问题进行改进。本文的主要贡献分为以下几个方面:（1）针对红外与可见光图像融合任务,基于自编码网络的融合算法Nest Fuse有较好的表现。它将鸟巢（nest）结构应用到解码器中,使网络可以充分利用提取到的多尺度深度特征。这种方式虽然在融合图像中保留了更多的信息,但是需要学习的参数量较大,降低了模型的效率。因此提出的一个新的融合算法FPNFuse。该算法在Nest Fuse的网络框架上引入了特征金字塔网络结构对提取到的特征进行增强,使每一层特征都包含丰富的信息。此外,还根据每层特征的特点选择了合适的融合策略,在融合过程中保留更多的信息。实验表明,所提出的算法有效的对Nest Fuse进行改进,取得了更好的融合结果。（2）在FPNFuse的网络框架上,提出了一种方法来增强卷积神经网络对图像的特征提取与重构能力。具体来说,在训练阶段将源图像进行直方图均衡化改变其像素分布,使训练出的深度网络对特征提取与重构更加具有鲁棒性。除此以外,还改进了特征提取阶段的编码块,使其提取到更加丰富的特征。该融合算法由三部分组成:编码器、融合策略和解码器。首先,由改进后的编码器从源图像中提取多尺度特征。其次,这些特征按照融合策略在对应的尺度上分别进行融合。最后,融合后的深度特征由解码器重构为信息丰富的融合图像。实验结果表明,所提出的融合方法在主观和客观评估中都取得了较好的表现。（3）在基于深度学习的图像融合方法中,多尺度分解是一种提取不同尺度特征的重要方式。针对传统多尺度分解方法里尺度设置粗糙的问题,提出了一种基于八度（Octave）卷积的图像融合算法。八度卷积让每一个尺度上提取到的深度特征进一步细分出低频、次低频和高频特征,再针对每一尺度上不同频率的特征采用不同的融合方法。除此以外,高层特征也被加到低层特征上来进行不同尺度之间的特征强化。提出的融合算法由四部分组成:编码器、特征增强、融合策略和解码器。首先,算法使用改进后的编码器获取源图像多尺度上的低频、次低频和高频特征。这些特征会被从顶层到底层进行强化。然后,按照对应的融合策略将特征融合。最后,融合后的深度特征由解码器重构出融合图像,其中包含丰富的信息。实验结果表明,所提出的融合方法可以有效的处理红外与可见光图像融合任务。