遥感影像融合是遥感影像应用的核心技术之一,其目的是通过补足不同影像源的劣势,合并处理将多源影像融合成一幅清晰度和可识别性较高的影像。由于遥感影像具有数据量大且冗余度高的特点,其分析和处理比较复杂。传统遥感影像融合的空间信息来自高分辨率的全色影像(PAN,Panchromatic Image)而色彩信息来自低分辨率的多光谱影像(MS,Multispectral Image),其未能充分利用MS图像的空间信息,因此融合后的图像质量提升有限。随着深度学习技术的发展,如何将深度学习引入遥感影像融合这一话题受到了许多学者的关注。将深度学习技术引入遥感领域的灵感来自超分辨率重建,例如超分辨卷积神经网络(SRCNN,Super-Resolution Convolutional Neural Network),该网络将不同分辨率的图像输入神经网络中,经过网络的学习输出重构后的图像,可以取得较好结果,但是该网络也存在卷积层数过少,无法充分学习输入图像特征等不足。本文在结合前人研究的基础上,针对传统方法对MS空间信息提取不充分以及深度学习网络中特征提取不充分的问题,设计了一个以图像分割的U型网络(U-Net)为基础的多分辨率深度学习融合方法。本文提出的方法对PAN图像和MS图像的空间特征进行充分多尺度提取,同时保留较好的色彩信息,得到具有较高空间分辨率和较好色彩信息的融合结果。最后,本文针对融合评价指标存在的不一致性问题提出了一种基于深度学习的多维度融合评价因子,通过注意力机制给每个基础评价因子设定权重,综合权衡不同因子打分后给出融合图像的最终评价结果,能够较好地克服基础评价因子的不一致性问题,同时还可以引导融合网络学习更好的映射。本文的研究内容主要有以下几方面:(1)传统空间网络卷积层深度不够,不足以提取足够的特征信息,但是盲目增加网络的深度又会对网络训练造成困难。针对以上问题,本文提出一种多层次卷积模块,从不同层次对图像进行特征提取,并设计了特殊的跳跃连接方式,使得信息在整个网络中的传播更有效率,网络也能够更充分地提取图像的特征信息。(2)针对多源图像的融合,本文将MS影像进行锐化和上采样处理后与PAN影像叠加在一起共同输入网络,减少了网络的复杂度,降低了网络参数量。(3)不同尺度、相同区域的输入图像不仅可以增加训练样本的利用率还可以使得网络从全局不同视角对图像进行特征提取,本文融合了U-Net提出了一个新的影像融合网络,从不同尺度对输入图像进行特征提取后再融合。(4)针对不同融合指标和肉眼结果之间的不一致性分析,本文提出了一种基于深度学习的评价指标,该指标通过引入注意力机制来对不同基础指标进行权重分配,即对重要指标分配更大的权值,削减对不重要指标的关注程度。实验结果表明,相比于三种传统方法和三种基于深度学习的方法,第三章提出的融合网络在引入第四章提出的深度学习评价指标后,融合结果有所提升,证明本文提出的评价因子能充分吸收不同基础指标的优点并很好地克服不同指标之间的不一致性问题,具有一定的实用价值。