随着遥感领域相关技术的发展,多种传感器已应用到卫星中用于获取不同种类的遥感图像。但由于辐射能量限制,遥感卫星传感器不能捕获同一地区既具有高空间分辨率又有高光谱分辨率的遥感影像,仅可以获取到光谱信息丰富但空间分辨率较低的多光谱图像(Multispectral Image,MS)和高空间分辨率但低光谱分辨率的全色图像(Panchromatic Image,PAN),但在现实应用中如岩性分析、地图更新和植被识别等领域中,需要同时使用到PAN图像中的高空间分辨率信息描述图像纹理和MS图像中的多光谱信息判断图像类别。为有效地将MS图像和PAN图像进行融合得到符合实际要求的高质量遥感影像,众多学者提出了遥感图像融合技术。传统的遥感图像融合算法针对不同类型遥感图像需人工制定不同融合规则,且融合质量与图像的分解方法、分解的层次和各层次选用的融合规则密切相关,导致算法融合效果残次不齐。近年来,卷积神经网络广泛应用在图像分割、视觉识别、图像分类等领域,由于其具有权重分享和局部连接等特点使其与传统方法相比有更好的性能。U-Net是具有对称结构的卷积神经网络,它使用跨层拼接的方式将来自低级特征图与较高层特征图拼接在一起处理,从而更好的保存了来自多个尺度的特征图信息,减少了信息的损失,更高效、准确的解决了医学图像像素级分割问题。受U-Net启发,针对传统遥感图像融合算法的弊端并利用卷积神经网络在处理图像的优势,提出一种基于CLIT-FCNN(Cross-Layer Information Transfer Fusion CNN)遥感图像融合算法。采用跨层信息传递方式融合来自不同尺度的特征图以减少图像的信息损失使得融合的遥感图像质量变高。训练后的网络模型可以看作是具有良好鲁棒性端到端(end-to-end)的遥感图像融合规则。本文提出的网络模型使用由大量真实遥感图像数据构造的训练集,并且该训练集包括不同类型的地物。通过使用多组DEIMOS-2卫星、QuickBird卫星和高分二号卫星遥感图像数据集验证本文算法的有效性和鲁棒性,并通过主观评价和客观评价相结合的方法评价融合图像的质量。实验结果表明,本文提出的CLIT-FCNN算法与传统算法相比,能够有效将PAN图像的空间细节信息与MS图像的光谱信息融合,且算法稳定性强。