高光谱图像具有很高的光谱覆盖范围,可以准确地识别地物信息,但是拥有丰富光谱信息的同时高光谱图像空间分辨率普遍较低,因此高光谱与多光谱图像融合成为了遥感图像处理的重要课题之一。目前深度学习在图像领域获得了不错的成果,在遥感图像融合问题上同样表现优异。然而,现有算法忽略了两个问题:1)原始高光谱图像和多光谱图像之间存在巨大尺度差距,2)对光谱信息重建的关注不足。本文对于上述问题提出了针对性的解决方案,并将解决思路融入到卷积神经网络的设计之中,主要内容有以下三个方面:首先,针对原始高光谱图像与多光谱图像尺度差距过大的问题,本文第三章算法引入多尺度特征级融合概念,构造多级融合结构,在多个尺度对高光谱图像与多光谱图像的特征图进行融合,通过通道间的冗余实现对所有通道的鲁棒表示。同时为了缓解2损失函数带来的模糊预测问题,本文算法引入1损失函数和2损失函数共同构成最终的正则项。其次,2D卷积神经网络模型在提取光谱数据时只考虑了图像中通道的空间相关性,而忽略了光谱相关性,本文第四章算法使用3D卷积代替第三章算法中的2D卷积。3D卷积核在空间维度上滑动的同时也在光谱维度滑动,可以利用信道间的相关性来细化光谱数据的提取,从而完成对光谱信息的重建。最后,针对图像重建过程中网络深层高阶特征缺乏空间信息的问题,我们在第四章网络中加入跨层连接支路,将每一个尺度的融合结果通过一条支路送到最后的重构阶段,使用浅层的特征辅助图像的重建。本文在两个不同的数据集上对提出的算法进行了实验,并设置了消融实验和对比试验来分析算法的有效性,实验结果表明本文算法的性能优于现有的几种方法。