论文部分内容阅读
高光谱图像可以提供丰富的光谱信息,能够实现对成像目标的精细识别和分类,因此高光谱图像被广泛应用于对地观测、军事监测、环境监测、地质勘探、精准农业等多个领域。然而由于成像传感器的限制,图像的光谱分辨率和空间分辨率相互制约,也即很难直接获得高空间分辨率的高光谱图像,这限制了高光谱图像后续的分析与应用;而现有的传感器可以获得高空间分辨率的多光谱图像,因而融合同一场景下的高光谱与多光谱图像成为获得高空间分辨率高光谱图像的有效途径。本论文在深入总结和分析高光谱与多光谱图像融合研究现状的基础上,针对融合中的两大难题准确表示和高效融合,建立了新的融合模型,提出了高性能高光谱与多光谱图像融合方法。并通过实验验证了本文提出方法的有效性和优越性。具体研究内容如下:
(1)针对高光谱图像空谱复杂结构准确表示的难题,本文建立了高光谱图像的稀疏张量表示模型与融合方法。矩阵分解的方法往往难以准确表示高光谱图像的三维空谱结构,为了解决该问题,我们把高光谱图像分解成核张量和三个维度的因子矩阵,三个维度的字典分别代表了高光谱图像在三个维度上的信息,核张量表示三个维度之间信息的关联程度,核张量因高光谱图像的空谱相似性而往往具有一定的稀疏性,该模型把高光谱图像三个维度的信息放在一个统一的架构下建模。基于建立的模型,提出了基于耦合稀疏张量表示的融合方法和基于非局部稀疏张量表示的融合方法,分别适用于非盲融合和半盲融合的情况。实验结果表明,本文方法有效保持了高光谱图像的空谱结构,提升了融合效果。
(2)针对融合中空间与光谱特征准确提取的难题,建立了高光谱图像的空谱低秩张量表示模型,提出了一种基于空谱低秩张量表示的融合方法。首先为了利用高光谱图像光谱维度的相似性,本文将高光谱图像分解为低维的光谱基和系数。我们采用截断的奇异值分解从高光谱图像中学习光谱基。系数反映了融合高光谱图像的空间信息,为了利用了融合高光谱图像的空间相似性,该方法首先从高分辨的多光谱图像中学习这一空间相似性,把相似的系数块聚类在一起,同一类的系数块可以构成一个三维的张量,该三维张量的三个维度的相关性高,因而可以用低秩张量表示来约束这个三维的张量。系数的估计问题就被转化了求解一个低秩张量正则的优化问题。我们采用交替的乘子法迭代求解该问题。实验结果表明,提出方法的融合高光谱影像的光谱角误差下降9.9%。
(3)针对传统模型优化融合方法求解难度大、计算效率低的问题,本文提出了一种高效的基于深度卷积神经网络的融合方法,将多光谱与高光谱图像的成像模型与卷积神经网络学习到的图像特性结合起来。基本步骤如下:首先,利用多光谱与高光谱图像的成像模型来初始化融合高光谱图像,然后通过深度卷积神经网络映射初始化的高光谱图像和实际高分辨率高光谱图像之间的残差。最后把通过神经网络得到的高分辨率高光谱图像引入到成像模型中,获取更高精度的高分辨高光谱图像。实验结果表明,本文方法能够获得质量更高的高分辨高光谱图像,同时计算效率提升5倍以上。
(4)针对深度学习融合方法训练样本量大、泛化能力弱的难题,提出了一种深度子空间迁移学习的融合方法,本文方法只需要在灰度图像上进行训练,不需要在多光谱与高光谱图像上进行训练。首先,为了利用了高光谱图像的低秩特性,把高分辨率高光谱图像分解成低维的光谱子空间和子空间系数,融合问题就被转化了对子空间和系数的估计,提高了计算的效率。首先通过截断奇异值分解从高光谱图像中学习光谱子空间。由于深度卷积神经网络的强大的学习能力,我们利用灰度图像去噪网络来正则子空间系数的估计,把子空间系数的估计转化了对灰度图像的去噪。具体而言,我们将卷积神经网络去噪器嵌入交替方向乘子法的迭代过程中。实验结果表明,该方法泛化能力强,显著提升了不同空-谱分辨率图像的融合性能。
(1)针对高光谱图像空谱复杂结构准确表示的难题,本文建立了高光谱图像的稀疏张量表示模型与融合方法。矩阵分解的方法往往难以准确表示高光谱图像的三维空谱结构,为了解决该问题,我们把高光谱图像分解成核张量和三个维度的因子矩阵,三个维度的字典分别代表了高光谱图像在三个维度上的信息,核张量表示三个维度之间信息的关联程度,核张量因高光谱图像的空谱相似性而往往具有一定的稀疏性,该模型把高光谱图像三个维度的信息放在一个统一的架构下建模。基于建立的模型,提出了基于耦合稀疏张量表示的融合方法和基于非局部稀疏张量表示的融合方法,分别适用于非盲融合和半盲融合的情况。实验结果表明,本文方法有效保持了高光谱图像的空谱结构,提升了融合效果。
(2)针对融合中空间与光谱特征准确提取的难题,建立了高光谱图像的空谱低秩张量表示模型,提出了一种基于空谱低秩张量表示的融合方法。首先为了利用高光谱图像光谱维度的相似性,本文将高光谱图像分解为低维的光谱基和系数。我们采用截断的奇异值分解从高光谱图像中学习光谱基。系数反映了融合高光谱图像的空间信息,为了利用了融合高光谱图像的空间相似性,该方法首先从高分辨的多光谱图像中学习这一空间相似性,把相似的系数块聚类在一起,同一类的系数块可以构成一个三维的张量,该三维张量的三个维度的相关性高,因而可以用低秩张量表示来约束这个三维的张量。系数的估计问题就被转化了求解一个低秩张量正则的优化问题。我们采用交替的乘子法迭代求解该问题。实验结果表明,提出方法的融合高光谱影像的光谱角误差下降9.9%。
(3)针对传统模型优化融合方法求解难度大、计算效率低的问题,本文提出了一种高效的基于深度卷积神经网络的融合方法,将多光谱与高光谱图像的成像模型与卷积神经网络学习到的图像特性结合起来。基本步骤如下:首先,利用多光谱与高光谱图像的成像模型来初始化融合高光谱图像,然后通过深度卷积神经网络映射初始化的高光谱图像和实际高分辨率高光谱图像之间的残差。最后把通过神经网络得到的高分辨率高光谱图像引入到成像模型中,获取更高精度的高分辨高光谱图像。实验结果表明,本文方法能够获得质量更高的高分辨高光谱图像,同时计算效率提升5倍以上。
(4)针对深度学习融合方法训练样本量大、泛化能力弱的难题,提出了一种深度子空间迁移学习的融合方法,本文方法只需要在灰度图像上进行训练,不需要在多光谱与高光谱图像上进行训练。首先,为了利用了高光谱图像的低秩特性,把高分辨率高光谱图像分解成低维的光谱子空间和子空间系数,融合问题就被转化了对子空间和系数的估计,提高了计算的效率。首先通过截断奇异值分解从高光谱图像中学习光谱子空间。由于深度卷积神经网络的强大的学习能力,我们利用灰度图像去噪网络来正则子空间系数的估计,把子空间系数的估计转化了对灰度图像的去噪。具体而言,我们将卷积神经网络去噪器嵌入交替方向乘子法的迭代过程中。实验结果表明,该方法泛化能力强,显著提升了不同空-谱分辨率图像的融合性能。