高光谱遥感图像蕴藏了丰富的光谱、空间信息。由于成像仪器空间分辨率的限制以及复杂地面覆盖情况,高光谱图像中存在大量混合像元。混合像元极大影响了高光谱遥感在目标检测和精细分类等领域的应用。为提高高光谱遥感的实用性,混合像元分解成为高光谱图像分析领域的热点。高光谱解混能够通过分析像元中各类物质光谱特征的差异,识别提取端元信息,并计算各端元在像元中的占比,进而获取丰度信息。非负矩阵分解（Nonnegative Matrix Factorization,NMF）作为一种典型盲源分离方法,其自身的非负约束很好地解释了高光谱图像数据的固有特性,因此,被广泛用于高光谱解混领域。但基于NMF的盲高光谱解混属于不适定问题,会导致陷入局部极值,且解混结果易受初始值和噪声影响。此外,考虑到高光谱图像各维度间蕴含着丰富的相关性信息,而基于欧氏距离的经典度量方法不能有效建模各维度间关系,使得数据内部特征的关系未能充分考虑。针对上述问题,本文在考虑高光谱图像固有数据结构的基础上,基于相似性度量方法优化设计高光谱解混模型及算法,主要的研究内容和创新点如下:（1）针对现有NMF相似性度量方法无法很好地考虑高光谱图像中相关性信息的问题,提出一种基于Sinkhorn距离的图约束非负矩阵解混算法。首先,由Sinkhorn距离代替欧氏距离,建模不同维度之间的关系,充分利用特征间的相关性。其次,鉴于流形方法的空间结构学习能力,在利用Sinkhorn距离度量误差的基础上对丰度矩阵施加图正则约束,进一步捕捉数据间的有效特征,增强图正则约束描述几何流形结构的有效性。最后,在模拟和真实数据上进行实验,分析了丰度估计效果及不同噪声等级、不同端元数目下的解混效果,并针对算法的Sinkhorn距离部分进行了消融实验,实验结果验证了Sinkhorn距离构造解混模型的有效性,且在图正则的作用下,所提出的算法相比于其他方法精度有效提升了44%。（2）针对NMF易陷入局部极值且受初始值、噪声影响较大的问题,提出了一种基于Sinkhorn距离的平滑初始化非负矩阵解混算法。算法将平滑顶点成份分析（SVCA）代替传统顶点成份分析（VCA）作为初始化方法,对原有数据集进行平滑处理,可以保证在噪声存在的情况下恢复较好的初始端元光谱子集和丰度,从而减少因初始值的影响而产生的结果误差。在模拟、真实数据集上进行实验,并对解混结果从噪声鲁棒性、不同端元数敏感度、丰度估计方面与其他算法进行对比,实验结果表明,利用SVCA实现解混算法的初始化能够进一步提升41%的精度,且结果对于噪声更具鲁棒性。