高光谱遥感的概念在19世纪80年代提出,近年来高光谱遥感技术得到迅速发展。与传统的遥感图像相比,高光谱遥感图像具有波段数多、相邻波段间隔窄、光谱分辨率高、数据量大、数据冗余性大及“图谱合一”等特性。由于现有成像光谱技术的限制及地物的复杂多样性,高光谱遥感图像仍表现出空间分辨率低的特性,导致观测到的像元光谱并非单个物质的光谱,而是由多种不同物质的光谱混合而成,即产生了混合像元。而在不同的混合像元中,每种物质的组成成分可能差异很大,不同物质之间的光谱也存在互相影响及多次散射等问题,导致人们无法识别所需的纯净的端元光谱信息,以及无法了解区域的地物结构,因此催生出高光谱图像解混技术。但是由于模型的不精确性、观测噪声、环境条件和端元多样性等因素,高光谱图像解混是一个极具挑战性的研究领域。非负矩阵分解（Non-negative Matrix Factorization,NMF）是一种常用的高光谱图像解混技术。该技术的特点在于要求分解出来的两个矩阵和原始数据矩阵所有元素都是非负的。同时,也可以将高光谱解混问题看成求出一组基向量以及对应的系数矩阵。尽管非负矩阵分解是主要的高光谱解混算法之一,但是非负矩阵分解解混算法依然存在不少难点,例如模型是非凸,容易达到局部最优,没有充分考虑样本点内在几何结构,常用的迭代算法收敛速率过慢、不稳定及对噪声敏感等问题。针对上述问题,我们展开了系统的研究和讨论,在现有的无监督非负矩阵分解解混算法的基础上,结合矩阵流形优化以及鲁棒估计等理论知识,设计一系列优化算法。本文的主要研究工作如下:1.针对常用的稀疏非负矩阵分解解混算法未充分考虑丰度矩阵的内在流形结构、计算复杂度高及收敛速率慢的情况,提出了基于Oblique流形的L1-NMF模型。该算法模型的核心思想是将丰度矩阵通过变换,使其位于Oblique流形上,从而使得丰度矩阵的非负约束（Abundance Nonnegativity Constraint,ANC）及和为一约束（Abundance Sum-to-one Constraint,ASC）能够被融入流形结构中,即原条件约束问题变为无条件约束问题。同时,将L1/2正则项变为流形上的L1,在不影响其性能的前提下减少了计算复杂度。由于共轭梯度算法的快速收敛性,本文构造了一种基于Oblique流形的非线性共轭梯度算法,有效地提高了模型求解的收敛速率,并证明了算法的收敛性。在人工数据集、Jasper数据集和Cuprite矿区数据集上的实验,验证了算法的有效性;2.针对L1-OBNMF模型以一个整体来考虑丰度矩阵,未充分考虑丰度矩阵内在列向量之间关系的情况。丰度向量之间的相关性信息有利于保持丰度矩阵的内在结构,使得模型具有更好的判别性。因此,在L1-OBNMF模型的基础上,提出了基于图正则的L1-OBNMF模型,该模型的核心思想是假设当两个像元的光谱在原观测空间上相近的时候,在原始丰度空间上仍然是相近的。进一步,结合乘法迭代法则及Riemannian共轭梯度法求解所提出的L1-OBGNMF模型,加快了算法的收敛速率。同时,证明了算法的收敛性。在人工数据集和Cuprite矿区数据集上的实验,验证了算法的有效性;3.针对标准NMF模型的目标函数对噪声敏感的情况,提出了基于修正Huber估计子的NMF算法。该算法的主要思想是用修正的Huber函数代替最小二乘函数作为目标函数,使得提出的修正Huber-NMF模型较原始的NMF解混模型具有更强的抗噪性能。进而,本文采用Hollan＆Welsch法则,用一个常数与误差绝对值中位数的乘积作为调节参数,同时使用非线性投影共轭梯度法则求解所提出的模型,得到改进的半二次优化算法,从而使得所提出的算法具有更好的稳定性和更高的收敛速率。在人工数据集上、Samson数据集和Cuprite矿区数据集上的实验结果表明了算法的有效性及对噪声的鲁棒性。