高光谱遥感是遥感领域的重要前沿技术之一。成像光谱仪能够测量散射在数百或数干个光谱通道的瞬时视场内所有物质的电磁能量，它比多光谱相机具有更高的光谱分辨率，覆盖了可见光、近红外光、短波红外线波段（波长范围在0.3～2.5μm之间）。高光谱遥感已经广泛应用于资源、灾害、全球变化、极地、环境监测、生态、农业、水文和生物医学等领域。高光谱解混是高光谱遥感图像分析的重要内容之一，是高光谱遥感领域十分关键而具有挑战性的任务。高光谱成像光谱仪的空间分辨率不高，这一限制条件常导致高光谱图像混合像元的出现，即通常一个像元在瞬时视场内包含了多于一种地物类型的地面信息，形成了混合像元;同时，由于高光谱解混受模型不准确、观测噪声、环境条件、端元不确定以及数据规模等条件限制，使得高光谱解混是一个具有挑战性的不适定性反问题。因此，能否发展具有鲁棒性、稳定性、可行性和准确性的高光谱解混算法，解决高光谱混合像元分解问题，是高光谱图像分析的核心内容。　　本研究首先阐述了高光谱线性解混的国内外研究背景和现状，然后研究了高光谱线性混合模型与子空间辨识，包括:线性混合模型、高光谱解混的处理流程、高光谱解混的思路与问题、高光谱解混反问题的刻画，以及信号子空间辨识;针对最小误差的高光谱信号辨识(HySime)方法的可靠性，我们进一步研究了特征值子集、特征子空间与相关矩阵之间的关系问题，即约束特征值反问题及相关的最佳逼近问题，给出了由特征值和特征向量恢复相关矩阵的一个充分必要条件，以及最佳逼近问题的解的表达式和求解算法。总结了几种基于几何的高光谱线性解混算法，包括:N-Finder、PPI、VCA、SISAL、AVMAX和SVMAX，并比较了这些方法在仿真的高光谱数据端元提取中的应用。总结了三种高光谱线性解混算法，即含复杂度约束的NMF算法（CC-NMF）、含最小体积约束的NMF算法（MVC-NMF）和同时含复杂度和最小体积约束的NMF算法(CMVC-NMF)，以及这些算法在城市高光谱数据解混中的应用。研究了基于稀疏回归的高光谱解混算法。首先总结了几个涉及到高光谱解混的最优化问题和一个乘子交替方向法(ADMM);然后针对离散不适定问题，提出了一种投影非静态迭代Krylov子空间正则化方法，讨论了该算法的参数选择和收敛性;进一步研究了三种不同Krylov子空间的生成方法。最后研究了两种基于稀疏回归的高光谱解混算法，即基于变量裂分增强拉格朗日的稀疏解混(SUnSAL)算法和基于约束裂分增强拉格朗日的稀疏解混(C-SUnSAL)算法，以及这两种算法在矿物识别中的应用。进一步研究了基于空-谱信息的高光谱解混算法。研究了一种变量裂分增强拉格朗日与总变差稀疏解混(SUnSAL-TV)算法，并推广到去模糊化的SUnSAL-TV算法，分别讨论了各向同性和各向异性两种情况，并应用于矿物识别;同时，将SUnSAL-TV算法过程中产生的广义Sylvester方程推广到一般的广义耦合方程，发展了一种求解广义耦合方程的共轭梯度迭代算法。