高光谱遥感图像具有光谱分辨率高和图谱合一的特点,具有很强的精细地物识别与区分能力。由于高光谱成像系统的空间分辨率低和地物分布的复杂性,混合像元普遍存在于高光谱图像中,限制了高光谱图像应用的精度。光谱解混是将混合像元分解为特征光谱(端元)及其组成比例(丰度)的基本技术,本质上可以分为线性解混技术和非线性解混技术。在很多诸如植被、城市等复杂场景应用中,存在明显的非线性混合现象,因此非线性解混技术相比线性解混技术更能提取地物的真实分布。典型的非线性解混技术通过数值优化求解特定的非线性混合模型,以获得端元、丰度和其他非线性系数的估计值。由于非线性模型的复杂性和其对应目标函数的非凸特性,传统基于梯度方法的有监督/无监督非线性解混算法存在收敛性差、不稳定的问题,需要进一步的优化以提高非线性解混的精度。另外,大部分的非线性模型只考虑了基本的、物理意义上的约束,没有充分利用真实地物混合中广泛存在的稀疏特性。本文将重点围绕基于非线性混合模型的高光谱图像解混技术研究,针对上述几个问题,从以下几个方面展开研究工作:(1)利用基于 Hopfield 神经网络(Hopfield neural network,HNN)的优化方法实现有监督的非线性解混。依次构建两个HNN来分别优化求解广义双线性模型中的丰度以及非线性系数的估计问题;分析并推导这两个网络的状态方程,得到网络的状态和输出随时间的变化关系;最后根据丰度和非线性系数与网络输出的对应关系得到它们的迭代更新公式。仿真实验和真实实验结果均表明,提出的基于HNN的有监督非线性解混算法相比其他有监督非线性解混算法精度更高且执行效率较高。(2)研究具有稀疏约束的Fan模型,以挖掘非线性混合中存在的稀疏特性,缩小非负矩阵分解算法的解空间,提高非线性解混的精度。引入平滑的稀疏测度以更好地实现稀疏性度量,并将其作为约束项嵌入到求解Fan模型的目标函数中,推导出端元和丰度的迭代更新公式。实验结果表明,具有稀疏约束的非线性解混算法能较好地挖掘数据中的稀疏特性,同时算法的解混精度优于其他非线性解混算法。(3)针对无监督非线性解混中参数相对较多且模型复杂的问题,将原始目标函数通过矩阵拆分转化为两个或三个约束最小二乘问题;通过参数化方法,将约束最小二乘问题转化为无约束的参数化非线性最小二乘问题(parameterized nonlinear least squares,PNLS);提出一种基于 Gauss-Newton 的 PNLS 优化算法,推导出分别用于求解广义双线性模型和Fan模型的迭代更新公式。实验结果表明,PNLS算法比基于NMF的无监督非线性解混算法收敛速度更快,能得到更好的端元、丰度和非线性系数的估计。本文通过以上研究工作,有效地改进了非线性混合模型及其优化算法,提高了非线性解混算法的精度和鲁棒性。