高光谱图像数据的低空间分辨率和光谱变异性等特征,引起的混合像元问题严重制约了高光谱图像的精准应用。尽管深度学习算法在解决混合像元问题上表现出不俗的实力,但仍存在难于充分融合先验信息、缺失重要端元信息等问题,导致解混性能不佳。针对上述问题,本学位论文基于自编码器框架,结合积分概率度量和率失真理论,设计出一系列有效的高光谱图像解混算法,具体研究工作概括如下:（1）针对现有解混算法难于充分融合先验信息导致解混性能低下问题,基于积分概率度量,引入Wasserstein距离与深度度量学习,结合光谱角距离（Spectral Angle Distance,SAD）,构建了一种面向高光谱图像解混的联合度量神经网络框架。该网络框架包含两部分:其一,三层全连接自编码器用于端元提取和丰度估计;其二,三层全连接判别器用于隐式地计算输入光谱与重构光谱之间的Wasserstein距离,同时使用深度度量学习将输入光谱与重构光谱在判别器的中间层特征加以匹配。Wasserstein距离与特征匹配被视为正则项添加到主项光谱角距离作为新的损失函数,模型分析表明,它们能额外提供有用的梯度信息使得自编码器朝着解混性能更好的方向训练。实验结果表明,所提的算法能够在高光谱图像解混中获得优异性能。（2）针对Wasserstein距离存在的高计算代价问题,引入最大均值差异（Maximum Mean Discrepancy,MMD）替代Wasserstein距离训练解混自编码器,提出了一种基于概率度量自编码器的高光谱图像解混算法。首先对Wasserstein距离和MMD两者的样本复杂度进行了分析,结果表明,当数据维度较高时,采用MMD训练解混自编码器是一种更有效的方式,这得益于MMD可以被显示计算且样本复杂度不受数据维度的影响。其次,将提出的SAD-MMD损失函数应用于三种自编码器框架,消融实验结果表明,相较于单一的SAD损失函数,联合SAD和MMD训练解混自编码器能较大地提升解混性能。最后探究了和为一约束与批量大小对解混性能的影响,并给出了它们的设置准则。（3）针对光谱变异性导致通用解混算法获得的丰度图单一问题,基于率失真理论,引入有损编码率（Lossy Coding Rate,LCR）度量丰度图的多样性,研发了一种适用于大规模高光谱图像数据的解混算法。首先对丰度向量进行有损编码,联合SAD损失和均方误差（Mean Square Error,MSE）作为新的损失函数,并最大化该有损编码率训练解混自编码器,促使学习到的丰度图具有多样性,进而提升光谱解混性能。其次,将提出的SAD-MSE-LCR损失函数应用于浅层和深层全连接自编码器框架,实验结果表明,该损失函数不仅对训练数据的批量大小具有鲁棒性,还能保持优良的解混性能。