近年来,随着高光谱遥感技术的发展,高光谱图像目标检测算法日益受到关注。高光谱遥感图像具有图谱合一、光谱分辨率高的特性,其中包含的诊断性的光谱信息可提高对目标定位与识别的能力,因此高光谱目标检测技术在目标检测领域具有独特的优势,在军民多个领域获得了广泛的应用。然而,由于高光谱遥感空间分辨率的限制、目标尺寸以及地物环境等因素的影响,使得感兴趣目标往往处于低出露、弱信息、亚像元状态,同时,高光谱图像数据量大、信息冗余度高等问题也给目标检测带来困难。针对高光谱图像亚像元小目标检测中检出率低、虚警率高、算法稳定性差的问题,本文运用理论分析与仿真实验相结合、新算法与经典算法对比的研究方法,结合合成高光谱数据与真实高光谱数据,对高光谱图像亚像元小目标检测做了如下研究:1、研究了高光谱遥感图像的光谱混合模型,将光谱可变性纳入目标检测框架。在介绍目标检测原理及目标判定准则的基础上,理清了基于纯像元目标检测模型的约束能量最小化(CEM)匹配检测算法、基于混合像元模型的RX异常检测算法和自适应一致性估计(ACE)匹配检测算法,并介绍了高光谱图像目标检测算法性能的评价方式,后续用实验证明了这些算法的有效性。2、针对高光谱图像数据量大、信息冗余度高等问题,研究了降维空间中的目标检测问题。在分析了PCA、OIF、ASP等经典的高光谱数据降维算法的基础上,提出了基于子空间矩阵因子的波段选择方法(BSMF),并将BSMF算法与目标检测算法相结合,得到了BSMF-RX异常检测、BSMF-CEM和BSMF-ACE匹配检测算法。实验表明,相比于RX异常检测,BSMF-RX检测效果更优,效率更高;与CEM、ACE算法相比,降维空间中的匹配检测性能有少许降低,然而检测效率得到了4~7倍的提升。该算法在异常检测方面的性能较好,同时可以满足对实时性要求较高而对虚警率要求不十分严格的匹配目标检测场合。3、针对当前目标检测算法检测准确度差、检出率低等问题,提出了一种新的亚像元小目标检测算法。将加权自相关矩阵引入CEM算子与RX算子,通过构建反馈因子将采用混合光谱模型的RX异常检测算子与采用纯像元光谱模型的CEM匹配检测算子相结合,提出了加权可调的CEM(WACEM)亚像元小目标检测算法。通过设置加权调节因子与反馈调节因子,使得算法在抑制背景与抑制异常干扰两方面的能力得到灵活有效的控制。合成高光谱数据与真实高光谱数据的实验结果表明,当图像信噪比不低于30dB时,WACEM算子亚像目标元检测丰度下限可以达到0.1。与经典的目标检测算法相比,本文提出的算法能够在提高检出率的同时降低虚警率,显著提升了亚像元小目标检测的准确度。