异常检测(novelty detection)是机器学习和模式识别领域中的研究热点,它能够成功地辨识出测试集中未参与训练的异常数据。在实际应用中,异常数据在训练过程中往往缺失、数量稀少或尚未明确定义。因此,单类分类器(one-class classifier)适用于处理该类问题。然而,与两类分类及多类分类情形类似,单类分类器也需要克服“维数灾难”难题,即同一分类器为了获得相同的泛化性能需要的样本数目随维数的增加而呈指数级增长。为了解决异常检测所面临的维数灾难问题,一种可行的策略将高维样本投影到低维子空间,这恰好是机器学习中的特征提取。所以,特征提取的有效性是异常检测方法在处理高维数据时成功与否的关键。近年来,稀疏编码和稀疏自编码器作为两种流行的特征提取方法,得到了大量的研究与关注,稀疏编码可以有效地减少特征集的冗余度,而稀疏自编码器可以提取样本的抽象特征,两者均可以提高传统异常检测方法的分类性能并解决维数灾难问题。本文对传统的稀疏编码及稀疏自编码器进行了改进,使改进后的相应方法更适用于解决异常检测问题,主要工作包含以下两个方面:1.提出了基于相关熵和Log型惩罚函数的鲁棒稀疏编码。传统的稀疏编码仅适用于处理高斯噪声,当训练集中所含噪声服从非高斯分布时,稀疏编码无法取得精确的系数向量。为了使稀疏编码更适用于处理非高斯噪声,同时提高系数向量的稀疏性,使用相关熵代替稀疏编码的重构误差项,并引入Log型惩罚函数代替l1范数作为正则化项,进而利用所得系数向量作为异常检测方法的输入。此外,给出了所提鲁棒稀疏编码的泛化误差界,并在UCI基准数据集上验证了所提方法的有效性。2.提出了基于Transformed-l1惩罚函数及l2,1范数的堆栈鲁棒稀疏自编码器。传统的稀疏自编码器采用KL散度作为其正则化项,需要人工设置其稀疏性参数。为了避免人工设置参数带来的不确定性,利用Transformed-l1惩罚函数和l2,1范数的组合型正则化项代替传统稀疏自编码器中的KL散度,其中Transformed-l1惩罚函数可以消除自编码器中神经元之间的冗余连接,而l2,1范数能够剔除多余的神经元,进而有效减少模型参数并提高训练效率。然而,仅含一个隐藏层的自编码器在完成特征提取时,所获得的低维特征具有欠佳的表征能力。因此,在所提鲁棒稀疏自编码器的基础上,建立了堆栈鲁棒稀疏自编码器。为了充分利用堆栈鲁棒自编码器所获得不同层次的特征,引入了集成学习的思想,使用这些不同层次的特征训练多个单类分类器,并通过投票策略最终确定样本的输出值。最后,在MNIST手写数字数据集和UCI基准数据集上验证了所提方法的性能。