基于线性变换的特征提取一直是模式识别领域研究的重点,有着许多被广泛应用且被证明有效的方法。其中的主成分分析(PCA)和线性判别分析(LDA)经常被用于特征降维。本文的研究重点也是基于这两种方法所展开。　　 本文针对由于有限样本可能引起的小特征值对PCA结果的影响,将正则化技术应用到PCA中,提出了一种基于谱正则化的PCA,即ER-PCA,通过对其特征谱的正则化,降低了小特征值的影响。在人脸图像库和部分UCI数据集上进行的实验,证明了该方法的有效性。经典LDA方法经过特征提取后,产生的投影空间维数受限于样本的类别数,一般为类别数C减一。而且,LDA假设各类样本是满足高斯分布的,对于实际情况中的非高斯分布的数据,LDA分类效果不一定好。基于此,本文对原类内散布矩阵和类间散布矩阵进行了重新定义,其中引入了κ近邻(κ-NN)思想,希望依据样本的κ近邻来反映样本的分布,提出了一种基于样本κ近邻关系的LDA,即KNN-LDA。最后,通过在两个手写体数据集上的实验,可以看出,新方法不仅能够产生更高维度的投影空间(一般为样本维度n),而且要优于原LDA方法。