特征抽取是模式识别中最基本的问题之一。无论是人脸识别还是字符识别,提取有效的鉴别特征是解决问题的关键。本文就有关几种线性和非线性特征提取方法的理论与算法进行了研究,并且所提出的一些特征提取的新算法在人脸识别方面得到了较成功的应用。首先,本文针对非矩阵分解的理论,提出了具有正交性的投影轴的计算方法和具有统计不相关性的投影轴的计算方法。这种处理方法的目的为了减少低维空间中投影轴之间的统计相关性,提高识别率。实验结果表明提出的两种特征提取方法在识别率方面整体上好于原非负矩阵分解特征提取(NMF)方法。针对非负矩阵分解方法在特征提取过程中没有充分利用训练样本的类别标签信息,本文提出一种新的有监督的非负矩阵分解方法,这种方法的特点:一是它充分直接利用训练样本的类别信息,二是在计算上仍然采用与非负矩阵分解方法相同数学公式,这种新特征提取方法被称为组合类别信息的非负矩阵分解(CINMF)方法。其次,针对非线性特征提取问题,基于核技术的理论,本文给出一种监督化的KPCA方法,即组合类别信息的核主成分分析(CIKPCA)。由于核主成分分析(KPCA)是无监督学习方法,在特征提取过程,KPCA中不能充分利用训练样本的类别信息,而CIKPCA则是克服这一弱点。在分类时本文采用基于两种特征融合的分类策略进一步改进CIKPCA方法的识别率。实验结果表明提出的新方法在识别率方面整体上超过常用的核主成分分析(KPCA)方法,在某些人脸数据库上,CIKPCA甚至超过了KLDA。另外,基于(核)最大间距准则,本文提出了一组具有统计不相关性的最优(核)鉴别矢量集的计算方法。新的方法的目的是消除了特征空间上最优(核)鉴别矢量间的统计相关性,提高了特征提取的有效性。最后,基于流形学习的理论,本文提出一种新的无监督的鉴别投影方法,这种新的方法是基于样本的局部和非局部统计量而建立的映射,它的鉴别准则是通过特征矢量的非局部散度与局部散度之间差的最大化来刻画的,准则目的是使得投影后特征矢量的非局部散度最大化,同时也使局部散度最小化。这种方法被称为最大间距鉴别投影(Marginal Discriminant Projection,MDP)。通过在ORL人脸库和AR人脸库上进行实验,比较了MDA、LDA、局部保持投影(LPP)和无监督鉴别投影(UDP)四种方法的识别率。另外,基于流形学习理论,本文提出一种新的针对图像矩阵的维数压缩方法。这种方法是基于样本图像矩阵来构建非局部散度矩阵和局部散度矩阵的,并且通过引入邻接矩阵来刻画高维数据的局部几何结构。准则函数是投影样本的非局部散度与局部散度之商的最大化来刻画的。新的方法是对图像矩阵行和列方向同时进行维数压缩而得到特征矩阵。这种方法被称为基于图像矩阵的双方向无监督鉴别投影((2D)~2UDP)。通过在ORL人脸库和AR人脸库上进行实验,结果表明本文提出的新方法在识别率方面整体上好于基于图像矢量PCA、LPP、UDP和(2D)~2PCA。