随着计算机和网络的飞速发展，模式识别技术需要面对越来越复杂的数据。研究出有效的特征抽取和分类方法一直是模式识别的核心任务。基于最小平方误差分析的特征抽取和分类方法在模式识别领域中起着至关重要的作用，例如目前流行的基于稀疏表示的分类方法和二维主成分分析方法均为最小平方误差方法的特殊形式。本文在现有研究工作的基础上，提出了一系列新颖的基于最小平方误差的特征抽取和分类方法，并应用于人脸识别问题中。本文的主要研究工作和创新包括：提出了一种局部最小平方误差分类方法。传统的最小平方误差分类方法对所有测试样本共用同一个类标预测模型，在某些复杂分类问题上，难以获得较好的识别效果。本文提出的局部最小平方误差分类方法对每个测试样本都确定其某个邻域，然后在此邻域内建立最小平方误差分类模型，该方法能使测试样本参与到其分类模型的学习过程中，有利于提升模型对测试样本的分类精度。提出了多子空间和多方向的二维主成分分析方法。多子空间的二维主成分分析能够直接在矩阵上进行特征抽取，无需预先将矩阵转换为向量，避免了矩阵中结构信息的丢失，在数据表示和恢复能力上该方法比传统二维主成分分析方法有明显优势，将该方法用于Gabor脸矩阵的特征抽取，得到了比以往方法更高的识别精度。多方向的二维主成分分析方法能够在任意方向上对图像矩阵进行二维特征抽取，而传统方法只能在图像矩阵的水平或垂直方向上进行二维特征抽取，因而该方法更具有一般性。并设计了融合多个方向上的二维特征抽取结果进行识别的算法，充分利用了不同方向上二维特征抽取结果的鉴别性。对线性表示分类模型进行了改进，提出了非线性稀疏表示分类模型。以往的线性表示分类方法均假设测试样本能被训练样本线性表示，但在实际人脸识别应用中，这一假设并不总能成立。非线性稀疏表示分类模型依据测试样本能被训练样本非线性表示这一假设，在计算上引入核函数，在高维特征空间中解决了样本间的稀疏表示和分类问题。分析了基于l1范数优化和l2范数优化的两种线性表示分类方法各自的优缺点，并发现这两种表示模型得到的表示系数具有较强的不相关性，在此基础上提出了融合这两种范数优化的线性表示分类模型，通过实验证实了该融合方法在人脸识别问题上能够获得较高的识别精度。对线性表示分类方法的特征抽取问题进行了研究，提出了类别残差鉴别分析方法和快速稀疏表示分类方法。类别残差鉴别分析方法的目的在于将样本变换到新的空间中，该变换能使样本的类间表示误差和类内表示误差的比值达到最大，从而提升样本在线性表示分类方法中的可分度。通过人脸数据库上的实验证实了经过该变换后，使用基于线性表示的分类方法进行识别的精度获得了较大提升。快速稀疏表示分类方法的理论依据是在PCA空间与原始空间中的稀疏表示模型具有较强的相似性。该方法在PCA变换后的低维空间中学习稀疏表示模型，并在原始空间中进行类别表示误差的计算，以较小的计算代价获得了与原始稀疏表示方法近似的类别表示误差。通过人脸数据库上的实验表明，该快速稀疏表示分类方法能够在不降低识别精度的前提下明显提升分类效率。总体而言，出于提高分类精度和分类效率的目的，本文提出了一系列基于最小平方误差的特征抽取和分类方法，并应用于人脸识别问题。通过大量的实验表明，本文提出的方法达到了预期效果，在人脸识别中有较好的应用前景。