特征提取是模式识别任务中的基本问题之一。主成分分析（PCA）、线性鉴别分析（LDA）、脊回归（RR）及其拓展方法是当前简单而有效的特征提取方法。但由于它们都是基于数据集全局信息的学习方法,因此它们不能保持数据的局部几何结构。尽管很多基于数据局部几何结构的特征提取方法能保持数据点在低维空间的近邻关系,但它们仍然存在一些不足。本文通过分析比较现有的线性特征提取方法,总结它们主要存在的四个问题。第一,RR、LDA及其相关拓展方法都存在小类别问题,即它们所学习的投影个数受限于训练样本的类别数,因此它们不能在类别数特别小的情况下获得足够多的投影来进行有效的特征提取。第二,这些方法要么不考虑投影的稀疏性,要么就算有稀疏性,也是采用L₁范数作正则项,因此,它们的投影一方面不具备联合稀疏特性,另一方面不能给出在特征提取层面上的一致语义解释。第三,由于这些方法大部分都采用L₂范数作为损失函数的基本度量,它们对数据的野点比较敏感,尤其在样本被噪声干扰或者数据不均匀的情况下。因此,它们的鲁棒性并没有得到充分的考虑。第四,这些方法没有考虑关于数据局部结构信息的广义正交性,因此它们所学到的子空间的有效性难以得到保证。针对这四个问题,本文提出了一套解决方案,以解决小类别问题为核心,考虑算法的鲁棒性问题、投影的稀疏性问题与广义正交性问题。首先,本文提出联合稀疏局部回归的方法来将数据的局部结构信息整合到回归学习中,在解决小类别问题的同时保持投影的联合稀疏特性以进行更有鉴别力的特征提取与选择。其次,本文进一步考虑特征提取的鲁棒性,提出基于鲁棒回归的联合稀疏学习方法。最后,本文考虑投影信息的广义正交性问题,提出基于广义正交学习的鲁棒联合稀疏回归方法。这三个方法循序渐进,逐步解决上述的四个问题,从而完善现有的特征提取方法。针对所提出的方法,本文给出了相应的理论分析,包括算法收敛性证明与时间复杂度分析。本文在人脸数据库、数字或字符数据库以及高光谱数据库进行了一系列实验,以验证所提出的方法在图像正常、有噪声或被遮挡的情况下的性能。实验结果表明,在大部分情况下,所提出的方法的不仅能解决小类别问题,而且在大样本的情况下也取得较好的性能。此外,它们比现有的线性特征提取方法更具鲁棒性。