论文部分内容阅读
为了获取隐藏在高维数据中的有用信息,线性子空间学习方法往往被用来降低这些数据的维数。然而,很多现有的线性子空间学习算法对噪声、离群数据或其它扰动缺乏鲁棒性,以致相关学习算法在各种应用系统中的可靠性差。因此,该文旨在提高传统线性子空间学习算法的鲁棒性,将首先通过对线性子空间学习算法进行理论分析,然后找出影响各种学习算法鲁棒性的理论依据并对相关线性子空间方法进行改进。在此研究基础上,该文对一些关系密切的方法进行归纳总结并提出了两种一般框架,这为未来的研究工作打下了良好的基础。该文主要工作和创新包含以下五个方面：(1)为了进一步提高LPP-L1的鲁棒性,第二章提出一种基于最大相关熵标准的局部保持投影算法(LPP-MCC).LPP-MCC采用相关熵来度量数据间的相似性,形成基于最大相关熵的目标函数,并通过一个迭代的半二次优化框架轻松实现其目标函数的求解。LPP-MCC具有三个重要的优点：一是LPP-MCC在对抗离群数据方面比基于L2范数和L1范数的LPP都更具鲁棒性；二是LPP-MCC的求解过程本质上是一种简单的标准优化方法；三是LPP-MCC成功地避免了小样本问题。在人工合成数据集和从真实世界采集的数据集上的实验结果也表明LPP-MCC在对抗离群数据方面比LPP-L2和LPP-L1更具有鲁棒性。(2)虽然LDA-R1显著地提高LDA-L2对抗离群数据的鲁棒性,但是LDA-R1在面对高维输入空间时难以收敛。受PCA-L1和CSP-L1的启发,第三章提出一种基于L1范数最大化的线性鉴别分析算法(LDA-L1)。 LDA-L1是一种简单而有效的鲁棒算法,通过最大化基于L1范数的类间距与基于L1范数的类内距之比学习一系列局部最优投影向量。但是,直接求解LDA-L1的全局最优解是非常困难的。为此,一种基于迭代过程的贪婪搜索方案被用于求解其近似解。在人工合成数据集、标准分类数据集和三个高维图像数据库上的实验结果表明LDA-L1在对抗离群数据方面的鲁棒性强于LDA-L2和LDA-R1的同时,其计算开销要低于LDA-R1。(3)传统的鉴别局部保持投影算法(DLPP-L2)是一种基于子流形学习的线性维数约简技术,其目标函数采用基于L2范数的距离度量标准,所以其对离群数据非常敏感。受L1范数最大化方法的启发,第四章提出一种基于L1范数最大化的鲁棒鉴别局部保持投影算法(DLPP-L1),其通过最大化基于L1范数的局部保持类间散度与基于Ll范数的局部保持类内散度的比率学习一系列局部最优投影向量。DLPP-L1的求解过程被证明是可行的,而且克服了小样本问题。在人工合成数据集、Binary Alphadigits数据库、FERET人脸数据库子集上和PolyU掌纹数据库上的实验结果表明DLPP-L1比基于L2范数的DLPP类方法更具鲁棒性。(4)在充分分析多种鉴别分析方法的基础上,第五章提出了一种基于相似性度量的鉴别分析一般框架。该框架表明鉴别分析方法由四个方面构成：一是相似性的度量标准；二是数据的表现形式；三是相似性的计算方式；四是目标问题的形成和求解算法。在该框架下可对现有的诸多鉴别分析算法做出阐释,而且可设计出新的鲁棒鉴别分析算法。为此,第五章还根据该框架提出一种基于L2和L1范数的鲁棒鉴别分析算法-——LDA-L2&L1,其类间相似性度量的标准采用基于L2范数的距离,而类内相似性度量的标准采用基于L1范数的距离。实验结果表明LDA-L2&L1算法是有效的,也间接证明基于相似性度量的鉴别分析一般框架是有效的。(5)为了提高子空间学习方法在处理图像数据时的可靠性,第六章以人脸识别为例提出一种基于局部纹理模式的子空间学习一般框架,该框架是利用简单的叠加思想来形成一种有效的综合方案。在该框架的指导下,第六章提出一种基于ELDP的鲁棒子空间学习人脸识别方案。为更具鲁棒性,方案采用了鲁棒的纹理算子ELDP。ELDP是第六章在LDP的基础上提出的一种优化纹理算子,在三个人脸数据库上的实验表明ELDP在保持鉴别性的同时提高了LDP对抗轻微噪声的鲁棒性。在CAS-PEAL-R1人脸数据库上的实验结果表明推荐方案是有效的,这也说明基于局部纹理模式的子空间学习框架具有参考价值。