论文部分内容阅读
数据降维算法的研究在传统的模式识别、生物特征识别、计算机视觉以及数字图像处理等领域都具有非常重要的理论和实际价值。本文主要研究新的数据降维算法及其在人脸识别、步态识别和基于内容的图像检索中的应用。
在经典的基于统计学习的数据降维算法中,比如主成分分析(PrincipalComponentAnalysis,PCA)和线性区分性分析(LinearDiscriminantAnalysis,LDA),分析的对象通常都被表示成为一维的向量。而在很多实际的应用中,比如人脸识别中(FaceRecognition),分析的对象都是二维或者高维的图像数据,即灰度人脸图像就是二维数据,彩色人脸图像或者人脸图像序列是三维数据。因此经典的人脸识别算法是把二维或者高维的图像数据变换成一维的向量数据,然后用PCA或者LDA来做数据降维。但是在本文第二三四章中指出,这样的变换将导致数据各个维(比如图像的行和列)之间的结构信息的丢失,而且会导致维数灾难和小样本问题。因此在本文的第二三四章提出了一系列新的基于二维或者高维表示的数据降维方法。其中第二章提出了基于最优重建准则的二维或者高维数据的多线性降维方法CoupledSubspaceAnalysis(CSA-2)和ConcurrentSubspaceAnalysis(CSA-3),第三章提出了基于最优区分性准则的二维或者高维数据的多线性降维方法BilinearDiscriminantAnalysis(BDA)和DiscriminantAnalysiswithTensorRepresentation(DATER)。第四章提出了基于最优区分性准则的二维或者高维数据的非线性降维方法CoupledKernelDiscriminantAnalysis(CKDA)。大量的实验证明新提出的基于二维或者高维表示的直接数据降维方法明显优于基于一维向量表示的数据降维方法,尤其是当训练样本比较少而且数据分布非常复杂的时候,这种优势更加明显。
近年来,不仅基于统计学习的数据降维算法,比如PCA/LDA以及其基于核方法的版本,核主成分分析(KernelPrincipalComponentAnalysis,KPCA)/核区分性分析(KernelDiscriminantAnalysis,KDA)等,被广泛用于数据降维,而且基于几何理论特性(GeometricTheory)的流形学习(ManifoldLearning)算法,比如ISOMAP,LLE和LaplacianEigenmap(LE)等也相继被应用于数据降维领域而且取得了很大的成功。本文第五章提出了一个新的统一的理论框架,即:图嵌入理论框架(包括直接的图嵌入、线性化、核化和张量化)。这个框架可以把上面提到的这些数据降维的算法都归入其中。这个框架不仅可以归纳很多现有的算法,而且可以被用做设计新算法的平台。基于这个平台,第五章提出了两种新的有监督流形学习(SupervisedManifoldLearning)的算法,即MarginalFisherAnalysis(MFA)和DiscriminantLocallyLinearEmbedding(DLLE)。由于新提出的算法考虑了数据的局部流形结构和样本的类别信息,大量的实验结果证明这两种算法的线性化/核化/张量化的版本都优于只考虑样本类别信息的LDA的相应版本。
前面几章主要考虑的是人脸识别这个应用。在本文的第六章主要考虑前面提出的数据降维算法在步态识别中的应用,而第七章则考虑其在基于内容的图像检索中的应用。
在第六章中,首先针对步态识别的预处理步骤即运动目标分割这个任务,提出了一种不重要阴影(InsignificantShadow)的去除算法来更好的分割运动对象。实验结果证明新提出的阴影去除算法明显优于前人提出的算法。第六章还系统的比较了CoupledSubspaceAnalysis+BilinearDiscriminantAnalysis(CSA+BDA),MFA以及DLLE和传统的LDA算法在步态识别上的结果。大量的实验仍然证明新提出的算法在步态识别中也取得了较好的效果。第七章主要针对基于内容的图像检索的特点提出了MFA变换的版本,即MarginalBiasedAnalysis(MBA)。大量的实验结果证明新提出的MBA及其核化的版本KernelMarginalBiasedAnalysis(KMBA)都优于当前最好的算法。