论文部分内容阅读
特征抽取是模式识别领域最基本的问题之一。通过特征抽取,以较少的维数表示数据,用更为稳定的表达方式提高分类性能。近几十年来,在主成分分析、线性鉴别分析等线性鉴别特征抽取方法的基础上,典型相关分析(Canonical Correlation Analysis, CCA)、偏最小二乘(Partial Least Squares, PLS)等相关投影分析方法在数据处理与分析、回归分析与预测、鉴别信息抽取与融合等各个领域得到了广泛应用。特别是伴随着对相关投影分析的本质认识的不断深入,CCA、PLS与主成分分析(Principal Component Analysis, PCA)、线性鉴别分析(Linear Discriminant Analysis,LDA)之间的关系已被发现,前人的研究将利用相关投影分析抽取鉴别信息、进行信息融合的理论推到了一个新的阶段,具体的应用则更扩展到了模式分类与识别、图像重构与压缩、信息检索、回归分析等各个领域。正是因为相关投影分析在各个领域的成功应用,使其成为模式识别研究中最有活力、最有应用前景的领域之一。另一方面,相关投影分析从基础理论到具体应用,都有一些重要问题尚未解决,这激励着人们争相参与到此项研究中去。CCA是实现信息融合的有力工具。随着用CCA抽取典型成分作为鉴别特征及用于多特征融合进行模式识别的成功应用,该方法又被推广到图像鉴别特征抽取中,并建立了CCA抽取鉴别特征的理论框架。PLS回归分析提供了单因变量或多因变量对多自变量的回归建模方法,在回归建模的同时,不仅实现了原始数据的压缩,也消除了对系统无解释意义的干扰信息(噪声)。由于PLS解决了以往用普通多元回归分析方法无法解决的难题,因此该方法的理论研究进展非常迅速,应用领域已扩展到机械、生物、地质、医学、社会学以及经济学等领域。PLS模型的鲁棒性使其成为回归分析、维数压缩和分类技术的有力工具之一。本文工作主要包括如下内容:(1)进一步完善了基于CCA和PLS的相关投影分析,并且用于单特征、组合特征抽取和图像分类与识别的理论框架。讨论了CCA抽取鉴别特征的原则和特征组合,以及在正交约束和统计不相关约束条件下CCA和PLS抽取特征的性能,并与传统方法如PCA、LDA进行了对比。实验结果表明,相关投影分析能够更有效地抽取鉴别特征,特别是对称性的双特征,如人的左右眼、左右手掌的鉴别特征抽取有着更好的表现。(2)在介绍基于图像矩阵的二维相关投影分析的基础上,引入二维典型相关分析(Two-dimensional Canonical Correlation Analysis,2DCCA)和二维偏最小二乘(Two-dimensional Partial Least Squares,2DPLS)的基本理论,深入讨论了2DCCA与(Two-dimensional Linear Discriminant Analysis,2DLDA)的关系,证明了在两类类标编码情况下,二者仍存在等价关系。(3)分析了基于类标号的相关投影分析的缺陷,在此基础上提出了基于样本标号的相关投影分析,并将其推广到二维情况。基于同样原因,提出了模糊相关投影分析。实验结果表明,两种改进算法都可以有效地提高鉴别特征抽取性能。在ORL、AR等人脸图像数据库、中科院自动化所掌纹图像库(CASIA-Palmprint)、香港理工大学掌纹图像库(PolyU Palmprint)的实验基础上,在构建的战斗机卫星图像数据集上进一步验证了本文算法的有效性,也为统计模式识别在基于遥感图像的重要目标识别做了有益的尝试。(4)基于回归分析理论,从分析与预测的实际出发,运用PLSR对美国大选建模,寻找候选人得票率与国民经济发展等因素的相关关系。从而成功地将PLSR应用到辅助分析中去,拓展了分析与预测的研究方法和手段。