论文部分内容阅读
在这个“信息爆炸”的时代,人类常常要面临分析和处理各种数据信息的要求,如海量web数据、大规模数据库文本、大量遥感图像等,这就对统计学、模式识别、人工智能、数据挖掘、机器学习等相关学科领域的发展提出了挑战。这些数据不仅呈几何级数式增长,而且现实中通常是高维的。这些高维数据常常会引发所谓的“维数灾难”,一方面,它们通常是稀疏的、冗余的,容易掩盖数据的真实结构,甚至会导致错误的分析处理结果；另一方面,它们增加了分析处理数据的负担。作为解决“维数灾难”的有效途径,维数约简发展成为一个重要的研究课题,它将数据从高维特征空间约简到低维特征空间,约简后的特征空间更能体现数据的本质结构,并且提高了数据的分析处理效率。本文对维数约简的理论方法和实际应用进行了深入的研究,主要工作概括如下：1.提出一种动态寻优子空间方法。该方法是通过寻找平衡主成分分析(PCA)和最大边缘准则(MMC)目标函数的最佳系数来实现的,它的目的是使得PCA寻找代表原始数据结构的线性投影方向时,能够更多地考虑判别信息,同时也使得MMC在寻找实现约简特征维数和提取分类信息的线性投影方向时,能够更好地表达样本的原始数据结构。另外,不同的数据,甚至是同种数据不同条件下,会有不同的结构特点,因此应该根据数据的结构特点来选择算法,而该方法很好地满足了这个要求。使用基因微阵列数据的肿瘤分类实验证明了,这种新的特征提取方法是有效的、稳定的。2.提出一种基于稀疏表示的无监督特征选择算法一稀疏评分(SS)。稀疏表示虽然属于全局性的方法,却含有天然的判别性和局部性,这就使得SS不仅具有较强的判别能力,还有局部结构保持能力和一定的全局结构保持能力。另外,SS所选取的特征方差比较大,即信息含量比较大。人脸图像的聚类实验结果显示,SS对特征重要性的评价效果明显优于方差评分(VS)和拉普拉斯评分(LS)这两种特征选择算法。3.提出一种基于低秩表示的监督特征提取算法--低秩表示判别投影(LRDP)。基于低秩表示,LRDP拥有良好的数据全局结构表达能力和一定的判别结构表达能力,另外,LRDP依据SRC决策准则,使得它拥有良好的判别性能。人脸图像的分类实验结果显示,LRDP的性能要优于其它一些特征提取算法,包括主成分分析(PCA)、线性判别分析(LDA)和稀疏保持投影(SPP)。4.以本体理论为依据,提出一种基于农业本体的农业文本特征优化方法。首先进行特征映射,即用农业本体的概念取代向量空间模型的术语,概念频率权重由术语频率权重统计得到。其次进行特征加权,即根据农业本体的概念层次结构,将概念相似度权重追加到概念权重。该方法结合特征频率权重和特征相似度权重,不仅大幅减少了特征空间的维数,而且为特征空间引入了语义信息。通过农业文本文档的聚类实验,该方法的可行性和有效性得到了验证。