论文部分内容阅读
核方法作为一种非线性方法,对于非线性模式分类问题,具有坚实的理论支撑和强大的应用潜力。它具有两个显著的特点:首先是在线性与非线性之间架设起一座桥梁,其次是通过巧妙地引入核函数,避免了维数灾难,也没有增加计算复杂度。目前,支持向量机样本约简、核函数构造以及多重核学习都是核方法研究的重要方向。在支持向量机样本约简方面,一些研究致力于开发基于核聚类的样本约简方法;在核函数构造方面,利用数据的特性构造高效的专用核在很多应用领域尚未实现;在多重核学习方面,目前的多重核学习是在支持向量机的框架下提出并发展起来的,迄今还极少见到基于多重核的子空间分析方法的报告。本文的主要工作包括以下三个方面。提出了一种“自顶向下”的层次核聚类方法一核二分K一均值聚类算法(KBK),该方法能够在核特征空间中快速产生规模相近的簇;在此基础上,提出了支持向量机样本约简的KBK—SR算法,它将一个经过改造的KBK聚类过程与一个样本移除过程相结合,作为支持向量机训练的预处理过程。理论分析和实验都表明,KBK—SR算法能够在保持较高测试精度的同时,快速有效地进行支持向量机样本约简。针对人脸图像的光照变化,为基于核的LDA识别方法提出了一种系统的核学习方法。该方法从朗伯假设出发,通过最大化类内和类间相似度的差来学习核矩阵,进而使用散乱数据插值技术将核矩阵推广为被我们称作ILLUM核的核函数。在可变光照条件下的人睑图像集上的实验表明,我们的ILLUM核能够使基于核的LDA方法很好地处理人脸图像识别中的光照问题,在这个意义下,ILLUM核显著优于线性核和高斯径向基核等常用核。提出了多重核线性判别分析(MKDA)方法,首先针对基于核的LDA给出了一种多重核的构造方法,继而通过使用拉格朗日乘子法优化最大边缘准则,在基于核的LDA的框架下导出了MKDA权值优化的迭代算法。在实验部分,一方面,优化权值后的MKDA在几个UCI标准数据集上显示了高于单个核KDDA的鉴别性能;另一方面,将MKDA的权值优化算法用于核选择,为人脸图像识别有效地选取出了鉴别能力最强的核。