论文部分内容阅读
支持向量机是由Vapnik教授于20世纪90年代提出的一种新的机器学习算法,它建立在VC维理论和结构风险最小化原则基础上,根据小样本的信息在模型的复杂度和期望风险之间寻求最佳折中,能够获得更好的泛化能力,其学习过程只需求解一个凸二次规划问题。近几年,支持向量机在理论研究和算法实现方面都取得了突破性进展,是数据挖掘中的一项新技术,其卓越的学习性能,使得该技术成为机器学习领域新的研究热点,并且逐渐成为克服“过学习”和“维数灾难”等传统困难的强有力手段。目前,它已经在许多领域得到了成功的应用,比如手写体数字识别、文本自动分类、人脸检测等。Fisher线性判别分析的核心思想就是寻找最佳投影方向,使得样本在该方向上作投影后,类内离散度尽可能的小,类间离散度尽可能的大。基于Fisher线性判别又介绍了非线性分类方法——核的Fisher判别分析,其基本思想是首先将所有样本映射到某个特征空间中,然后在该特征空间中进行Fisher线性判别,从而实现了原输入空间的非线性判别。结合Fisher判别分析和支持向量机的优点,提出了一种新的分类算法—Fisher和支持向量综合分类器(Fisher-Support Vector Classifier,简称FSVC)。该分类器的核心思想就是寻找最优分类面的法向量,使得样本向量在上做投影后,不仅使分类间隔达到最大,而且使类内离散程度尽可能地小。对于线性情况,可以转化为传统的支持向量机求解,而不需要设计新的求解算法。对于非线性情况,利用再生核理论推导出新的求解算法。最后,用五大训练数据集对FSVC算法进行了测试,实验结果表明,该分类器具有很高的准确度和可靠性。