论文部分内容阅读
基于统计学习理论而产生的新方法-支持向量机(Support Vector Machines,SVMs),它较好地解决了学习方法中的小样本、过学习、非线性、高维数、局部极小等问题,具有很强的推广能力,是目前机器学习和模式研究领域的热点之一。从支持向量机及最小包围球理论发展起来的支持向量数据描述(Support VectorData Description,SVDD)越来越受到研究者的重视,相比于支持向量机,支持向量数据描述有着复杂性低、易移植、训练速度快等优点,在奇异值检测、人脸识别领域等有着广泛的应用,同时,SVDD正已成为解决不平衡数据分类和多示例分类中的一种新方法。
但是,尽管SVDD方法具有以上优点,在实际应用中仍不同程度的存在一些缺陷,例如:进行二类分类时推广能力偏弱等。本文针对SVDD模型进行研究和改进,进行了如下方面的工作:
(1)回顾了统计学习理论研究的基本问题,从最大间隔法引出线性支持向量机,研究了非线性分类中的支持向量机方法、核函数以及常用求解方法-序列最小最优化算法等。
(2)研究了支持向量机及最小包围球理论基础上发展起来的支持向量数据描述方法,包括硬间隔、软间隔及带负类样本的SVDD方法。对于软间隔SVDD方法,我们分析了其存在的一个惩罚参数设置的问题,其次给出了带负类样本SVDD方法的工作集选取、停机条件推导及基于SMO方法求解等问题。
(3)提出的一种新方法:基于最大球心距的SVDD分类器。其主要思想是将两类样本分别约束在两个超球之内,并最小化超球半径和最大化两类超球的球心距离。基于最大球心距的SVDD方法中首次引入了一个控制分离间隔与超球半径之比的常数K,并分析了K的取值对超球分类的影响。在最后的实验中,人工数据和真实数据均表明,我们的方法都有较好的性能。
(3)回顾了结合SVM最大分类间隔及SVDD最小包围球思想的超球分类算法(pattern classification via single spheres,SSPC),并在此基础上给出我们另一种新方法一二阶环形间隔分类器。针对不平衡数据分类导致分界面偏移的问题,我们同时还给出了两种针对不平衡数据分类的环形分类算法。真实数据实验表明,在对不平平衡数据分类的问题上,我们的算法有较高几何分类精度。