支持向量机的序列最小优化学习算法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:DSCUMT
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文研究了支持向量机(SupportVectorMachine,SVM)的序列最小优化算法(SequentialMinimalOptimization,SMO)[2],并对算法进行了改进,分别应用于线性SVM和GaussianSVM上. 论文共分四节.第一节概述了论文研究的背景、训练SVM的分解算法的发展历史以及本论文在SMO算法改进上所做的工作. 第二节是SVM及其训练问题的数学描述.SVM训练问题归结为解一个带有线性等式和不等式约束的大规模凸二次规划问题:首先给出当训练样本线性可分时由训练SVM得到的原始优化问题,并得出其对偶问题.继而引出当训练样本不可分时,把原样本空间映射到一个线性可分的高维空间,通过引入核函数构造对偶问题.最后说明允许错分样本时的训练问题. 第三节重点分析SMO算法,研究了SMO算法的理论基础、算法的推导过程(包括用解析法求解带约束的子规划问题和每次成功优化后相关变量的更新)以及每个子规划问题优化变量的选择策略. 第四节先指出了原始SMO算法的缺陷:即核函数计算量太大占用了算法大量时间;子规划问题的第一个优化变量选取过于随机,从而影响整个算法收敛速度.之后,针对上面的缺陷分别对原始的SMO算法进行了改进,把输入样本数据预处理为适当的稀疏矩阵形式;选择第一个优化变量时使对偶问题目标函数的增加量最大,选择第二个优化变量时则在原始SMO算法的可供选择样本范围上加了违反KKT条件的约束.最后对原始的和改进的SMO算法进行了MATLAB仿真,从adult-la和tic-tac-toe这两个Benchmark问题中选择中等规模的两个样本集(adult-la中前500个样本,tic-tac-toe的全部958个样本)进行试验,试验结果表明,不论对线性SVM的训练还是对GaussianSVM的训练,在时间和迭代次数上改进算法均比原始算法少得多.
其他文献
网络平衡配流问题研究一定需求在网络结构上的Nash平衡状态分布规律;信息分析方法,特别是基于信息量分析和最大信息量获取意义下的网络状态分析方法越来越受到人们的重视。本文
期刊
该文主要讨论了King-Werner迭代法的一个变形及其弱条件下的收敛性和一个中点方法在α-判据下的收敛性.共分四个部分,第一章介绍了King-Werner迭代法的一些相关背景知识.第二
本文利用经典风险模型的思想,对索赔到达时间间隔服从亏时几何分布的连续时间风险模型做了进一步的研究,应用关键更新定理(格点分布的情形),得到了破产概率的Lundberg界,Cramér-
期刊
期刊
文章通过对夹河煤矿不规则块段采煤工作面使用轻型支架综采工艺实践总结,找出了不规则块段采煤工作面推广应用综采工艺的新办法,为创高产高效矿井拓宽了新途径。 The paper
文章针对喻家碥井+ 200m 水平七采区地质采矿条件和处于河下、铁路下、建筑物下采煤的特殊条件, 在实际观测资料的基础上, 对喻家碥矿井地表移动变形规律进行了分析。 According to
期刊
垂直密度表示是由Troutt于1991年首次提出的.随着关于此方面研究的不断深入,先后提出了多元垂直密度表示和第二类垂直密度表示,而将之前Troutt所提出的称为第一类垂直密度表