论文部分内容阅读
支持向量机(Support Vector Machine,缩写为SVM)是建立在统计学习理论基础之上的一种新的通用机器学习方法.作为数据挖掘中的新方法,其在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中,从而受到人们的普遍重视. 本文针对最小二乘支持向量机训练,提出一个新的共轭梯度法,以及对于的支持向量机的一般对偶问题,运用原始-对偶路径跟踪法对其进行训练求解,具体内容如下: 第一、针对最小二乘支持向量机,Suykens等将其化成一个线性系统,提出用标准的共轭梯度法来求解该线性系统,但是其算法需要两次求解一个具有相同系数矩阵的n阶线性等式.对此,Chu等提出了一种单步的方法,其只需求解一个n?1阶的线性系统一次即可得到最小二乘支持向量机的解.本文,我们提出一个新的共轭梯度法,并将其运用于最小二乘支持向量机的求解,在适当的条件下证明了其全局收敛性. 第二、对于支持向量机对偶问题的一般形式,其是一个带有线性等式约束和箱式约束的二次规划问题.针对该问题,Michael等利用一个内点算法对其进行训练.此前, Wang等提出了一个原始-对偶路径跟踪法来求解一般的带有线性等式约束和箱式约束的二次规划问题.本文利用该原始对偶路径跟踪算法来训练支持向量机,并且数值实验结果表明了该算法用于支持向量机训练是有效可行的. 最后,对于上述支持向量机训练算法进行数值实验,实验结果表明了本文提出算法的有效性。