基于支持向量机模型的优化算法研究

来源 :桂林电子科技大学 | 被引量 : 0次 | 上传用户:yu19910108
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
支持向量机(Support Vector Machine,缩写为SVM)是建立在统计学习理论基础之上的一种新的通用机器学习方法.作为数据挖掘中的新方法,其在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中,从而受到人们的普遍重视.  本文针对最小二乘支持向量机训练,提出一个新的共轭梯度法,以及对于的支持向量机的一般对偶问题,运用原始-对偶路径跟踪法对其进行训练求解,具体内容如下:  第一、针对最小二乘支持向量机,Suykens等将其化成一个线性系统,提出用标准的共轭梯度法来求解该线性系统,但是其算法需要两次求解一个具有相同系数矩阵的n阶线性等式.对此,Chu等提出了一种单步的方法,其只需求解一个n?1阶的线性系统一次即可得到最小二乘支持向量机的解.本文,我们提出一个新的共轭梯度法,并将其运用于最小二乘支持向量机的求解,在适当的条件下证明了其全局收敛性.  第二、对于支持向量机对偶问题的一般形式,其是一个带有线性等式约束和箱式约束的二次规划问题.针对该问题,Michael等利用一个内点算法对其进行训练.此前, Wang等提出了一个原始-对偶路径跟踪法来求解一般的带有线性等式约束和箱式约束的二次规划问题.本文利用该原始对偶路径跟踪算法来训练支持向量机,并且数值实验结果表明了该算法用于支持向量机训练是有效可行的.  最后,对于上述支持向量机训练算法进行数值实验,实验结果表明了本文提出算法的有效性。
其他文献
信赖域方法和线搜索方法是求解无约束最优化问题中常用的两种有效方法,应用非常广泛。但与线搜索方法相比,信赖域算法的优势在于其具有较强的收敛性和稳定的数值性能,它不仅