论文部分内容阅读
支持向量机是基于统计学习理论的一种优秀的机器学习方法。它采用结构风险最小化原则,通过核函数技术在一个高维特征空间中构造最优线性决策函数,避免了维数灾难,并能获得全局最优解,具有良好的推广能力。由于其优良的性能,已经被广泛地应用于模式分类、函数逼近和密度估计等问题,成为机器学习领域的热点课题。用于解决分类问题的支持向量机称为支持向量分类机(SVC),以提高支持向量分类机的训练速度和推广能力、降低其计算复杂度为目的。本文研究了几种训练支持向量分类机的算法,主要内容如下:1.首先给出了一个重要定理,然后结合序列最小优化(SMO)算法的优缺点,提出一个改进的三变量SVC学习算法,即将标准的支持向量分类机问题分解为一系列含有三个变量的二次规划(QP)子问题,并由提出的定理保证相应的松弛子问题都有解析解,从而使得该方法能够更加精确和快速地逼近最优解。数值试验表明了新方法不仅节省了计算代价,而且还提高了分类精度。2.依据在每次迭代中选取多个变量同时优化可能会减少迭代次数和缩短训练时间的这一想法,提出了一个训练支持向量分类机的四重序列解析优化方法。其优点是每次迭代所求的子问题都有解析解,从而能够快速地逼近最优解。并给出算法的收敛性分析。仿真结果表明改进算法不仅缩短了训练时间,而且计算复杂度较小3.从支持向量分类机原对偶问题的KKT条件出发,提出了基于约简的二阶Mehrotra型预估校正算法训练支持向量分类机,该方法尽管在初始迭代时大部分样本都参与计算,但是随着迭代的进行,使用约简技术它只保留较少的必要样本,而丢掉越来越多不必要的样本,从而使很少的样本参与计算以达到节约计算代价的目的。数值试验表明新方法是有效的。4.首先针对求解支持向量分类机的原对偶问题,考虑到内点算法的不足,提出了训练支持向量分类机的非精确不可行内点算法,并分析了该算法的全局收敛性;其次还提出了改进的FR方法来计算方程组的不精确牛顿迭代方向,并在适当条件下证明了改进方法在Wolfe(?)(?)Armijo型线搜索下的全局收敛性。数值结果表明提出算法具有良好的性能。