论文部分内容阅读
支持向量机(Support Vector Machine, SVM)是在统计学习理论基础之上发展起来的一种全新的机器学习算法，是一种解决分类问题的有效方法。它将分类问题转化为最优化问题，从而应用最优化理论解决问题。 本文首先详细地论述了SVM的基本思想和发展现状，然后通过深入分析，指出现有一些方法中存在的问题。针对这些问题，应用最优化理论进行深入研究，主要工作如下： 1．通过引进对偶范数和平面上基于任意范数的投影，由向量范数等价性得到对偶范数的等价性，在分析对偶范数与间隔的联系后，进而得到基于各向量范数的间隔间的等价性，将问题归一化。 2．对基于超松弛方法的支持向量机(SOR-SVM)的模型进行适当的改造，得到改进的SOR-SVM算法。改进的SOR-SVM模型中去掉了松弛变量非负的约束条件，从而其对偶问题是一个只含非负约束的二次凸规划问题。由最优性充要条件和SOR方法，得到一个比现有算法更为简单的改进SOR-SVM算法。一方面，从解的性质角度入手，严格证明了改进的SOR-SVM与原标准模型的同解性，并将该结论推广到另一类改进模型与原标准模型的解的关系中，为SVM提供了理论依据。另一方面，我们对算法的性能进行了分析和评测。证明了该算法是线性收敛的，数值实验表明算法是非常有效的、且适合推广到非线性问题上，较原算法有更快的收敛速度。 3．将改进的SOR-SVM思想推广到回归机中，对基于超松弛方法的支持向量回归机(SOR-SVR)的模型进行适当的改造得到改进的SOR-SVR。首次从理论上严格证明了改进的SOR-SVR与原标准模型的同解性，并将该结论推广到另一类改进模型与原标准模型的解的关系中。理论保证了算法是线性收敛的，数值实验表明算法有良好的鲁棒性。 4．基于改进的SOR-SVM和广义的支持向量机(GSVM)思想,提出了基于SOR的改进的非线性广义支持向量机，使得可以用基于任意核的改进SOR-SVM来进行分类处理。 5．将基于SOR的改进的非线性广义支持向量机的思想推广到回归机中，提出了基于SOR的改进的非线性广义支持向量回归机，使得可以用任意核的改进SOR-SVR来进行回归处理。 目前，对支持向量机的研究主要是针对算法改进以及各种应用领域的扩展，因此本文的研究无论对支持向量机的理论还是实践应用，都具有很重要的意义。