论文部分内容阅读
支持向量机(Support Vector Machine，SVM)是在统计学习理论基础上发展起来的一种新的机器学习方法，该方法采用结构风险最小化准则训练学习机器，在解决有限样本分类问题时具有很强的学习能力和泛化能力．由于支持向量机能较好地解决非线性、高维数、局部极小点等问题，成为机器学习领域一个新的研究热点，已在很多领域得到成功的应用，如人脸检测、手写体数字识别、文本自动分类等．多分类是机器学习的一个重要分支，而经典的支持向量机算法是针对两分类问题提出的，因此人们将其进行推广来解决多分类问题．该课题对支持向量机多分类直接算法(Quadratic Programming Multi-class Support Vector Machine,QP-MC-SVM)进行了一系列的研究，主要工作和结论如下： 1．2002年Franc等人对支持向量机多分类模型QP-MC-SVM进行了改进，给出了求解其等价模型的单点算法，克服了QP-MC-SVM的目标函数过于复杂等缺点．本文给出QP-MC-SVM解的充要条件，根据该充要条件，首次从理论上证明QP-MC-SVM的改进模型与原模型之间解的一致性． 2．由于SVM中参数值的选取比较困难，Scholkopf等人于2000年提出了另外?C C一种改进的支持向量机—υ-支持向量机，简称ν-SVM．与C-SVM中的参数C不同，参数ν的取值具有实际的意义．本文对ν-SVM进行推广，给出一种新的支持向量机多分类直接算法模型ν-QP-MC-SVM，并首次给出与ν-QP-MC-SVM相关的性质定理及其对偶问题。 3．由于求解ν-QP-MC-SVM十分困难，本文首次对ν-QP-MC-SVM对应的原始问题进行改进，把阈值引入目标函数，在n+1维空间上考虑最大化间隔，给出它的BSVM模型．通过引入Kesler结构，首次给出ν-QP-MC-SVM的单类支持向量机模型，并首次证明单类支持向量机模型中的不等式约束eTα≥ν换成等式约束eTα=v后，问题的解不变．首次给出ν-QP-MC-SVM的BSVM模型与其原始模型之间解的一致性的结论，并加以详细证明。 4．由于序列最小最优化算法(Sequential Minimal Optimization，简称SMO)算法采用解析法进行求解支持向量机，使支持向量机拥有了解决超大规模数据分类问题的能力．本文首次给出求解ν-QP-MC-SVM对应的单类支持向量机的SMO算法，通过数值试验说明ν-QP-MC-SVM的SMO算法与QP-MC-SVM对应的单点算法相比，在分类准确率基本相同的情形下，具有较快的训练速度． 5．实际生活中存在各种各样的模糊多分类问题，类与类边界不清晰的分类问题，以及含有孤立点和噪音数据的分类问题．本文首次给出模糊支持向量机多分类直接算法模型QP-MC-FSVM的简单变形，使QP-MC-FSVM易于求解，并首次给出模糊多分类直接算法模型ν-QP-MC-FSVM及其简单变形，从而大大丰富了模糊支持向量机多分类算法的理论，并拓宽了其应用领域．