论文部分内容阅读
分类问题是实际应用中普遍存在的问题,也是机器学习领域的重要研究内容之一.孪生支持向量机(Twin support vector machines, TSVM)是通过求解两个二次规划问题的一种快速分类方法,它不仅具有传统支持向量机的优点,而且具有很强的数据处理能力.本文以分类问题为研究目标,立足于孪生支持向量机及其对偶优化问题的求解算法,主要内容如下:第一章,我们概述了孪生支持向量机的研究背景及其发展现状,对本文用到的一些基础理论作了简单介绍,主要包括统计学习理论,支持向量机,模糊支持向量机,多分类支持向量机,孪生支持向量机及其二次规划问题的优化算法.第二章,引入模糊隶属度、间隔,针对二分类问题我们提出了模糊间隔孪生支持向量机(FMTSVM),L2-模糊间隔孪生支持向量机(L2-FMTSVM),该方法对不同的样本执行不同的惩罚参数,且以结构风险最小优化分类模型,增强了对野点数据的抗噪能力,提高了算法的分类预测性能;同时,我们利用坐标下降方法与收缩技术,提出了FMTSVM对偶收缩坐标下降算法.在UCI数据集上FMTSVM平均预测准确率比TSVM提高6%,训练时间缩短1%.在人工数据集与真实数据集(UCI)上的实验表明:本文方法具有更快的学习速度,更好的泛化性能.第三章,基于一对余、一对一、偏二叉树SVM多分类算法,我们提出了FMTSVM三种多分类算法,把FMTSVM从二分类推广到多分类,并应用于人脸识别、国画分类等多类识别问题.本文方法在人脸数据库(ORL、Yale、Face94)与国画图像上的识别准确率比一对一TSVM分别提高1%、7%,训练速度分别加快9%、74%.这两个仿真实验共同表明:本文提出的一对一FMTSVM算法相对于一对一SVM、一对一FSVM、一对一TSVM更加有效与实用.最后,对全文所做的工作进行了归纳与总结,并对模糊间隔孪生支持向量机可以继续研究内容作了分析与展望.