支持向量机的思想最早出现在前苏联学者Vladimir N.Vapnik和Alexander Y.Lerner1963年发表的研究论文。经过几十年众多学者的努力,支持向量机已经成为机器学习、数据挖掘和模式识别领域中的一种经典算法。随着机器学习研究的发展,支持向量机也从最初的二分类问题、回归问题扩展到其他机器学习课题,如:特征选择、半监督、顶序学习、有序回归、异常值检测、多视角学习等。在这些新课题中,由支持向量机发展来的模型继承了大部分的原有特性,如:间隔理论、核技巧、结构风险最小化等;同时也继承了原支持向量机模型中的缺陷。有关支持向量机模型缺陷的研究一直是机器学习领域的研究方向之一。这些研究对于支持向量机及其变体也有重要意义。本文主要研究了支持向量机解的稀疏性对支持向量机快速学习的作用及标签噪声问题。主要的研究成果及创新如下所示:（1）本文提出了基于寻找靠近分类超平面附近样本的启发式支持向量分类模型样本剪辑方法。靠近分类超平面附近的样本由广义近邻链估计。这种方式保留的样本更有可能成为支持向量并且包含更少的不可能成为支持向量的样本。与以往寻找不同类别重叠区域样本的启发式支持向量机分类模型样本剪辑方法相比,本文的方法不需要假设不同类别之间存在重叠区域。在多个数据集上的实验结果表明,基于广义近邻链的启发式样本剪辑方法可以使得支持向量机分类模型保留尽可能少的样本并且不增加时间复杂度的前提下,获得与原训练集相近的分类精度。（2）对于支持向量机回归模型训练数据集样本剪辑,本文首先证明了支持向量位于以决策函数f（x）为中心,宽度为2ε的管道外（上）;其次,证明了这样的样本位于数据分布的边缘;然后提出了通过样本标签首先确定样本k近邻的候选集,在候选集里寻找k近邻并通过k近邻分布差寻找可能位于数据分布边缘的样本。由于样本的标签只是一维,确定k近邻候选集的过程可以在O（1）时间复杂度内完成。当样本的标签分布均匀时,k近邻候选集的大小与数据集大小无关,只与近邻数k有关。因此,本文提出的基于候选集寻找k近邻的寻找可能成为支持向量样本的方法时间复杂度为O（n）。对于包含463,715个训练样本的Year Prediction Million Song Dataset（MSD）数据集,本文的算法可以在10秒内完成寻找可能成为支持向量的样本,而仅保留1%的样本时MSE与完整训练集相差无几。（3）本文提出了以间隔宽度与样本到分类面的距离的比值作为样本权值的加权支持向量机分类模型。对于靠近分类超平面附近的样本被赋予较大的权值。这与支持向量机分类模型靠近分类超平面附近的样本更重要一致。多个数据集上的实验结果表明,我们的方法分类精度要好于原支持向量机和基于密度间隔的支持向量机。（4）本文提出了结合非监督奇异点检测的鲁棒一分类支持向量机模型以及鲁棒的由一分类支持向量机发展而来的多类监督奇异点检测模型。对于一分类问题和多类监督奇异点检测问题,训练集中被错误标注的样本被当作所标注的类别中的异常值并由非监督奇异点检测算法赋予较小的权值。因此,结合非监督奇异点检测的一分类支持向量机和多类监督奇异点检测算法对于错误标注样本更加鲁棒。