分类的目的在于根据其特征将数据“分门别类”,在数据挖掘中的研究中备受人们的关注。分类问题包含了两个基本过程:学习和分类。在学习的过程中,利用有效的学习方法,从已知类别的训练数据集中学习一个分类器;在分类的过程中,使用学习得到的分类器,对类别未知的数据进行分类。由此可见,分类的准确程度依赖于分类器的准确性,所以分类的重点在于分类器的学习。支持向量机(SVM)和距离加权判别(DWD)是两个非常常用的分类算法,其搜索最佳分离超平面的策略均是使得间隔最大化。在SVM中,只有支持向量才会对分离超平面的学习有影响,所以对类别不平衡数据不敏感。但是,在损失最小化的过程中,SVM容易出现高维小样本数据下的“数据堆积”现象,即在分离超平面两侧的间隔边界上堆积了很多样本点(即支持向量),造成过度拟合。在DWD中,所有样本点都对分离超平面的学习有不同程度的影响,所以可以有效地解决高维小样本数据的过拟合问题。但是,面对类别不平衡数据时,DWD为了减少整体误分类,容易偏向于多数类,从而将分离超平面推向少数类一侧。灵活分类器(FLAME)和距离加权支持向量机(DWSVM)的提出,就是为了解决上述提到的高维小样本数据的过拟合问题和类别不平衡数据的敏感问题。FLAME和DWSVM都继承了 SVM和DWD的优点,同时缓解了过度拟合和对类别不平衡敏感这两个问题,前者通过对损失函数的优化来实现,而后者则通过对最优化问题中的目标函数的优化来实现。模糊支持向量机(FSVM)是从SVM发展而来的,通过引入模糊隶属度(加权系数)使得不同的样本点对分离超平面的学习作出不同的贡献,同时也继承了SVM的优点。本文在分析了高维小样本数据的过拟合(数据堆积)问题和类别不平衡数据的敏感问题之后,借鉴FLAME和DWSVM,有效地结合了 FSVM可以解决类别不平衡数据的敏感问题和DWD可以解决高维小样本数据的过拟合问题的良好分类性能,将DWD中的反距离运用到FSVM中的模糊隶属度上,提出了一个二类线性分类新算法——反距离加权支持向量机(IDWSVM),既可以解决类别不平衡数据分类的敏感问题,也可以解决高维小样本数据分类的过拟合问题。最后通过理论分析和实例论证,都证明了 IDWSVM确实可以解决上述两个分类问题。在本文的最后,对新算法IDWSVM进一步发展,提出了将此二类线性分类算法拓展到非线性分类和多类分类的想法。一方面,可以引入核技巧的思想,将非线性数据集映射到更高维度的线性数据集上,来解决非线性分类的问题;另一方面,可以通过“一对一”和“一对多”的思想,来解决多类分类的问题。