二十世纪90年代中期,Vladimir N. Vapnik教授在统计学习理论的基础上提出的支持向量机学习算法,在解决基于小样本的机器学习问题时表现出了卓越的性能,已成为机器学习领域新的研究热点。但是,支持向量机的训练费用、泛化性能以及核函数的选择等关键问题,长期以来都没有得到彻底的解决,这使得支持向量机的理论优越性没能够在更广泛的实际应用中凸现出来。 为深入研究支持向量机,并进一步拓宽其应用领域,针对支持向量机的训练性能、泛化性能及核函数的选择等问题,本文主要进行了以下研究: 1) 系统分析了支持向量机的理论基础,研究分析了经验风险最小化的局限性和结构风险最小化的优越性,详细总结了支持向量机的研究及应用现状,分析了支持向量机的优越性及待改进的方面。 2) 研究了凸二次规划的实现方法,总结了传统的解决凸二次规划问题的方法在解决大规模或超大规模训练问题时计算时间、内存占用和计算精度等方面的不足;本文采用的方法在解决大规模训练问题(如11000个训练样本)时表现出的性能令人满意。 3) 对各种变形支持向量机算法进行了对比分析,研究了对支持向量机算法改进的一般方法,即必须在结构风险最小化的原则指导下对支持向量机算法进行改进。 4) 研究分析了影响支持向量机训练性能、学习性能的几个重要因素,并总结得出支持向量机训练时间随训练样本数目ι的增大近似线性增长;随着训练样本数目ι的增长,置信范围减小,分类正确率不断提高;当分类正确率达到最大时惩罚因子C只是分布在一个较小的范围内。 5) 在研究Brodatz和KTH TIPS纹理图像分类问题时,本文采用了纹理图像的位图表达方式,这一表达方式省去了纹理特征提取的费用,但增加了样本的维数;该表达方式将纹理图像分类问题转化为一个小样本的机器学习问题,从而可以采用SVM方法来解决图像分类问题。由于支持向量机学习算法是与样本维数无关的,因此实验中(在可以接受的训练花费下)依然获得了较高的分类正确率。