论文部分内容阅读
支持向量机(SVM)是由统计学习理论发展而来的一种被广泛使用的机器学习分类算法,但是在具体问题中核函数及其参数的选择是决定支持向量机泛化能力的关键因素。本文通过引入泛化能力更强的多宽度高斯核函数(Gaussian Kernel with Multiple Widths,GKMW)取代传统的高斯核函数,以此改善高斯核的单宽度性会限制支持向量机泛化规模的问题。对于多宽度高斯核的参数优化问题,传统的梯度算法存在着对初值过分依赖且容易陷入局部最优等不足,因此本文采用进化算法基因表达式编程(GEP)对该问题进行寻优,基因表达式编程因其更易跳出局部最优等特点近年来被广泛使用在多值优化问题上。同时为了进一步加快寻参速度本文设立一个基于多宽度高斯核的类别分散程度测量准则(GCSC),并将其引入到GEP的适应度函数中,解决原适应度函数需要耗费大量时间训练SVM的问题,在此基础上提出一种改进后的基因表达式编程优化算法——GEPCS算法,以此降低参数优化的计算开销提高运行效率。本文的主要研究内容如下:1.由于多宽度高斯核函数的参数优化实质上是一个多峰组合优选问题,因此相较于传统的梯度算法更适宜于采用进化计算的方式进行寻优。本文首先设立一个基于多宽度高斯核的类别分散程度测量准则(GCSC),该准则可以确定在固定的参数组合下相对应的特征空间中类别之间的分散程度,以此作为参数组合的寻优方向,并将该准则引入到基因表达式编程(GEP)算法中对原适应度函数公式进行改进,解决原适应度函数需要耗费大量时间训练SVM的问题,在此基础上提出一种改进后的基因表达式编程优化算法——GEPCS算法,在解决多宽度高斯核参数优化问题的同时提高算法运行效率。2.面对大数据时代下庞杂的数据规模,支持向量机在处理大规模数据时经常会遇到含有冗余或不相关特征的数据集,为了进一步地提高支持向量机的分类性能,本文根据多宽度高斯核函数不仅能体现各个特征对分类的贡献程度不相同,而且能区分样本中各个特征重要性的特点,以上文多宽度高斯核参数优化的结果为基础,提出一种基于多宽度高斯核的支持向量机特征选择算法,以此降低特征空间的复杂度提高分类性能。3.本文将GEPCS算法应用在标准的UCI数据集上进行支持向量机分类实验,在验证了本文参数优化算法可行性与有效性的基础上通过与传统的参数优化方法进行对比实验,结果表明本文提出的GEPCS算法能找到最优参数组合使得支持向量机的分类准确率接近或超过分类数据集的理论精度,且本文方法相比具有寻参时间更短的优势。同时在参数优化结果的基础上对数据集进行特征选择,实验结果表明本文的特征选择算法能够进一步地提高支持向量机的分类性能,为支持向量机搭配多宽度高斯核时参数的优化及特征的选择提供了一种新的、高效的方法。