论文部分内容阅读
支持向量机是以统计学习理论作为其基础并且以结构风险最小化作为其遵循的准则,它通过结构风险最小化来同时控制学习机器的复杂度以及学习机器的学习能力。支持向量机在解决高维非线性的小样本的机器学习的问题具有非常大的优势,它没有传统机器学习方法存在的很多的问题,比如局部极值、过拟合等。支持向量机从提出到现在得到了广泛的应用与发展,但是,它依然存在一些问题,对于如何优化选择核函数以及优化选择相关的参数、如何利用多尺度核学习方法等,还没有完善统一的模式去遵循。因此,从SVM核函数的优化选择、SVM的参数优化选择、多尺度核学习等方面进行研究是非常必要而且有意义的。所以,本文从以上三个方面进行详细深入的研究,在核函数度量方法的基础上做出了一些改进,在不增加原有算法复杂度的情况下,选择出性能最好的核函数,来提高SVM算法的泛化性能和推广能力。本文做了以下四个方面的工作:(1)研究了机器学习理论、统计学习理论、支持向量机理论等,详细叙述了由最优超平面的最小间分隔得到SVM的算法的数学模型。再由算法的数学模型推导出线性SVM的具体算法,以及通过核函数将线性SVM推广到非线性SVM。(2)重点研究了核函优化选择的方法,特别是独立于SVM算法的核度量方法,分析了常用的核函数度量方法如核度量准则、核极化准则、推广的多类核极化准则,这些方法独立于具体的算法不需要训练支持向量机,算法简单复杂度低,并且能很好的选择出核函数,是一种很有效的核函数选择方法。(3)介绍多核学习的方法,可以发现多核学习方法比单核学习方法性能好,多尺度核学习方法是多核学习方法的一种,灵活性好。在借鉴了核度量方法和多尺度核学习方法的优点之后,提出了一种多尺度核加权融合优化的学习方法,给出了理论的分析和证明。(4)将本文提出的方法在六种经典的图像数据集上进行实验。首先,验证了加权融合的多尺度核优化学习的方法可以很好的选择出泛化性能好的加权融合的多尺度核。然后,将选择出来的加权融合的多尺度核结合支持向量机算法和选择高斯核函数的标准支持向量机、直推式支持向量机、拉普拉斯支持向量机、最近邻算法做比较,发现本文提出的方法识别率和稳定性都比较高,具有较大的优越性。