论文部分内容阅读
支持向量机(SVM)是一种基于Vapnik创建的统计学习理论的机器学习方法,利用结构风险最小化原则而不是大多数传统神经网络所惯用的经验风险最小化原则。SVM方法主要是通过二次规划来寻找一个最佳回归函数或者最优分类面,通过少量的数据就能容易求解,并且可使SVM能获得全局最优的唯一解,保证了对独立测试集较小的误差,提高了学习机的泛化能力。由于二次规划是一个迭代过程,并且如果要处理大量数据,每一步计算都很复杂。在SVM的基础上,Suykens等在Vapnik统计学习理论基础上提出了一种新型支持向量方法--最小二乘支持向量机(LS-SVM)。LS-SVM采用误差平方和作为训练集的经验损失,将SVM的二次规划问题转换为求解线性方程组的问题,这种重组方式使LS-SVM较SVM有更优良的学习速度,而且计算简便。基于LS-SVM的最小二乘支持向量回归已经成功地应用于函数逼近、在线建模、非线性系统辨识、时间序列预测等领域。
SVM的非线性处理能力是通过“核映射”的方法将输入空间的数据映射到高维空间来实现的。核技巧是支持向量机的重要组成部分,它用原来输入空间中的两个模式的简单函数(核函数K)的求值来代替高维空间两个点的内积计算。由于小波基具有良好的时频局部特性,且通过平移伸缩即能生成L2(Rd)上的一组完备基,因此将小波基作为核函数可以使分类支持向量机逼近任意分类面,回归支持向量机逼近任意的目标函数。目前,小波作为SVM的核函数以表现出比其他核函数较优越的性能,但是现有的小波支持向量机仅仅在固定的尺度上进行研究,没有充分利用小波的多尺度特性,而我们所获得的数据大多具有多尺度成分,所以不能达到很满意的效果。
为了从根本上解决上述问题,提高逼近精度,本文将多分辨小波融入到SVM中,与计算较简便的LS-SVM结合起来,提出基于多尺度小波核的最小二乘支持向量机,将具有不同核参数的小波函数作为支持向量核,分别在不同的小波空间上实现对函数的逼近,根据函数不同的细节成分的特点来选取不同的核参数。基于多尺度小波核的最小二乘支持向量机不仅拥有多分辨小波能逼近非线性函数的能力,而且还具备LS-SVM的优点。
本文详细分析了多分辨小波与SVM结合的理论过程,并且具体推导了两尺度和三尺度小波核的最小二乘支持向量机算法,通过具体的数据将多尺度小波核最小二乘支持向量机与固定尺度的小波核最小二乘支持向量机进行了详细比较,实验数据表明,多尺度小波核最小二乘支持向量机具有多尺度的特性,更能逼近数据点的不同细节部分,所以更能反映所研究对象的特征;最后还将基于多尺度小波核的最小二乘支持向量机应用于被强噪声污染的平稳函数的回归,通过模拟实验,我们发现基于多尺度小波核的最小二乘支持向量机还能够避开噪声的干扰,较好地恢复原有信号。