论文部分内容阅读
摘要：基于统计学习预测瓦斯含量是目前瓦斯突出预测的发展方向之一。文中首先给出了最小二乘支持向量机（LS-SVM）的基本原理，并在此基础上建立了预测模型，之后对时间序列上的矿井瓦斯涌出量进行相空间重构，其中嵌入维数的选取采用了微熵率法。最后通过鹤壁十矿一个突出工作面的瓦斯涌出数据对模型进行了验证。利用MATLAB7.1对其进行仿真研究。结果表明，通过训练建立的LS-SVM模型，较好地预测了这一工作面瓦斯涌出量。
关键词：LS-SVM，时间序列，瓦斯预测
中图分类号：TD712.5
国家自然科学基金项目支持（资助号：60974126）
河南理工大学博士基金项目支持（资助号：SZB2013-08）
1、 引言
矿井瓦斯突出造成的灾害极其严重，所以对其预测研究成为世界各国共同关注的问题。目前随着计算机技术与人工智能技术的发展，矿井瓦斯突出预测方法也得到了很大的发展，如混沌时间序列预测、灰色关联分析、神经网络预测等等。[1]-[3]但是由于瓦斯突出原因的复杂性，而检测到的用于预测的数据大多含有噪声且具有一定随机性，用这样的数据如何能够较准确的预测瓦斯的突出，成为研究的难点。
本文提出利用LS-SVM模型对时间序列的瓦斯涌出量进行短期预测，这一模型建立在结构风险最小化（SRM）归纳原则基础之上的。 这一原则的实现是通过：（1）用非线性变换把输入向量映射到高维特征空间中；（2）在这个空间中，在线性决策规则集合上按照正规超平面的模构造一个结构；（3）选择结构中的最好元素及这个元素中最好的函数，以达到最小化错误率的界。[4]从实现过程中可以概括出SVM机的优点有：（1）将低维空间中的非线性问题转化到高维空间的线性问题，而高维空间中的运算又由于核函数的引入得以简化；（2）算法最终转化为一个凸二次寻优问题，所以最终解是全局最优解，避免了神经网络的
陷入局部最优解的缺点，同时也提高了泛化能力。[4]
本文首先研究在SVM的基础上，给出了LS-SVM的基本原理。之后利用时间序列数据的相空间重构技术，给出了嵌入维数选择的依据。最后通过鹤壁十矿一个突出工作面实例验证了模型。
2、 LS-SVM基本原理
LS-SVM是由J.A.K. SUYKENS和J. VANDEWALLE在1999年提出的一種改进了的SVM。[6] 已经被用于各种工程领域，LS-SVM在保留SVM结构风险最小化的原则基础之上，将约束项中的不等式变为等式，从而将二次寻优问题变为求解方程组解的问题。因此减小了计算机内存的占用量，提高了运行速度。
对于给定的样本集（ ） ， 表样本； 表样本对应的类别（两分类问题中常选1与-1）。
用非线性映射 ，把输入数据从原空间映射到 维特征空间，在此空间中构造最优分类超平面：
寻找最优超平面就是确定 的过程，而这一最优超平面是由最大化几何间隔作为衡量标准，从而可将问题转化为：
上述式子是在线性可分的情况下得出的，为了使这一算法更具在容错性，引入了松弛变量 与惩罚因子 。在LS-SVM中采用的是二阶软间隔分类。所以LS-SVM的优化问题成为：
其中： n表示样本数
用Lagrange法则求解上面的最优化问题，引入Lagrange乘子构造函数如下：
其中： 为Lagrange乘子。
由于此优化问题满足Kuhn-Tucker条件，所以可得：
为方便方程的化解引入一些中间变量： ， ， ；则上面的方程组可写为：
将上面的方程联立消去 与 得：
其中 ，再将Mercer 条件用于 矩阵
给定一个核函数，可通过解方式（8）与（9）求出确定最优分类面所需的解。在求回归问题时，仅需将式（4）的目标函数改为：[7]
其中： n表示样本数
重复上面的计算过程即可得最小二乘回归估计的解方程为：
从而可得出回归模型为：
本文采用的核函数为径向基核函数（RBF）为
其中惩罚因子 和核宽度 是需要调整的两个参数[8]。
3.LS-SVM瓦斯预测仿真实例分析
3.1 预测模型算法实现步骤
（1） 对时间序列数据进行挖掘，利用Takens相空间重构理论，将时间序列分割成长度相同的子序列集合，并将其映射到m维特性空间，m称为嵌入维数。目前对m选取没有一个统一的理论标准，本文采用的是T.Gautama等人提出微熵率法进行选取，取m=4。
（2） 选择核函数的参数与惩罚因子，选取的原则是在取值范围为 、 [9]内利用交叉验证法进行优化，通过优化确定最终的参数值。
（3） 将重构得到的数据一部分分为训练样本，文中选取60对作为训练样本，用这些样本训练具有优化参数的LS-SVM预测模型，以获得支持向量，从而确定支持向量机的结构。
（4） 用经过训练的LS-SVM对测试样本做出预测，文中用了39对数据作为测试样本。
（5） 选取需要测试点进行预测，同时给出评价标准，最后用均方根误差及最大误差百分比来进行预测结果的评估。
3.2 实例分析
本文采用的是鹤壁十矿1113工作面的瓦斯突出数据，利用瓦斯涌出浓度的百分比时间序列数据来预测下几时刻的瓦斯涌出量，该工作面采用的是KJ93环境监测系统对掘进头的瓦斯涌出量进行监测，此系统测量的瓦斯浓度幅值范围为0～4%。在MATLAB7.1下利用LS-SVMlab1.5编写了算法程序，利用已经训练好的学习机器预测了未来20点的瓦斯突出量，其中每两点间的间隔时间为五分钟.
4、结论
本文在详细论述LS-SVM基本理论基础之上，利用MALTAB7.1建立了基本LS-SVM的预测模型，并利用煤矿实例对这个模型进行了验证，结果表明这一模型能够较好实现工作面瓦斯的短期预测。同时，这一预测模型也可实现其它时间序列的短期预测。
参考文献
[1] 陈涛.基于支持向量机的混沌时间序列预测模型.统计与决策，2009年18期 13-14
[2] 杨敏，汪云甲. 程远平；煤与瓦斯突出预测的改进差分进化神经网络模型研究. 中国矿业大学学报， 2009年 03期 439-444
[3] 王光辉，王建国. 王海凤. 基于灰色理论与神经网络的煤与瓦斯突出预测.中国煤层气， 2009年 02期
[4] Vladimir N. Vapnik 著.许建华.张学工译， 统计学习理论. 北京 电子工业出版社，2004
[5] 纪玲玲等.最小二乘回归支持向量机对非线性时间序列预测的试验分析.解放军理工大学学报（自然科学版），2009年1期 92-97
[6] Suykens J.A.K.，Vandewalle J. Least squares support vector machine classifiers Neural Processing Letters， 9（3）， 293-300， 1999.
[7] 阎威武，常俊林，邵惠鹤. 基于滚动时间窗的最小二乘支持向量机回归估计方法及仿真[J ] . 上海交通大学学报， 2004年4期， 524-527.
[8] 陈帅等.支持向量机的参数优化及其应用.华东理工大学学报（自然科学版）， 2008年2期 278-282.
[9] 郭小荟，马小平.基于最小二乘支持向量机的选煤厂日用水量短期预测.煤炭学报， 2007年10期 1093-1097
关键词：LS-SVM，时间序列，瓦斯预测
中图分类号：TD712.5
国家自然科学基金项目支持（资助号：60974126）
河南理工大学博士基金项目支持（资助号：SZB2013-08）
1、 引言
矿井瓦斯突出造成的灾害极其严重，所以对其预测研究成为世界各国共同关注的问题。目前随着计算机技术与人工智能技术的发展，矿井瓦斯突出预测方法也得到了很大的发展，如混沌时间序列预测、灰色关联分析、神经网络预测等等。[1]-[3]但是由于瓦斯突出原因的复杂性，而检测到的用于预测的数据大多含有噪声且具有一定随机性，用这样的数据如何能够较准确的预测瓦斯的突出，成为研究的难点。
本文提出利用LS-SVM模型对时间序列的瓦斯涌出量进行短期预测，这一模型建立在结构风险最小化（SRM）归纳原则基础之上的。 这一原则的实现是通过：（1）用非线性变换把输入向量映射到高维特征空间中；（2）在这个空间中，在线性决策规则集合上按照正规超平面的模构造一个结构；（3）选择结构中的最好元素及这个元素中最好的函数，以达到最小化错误率的界。[4]从实现过程中可以概括出SVM机的优点有：（1）将低维空间中的非线性问题转化到高维空间的线性问题，而高维空间中的运算又由于核函数的引入得以简化；（2）算法最终转化为一个凸二次寻优问题，所以最终解是全局最优解，避免了神经网络的
陷入局部最优解的缺点，同时也提高了泛化能力。[4]
本文首先研究在SVM的基础上，给出了LS-SVM的基本原理。之后利用时间序列数据的相空间重构技术，给出了嵌入维数选择的依据。最后通过鹤壁十矿一个突出工作面实例验证了模型。
2、 LS-SVM基本原理
LS-SVM是由J.A.K. SUYKENS和J. VANDEWALLE在1999年提出的一種改进了的SVM。[6] 已经被用于各种工程领域，LS-SVM在保留SVM结构风险最小化的原则基础之上，将约束项中的不等式变为等式，从而将二次寻优问题变为求解方程组解的问题。因此减小了计算机内存的占用量，提高了运行速度。
对于给定的样本集（ ） ， 表样本； 表样本对应的类别（两分类问题中常选1与-1）。
用非线性映射 ，把输入数据从原空间映射到 维特征空间，在此空间中构造最优分类超平面：
寻找最优超平面就是确定 的过程，而这一最优超平面是由最大化几何间隔作为衡量标准，从而可将问题转化为：
上述式子是在线性可分的情况下得出的，为了使这一算法更具在容错性，引入了松弛变量 与惩罚因子 。在LS-SVM中采用的是二阶软间隔分类。所以LS-SVM的优化问题成为：
其中： n表示样本数
用Lagrange法则求解上面的最优化问题，引入Lagrange乘子构造函数如下：
其中： 为Lagrange乘子。
由于此优化问题满足Kuhn-Tucker条件，所以可得：
为方便方程的化解引入一些中间变量： ， ， ；则上面的方程组可写为：
将上面的方程联立消去 与 得：
其中 ，再将Mercer 条件用于 矩阵
给定一个核函数，可通过解方式（8）与（9）求出确定最优分类面所需的解。在求回归问题时，仅需将式（4）的目标函数改为：[7]
其中： n表示样本数
重复上面的计算过程即可得最小二乘回归估计的解方程为：
从而可得出回归模型为：
本文采用的核函数为径向基核函数（RBF）为
其中惩罚因子 和核宽度 是需要调整的两个参数[8]。
3.LS-SVM瓦斯预测仿真实例分析
3.1 预测模型算法实现步骤
（1） 对时间序列数据进行挖掘，利用Takens相空间重构理论，将时间序列分割成长度相同的子序列集合，并将其映射到m维特性空间，m称为嵌入维数。目前对m选取没有一个统一的理论标准，本文采用的是T.Gautama等人提出微熵率法进行选取，取m=4。
（2） 选择核函数的参数与惩罚因子，选取的原则是在取值范围为 、 [9]内利用交叉验证法进行优化，通过优化确定最终的参数值。
（3） 将重构得到的数据一部分分为训练样本，文中选取60对作为训练样本，用这些样本训练具有优化参数的LS-SVM预测模型，以获得支持向量，从而确定支持向量机的结构。
（4） 用经过训练的LS-SVM对测试样本做出预测，文中用了39对数据作为测试样本。
（5） 选取需要测试点进行预测，同时给出评价标准，最后用均方根误差及最大误差百分比来进行预测结果的评估。
3.2 实例分析
本文采用的是鹤壁十矿1113工作面的瓦斯突出数据，利用瓦斯涌出浓度的百分比时间序列数据来预测下几时刻的瓦斯涌出量，该工作面采用的是KJ93环境监测系统对掘进头的瓦斯涌出量进行监测，此系统测量的瓦斯浓度幅值范围为0～4%。在MATLAB7.1下利用LS-SVMlab1.5编写了算法程序，利用已经训练好的学习机器预测了未来20点的瓦斯突出量，其中每两点间的间隔时间为五分钟.
4、结论
本文在详细论述LS-SVM基本理论基础之上，利用MALTAB7.1建立了基本LS-SVM的预测模型，并利用煤矿实例对这个模型进行了验证，结果表明这一模型能够较好实现工作面瓦斯的短期预测。同时，这一预测模型也可实现其它时间序列的短期预测。
参考文献
[1] 陈涛.基于支持向量机的混沌时间序列预测模型.统计与决策，2009年18期 13-14
[2] 杨敏，汪云甲. 程远平；煤与瓦斯突出预测的改进差分进化神经网络模型研究. 中国矿业大学学报， 2009年 03期 439-444
[3] 王光辉，王建国. 王海凤. 基于灰色理论与神经网络的煤与瓦斯突出预测.中国煤层气， 2009年 02期
[4] Vladimir N. Vapnik 著.许建华.张学工译， 统计学习理论. 北京 电子工业出版社，2004
[5] 纪玲玲等.最小二乘回归支持向量机对非线性时间序列预测的试验分析.解放军理工大学学报（自然科学版），2009年1期 92-97
[6] Suykens J.A.K.，Vandewalle J. Least squares support vector machine classifiers Neural Processing Letters， 9（3）， 293-300， 1999.
[7] 阎威武，常俊林，邵惠鹤. 基于滚动时间窗的最小二乘支持向量机回归估计方法及仿真[J ] . 上海交通大学学报， 2004年4期， 524-527.
[8] 陈帅等.支持向量机的参数优化及其应用.华东理工大学学报（自然科学版）， 2008年2期 278-282.
[9] 郭小荟，马小平.基于最小二乘支持向量机的选煤厂日用水量短期预测.煤炭学报， 2007年10期 1093-1097