论文部分内容阅读
摘 要：本文围绕110接处警实战应用需求，重点讨论了支撑向量机回归模型，进行了数据探测和评估。对三种常用的回归算法（线性回归、神經网络回归和支撑向量机回归）在建模效果方面进行比较，得出了结论。
关键字：支撑向量机；回归；模型；预测
中图分类号：TK264 文献标识码：A DOI：10.3969/j.issn.1003-6970.2013.07.028
本文著录格式：[1]高家明，薛京生，肖涛.基于支撑向量机回归的接警量预测与比较[J].软件.2013.34（7）：77-80
1 引言
1963年Vapnik在解决模式识别问题时首次提出了支持向量方法。这种方法从训练集中选择一组特征子集，使得对特征子集的划分等价于对整个数据集的划分，这组特征子集就被称为支持向量（SV）。1971年Kimeldorf提出使用线性不等约束重新构造SV的核空间，解决了部分线性不可分问题。1990年Grace、Boser和Vapnik等人开始对支撑向量机（support vector machine，SVM）进行研究。1995年 Vapnik正式提出了统计学习理论。
2 支撑向量机回归
近年来，支撑向量机在回归算法的研究方面表现出了很好的性能。支撑向量机回归算法不仅被成功地应用于时间序列的预测研究，其他诸如在非线性建模与预测、优化控制等方面的研究也有很大的进展。
分类问题着眼于对预测结果进行定性分析，回归问题则着眼于对预测结果进行定量分析。通过样本点集的适当变换，回归问题可以转化为分类问题。基于结构风险最小化思想的支撑向量机方法虽然是从解决分类问题发展起来，但同样可以应用于对回归问题的求解。目前比较成熟的支撑向量机回归（SVR）算法包括支撑向量机回归算法（）、支撑向量机回归算法（）等。下面介绍支撑向量机理论在回归问题中的应用问题。
2.1 算法原理
支撑向量机回归算法采用了不敏感损失函数，即当点的观察值与预测值之差不超过事先给定的时，则认为该点的预测值是无损失的，如图1所示（损失函数只计算阴影区以外的样本点）。
2.2 算法要点
由于SVM对偶问题的求解过程相当于求解一个线性约束的二次规划问题（QP），经典的解法有积极方集法、对偶方法、内点算法等。由于需要计算和存储核函数矩阵，其大小与训练样本数的平方相关，因此，随着样本数目的增多，所需要的内存也就增大。例如，当样本数目超过4000时，存储核函数矩阵需要128MB内存。SVM在二次型寻优过程中要进行大量的矩阵运算，多数情况下，寻优算法是占用算法时间的主要部分。通常，训练算法改进的思路将把要求解的问题分成许多子问题，然后通过反复求解子问题来求得最终的解。目前，比较著名的SVM训练算法包括SVMLight为代表的分解算法、Platt的SMO算法、Kerrthi的近邻算法及JAK.suykens的最小二乘法支撑向量机LS-SVM算法等。这些算法在支持大数据量训练样本、提高训练速度等方面较经典的二次规划算法有了明显提高。
3 应用支撑向量机回归模型预测接警量
3.1 数据探测
我们选取某大城市2012年1月1日至2012年7月24日全市110接警数据，按照“周”分组，按照“月”统计接警量，得到数据探测结果，如图2所示：
3.2 流程分析
对于基于支撑向量机回归的每日接警量预测模型，按照如下步骤分析：
1、数据字段拆分：确定参与建模的字段。为确保得到较好的预测模型，必须确定参与建模的字段。根据分析，我们的目的是对每日接警量进行预测分析，遂按照“月”、“周”分别建立时间字段。
2、异常数据处理：对异常数据进行预处理。由于整个数据序列中难免有异常情况出现，异常数据又往往直接影响建模精度。所以在建模前必须对异常数据进行检测，判定其异常点类型，并采取相应的异常处理机制对异常数据进行处理，以减小其对整个序列的干扰。
3、正则化：为确保得到较好的支撑向量机模型，根据算法特点，需要对序列数据进行标准化处理。
4、回归算法建模：利用支撑向量机回归算法建立每日接警量的预测模型。
5、模型测试评估：利用开发的“支撑向量机测试算法”及2012年7月25日至2012年7月31日全市110接警测试数据，对模型进行测试评估。
3.3 应用建模
基于2012年1月1日至7月24日全市110接警数据，利用自行开发的“支撑向量机测试算法”建立“每日接警量”预测模型并进行分析。建模设置界面分别如图3、图4所示：
3.4 模型评估
根据支撑向量机回归模型建立的“每日接警量”预测模型和接警量测试数据，对该模型进行评估，结果如表1所示。
3.5 测试结果分析
4.2 神经网络回归
5 结论
实验数据表明，支撑向量机回归比线性回归、神经网络回归在接警量预测建模效果方面有更好的应用指标，其“平均误差率”最小，仅为2.64%。
参考文献
[1]史忠植，知识发现[M]，清华大学出版社，2002年
[2]刘刚，数据挖掘技术与分类算法研究[D]，解放军信息工程大学，2004年
[3]毛国君等，数据挖掘原理与算法，清华大学出版社[M]，2005年，第1版
[4]杨静，张健沛，刘大昕，基于多支持向量机分类器的增量学习算法研究[J]，哈尔滨工程大学学报[J]，2006年第1期
[5]徐红敏，王海英，梁瑾，黄帅，支持向量机回归算法及其应用，北京石油化工学院学报[J]，2010年第1期
[6]李凯，黄厚宽，支持向量机增量学习算法研究，北方交通大学学报[J]，2003年第5期
关键字：支撑向量机；回归；模型；预测
中图分类号：TK264 文献标识码：A DOI：10.3969/j.issn.1003-6970.2013.07.028
本文著录格式：[1]高家明，薛京生，肖涛.基于支撑向量机回归的接警量预测与比较[J].软件.2013.34（7）：77-80
1 引言
1963年Vapnik在解决模式识别问题时首次提出了支持向量方法。这种方法从训练集中选择一组特征子集，使得对特征子集的划分等价于对整个数据集的划分，这组特征子集就被称为支持向量（SV）。1971年Kimeldorf提出使用线性不等约束重新构造SV的核空间，解决了部分线性不可分问题。1990年Grace、Boser和Vapnik等人开始对支撑向量机（support vector machine，SVM）进行研究。1995年 Vapnik正式提出了统计学习理论。
2 支撑向量机回归
近年来，支撑向量机在回归算法的研究方面表现出了很好的性能。支撑向量机回归算法不仅被成功地应用于时间序列的预测研究，其他诸如在非线性建模与预测、优化控制等方面的研究也有很大的进展。
分类问题着眼于对预测结果进行定性分析，回归问题则着眼于对预测结果进行定量分析。通过样本点集的适当变换，回归问题可以转化为分类问题。基于结构风险最小化思想的支撑向量机方法虽然是从解决分类问题发展起来，但同样可以应用于对回归问题的求解。目前比较成熟的支撑向量机回归（SVR）算法包括支撑向量机回归算法（）、支撑向量机回归算法（）等。下面介绍支撑向量机理论在回归问题中的应用问题。
2.1 算法原理
支撑向量机回归算法采用了不敏感损失函数，即当点的观察值与预测值之差不超过事先给定的时，则认为该点的预测值是无损失的，如图1所示（损失函数只计算阴影区以外的样本点）。
2.2 算法要点
由于SVM对偶问题的求解过程相当于求解一个线性约束的二次规划问题（QP），经典的解法有积极方集法、对偶方法、内点算法等。由于需要计算和存储核函数矩阵，其大小与训练样本数的平方相关，因此，随着样本数目的增多，所需要的内存也就增大。例如，当样本数目超过4000时，存储核函数矩阵需要128MB内存。SVM在二次型寻优过程中要进行大量的矩阵运算，多数情况下，寻优算法是占用算法时间的主要部分。通常，训练算法改进的思路将把要求解的问题分成许多子问题，然后通过反复求解子问题来求得最终的解。目前，比较著名的SVM训练算法包括SVMLight为代表的分解算法、Platt的SMO算法、Kerrthi的近邻算法及JAK.suykens的最小二乘法支撑向量机LS-SVM算法等。这些算法在支持大数据量训练样本、提高训练速度等方面较经典的二次规划算法有了明显提高。
3 应用支撑向量机回归模型预测接警量
3.1 数据探测
我们选取某大城市2012年1月1日至2012年7月24日全市110接警数据，按照“周”分组，按照“月”统计接警量，得到数据探测结果，如图2所示：
3.2 流程分析
对于基于支撑向量机回归的每日接警量预测模型，按照如下步骤分析：
1、数据字段拆分：确定参与建模的字段。为确保得到较好的预测模型，必须确定参与建模的字段。根据分析，我们的目的是对每日接警量进行预测分析，遂按照“月”、“周”分别建立时间字段。
2、异常数据处理：对异常数据进行预处理。由于整个数据序列中难免有异常情况出现，异常数据又往往直接影响建模精度。所以在建模前必须对异常数据进行检测，判定其异常点类型，并采取相应的异常处理机制对异常数据进行处理，以减小其对整个序列的干扰。
3、正则化：为确保得到较好的支撑向量机模型，根据算法特点，需要对序列数据进行标准化处理。
4、回归算法建模：利用支撑向量机回归算法建立每日接警量的预测模型。
5、模型测试评估：利用开发的“支撑向量机测试算法”及2012年7月25日至2012年7月31日全市110接警测试数据，对模型进行测试评估。
3.3 应用建模
基于2012年1月1日至7月24日全市110接警数据，利用自行开发的“支撑向量机测试算法”建立“每日接警量”预测模型并进行分析。建模设置界面分别如图3、图4所示：
3.4 模型评估
根据支撑向量机回归模型建立的“每日接警量”预测模型和接警量测试数据，对该模型进行评估，结果如表1所示。
3.5 测试结果分析
4.2 神经网络回归
5 结论
实验数据表明，支撑向量机回归比线性回归、神经网络回归在接警量预测建模效果方面有更好的应用指标，其“平均误差率”最小，仅为2.64%。
参考文献
[1]史忠植，知识发现[M]，清华大学出版社，2002年
[2]刘刚，数据挖掘技术与分类算法研究[D]，解放军信息工程大学，2004年
[3]毛国君等，数据挖掘原理与算法，清华大学出版社[M]，2005年，第1版
[4]杨静，张健沛，刘大昕，基于多支持向量机分类器的增量学习算法研究[J]，哈尔滨工程大学学报[J]，2006年第1期
[5]徐红敏，王海英，梁瑾，黄帅，支持向量机回归算法及其应用，北京石油化工学院学报[J]，2010年第1期
[6]李凯，黄厚宽，支持向量机增量学习算法研究，北方交通大学学报[J]，2003年第5期