论文部分内容阅读
【摘 要】 在当前信息化的时代背景下，数据和信息成为决定企业市场竞争力的关键措施，企业要想获得良好的发展，必须从海量的数据中迅速找出有用信息，为自身的运营和生产决策提供科学合理的服务。针对这种需求，数据挖掘学科应运而生，并且迅速发展，形成了一套较为完整的理论体系。该文希望通过数据挖掘技术，科学合理地帮决策者寻找数据之间的规律，全面地分析交通数据信息之间隐含的内在联系。
【关键词】 数据挖掘；交通；算法
引言：
近年来，数据挖掘技术不断发展，关联规则的应用领域也不断拓宽，比如商业、工业、国防、企管等很多方领域的应用都取得了可喜效果。通常，存储着海量数据在交通系统的数据库中，进行数据的分析和管理需要用科学的方法，而一般的数据库得到的只是数据的表层信息，只是进行数据查询，不能得到隐藏在数据中的深层次的，不能获得数据中的隐含关系，关联特性有关数据之间的预测信息不能得到。在高速发展信息技术的大数据时代，仅停留在表层处理的数据分析方式对现代科技发展的需求已经不能适应，研究已经成为交通系统迫切需要解决的问题是数据挖掘技术的交通数据分析处理技术。
一、数据挖掘算法概述
数据挖掘，又称知识发现，是计算机科学与统计学的一个交叉点，主要是指从不同的角度，对数据进行分析和整理，从海量的数据中总结出有用信息。换言之，就是从大量繁杂模糊的数据中，提取出有效信息的过程。从某种程度上讲，数据挖掘属于一种企业数据处理技术，通过对企业在商业活动中产生的业务数据进行抽取、转换以及分析和模型化处理，提取出关键性的数据信息，为企业经营管理决策的制定提供科学的参考依据。
从目前的发展情况看，数据挖掘的内容可以分为以下几个方面：
（一）关联分析
在关联分析中，主要是利用数据之间的相互关联，结合已知数据对未知数据或者模糊数据进行推导和预测。在关联分析中，应用最多的是Apriori算法，在对关联规则进行研究时，通常也是在该算法的基础上进行修改和扩展。但是，Apriori算法在对支持度进行计算时，需要对数据库进行多次全面扫描，生成的候选集存在较多的冗杂项，因此存在一定的性能瓶颈，需要进行改进和解决。
（二）分类分析
分类分析，是指对数据信息进行分类处理，为数据信息的区分和处理提供便利，从而实现对未知数据类型的预测。分类的主要概念在于訓练集，可以结合特定的数据模型，对数据进行分类。当前应用最为广泛的数据分类模型是朴素贝叶斯模型和决策树模型。
（三）聚类分析
聚类分析是一种具有良好实用性的数据挖掘技术，可以对无规律的数据进行有效分析，并从数据中找出有用的信息，在市场分析、信息检索、卫生医疗等领域得到了广泛的应用。聚类分析，实际上是通过观察以及非示例性的学习，完成对于数据对象的分类，以Kmeans算法为常用算法，但是该算法同样存在一定的性能瓶颈，K值的准确性受使用者自身知识水平的英系那个，可能造成算法性能的不稳定或者聚类结果的偏差，因此在利用时需要格外注意。
二、数据来源与数据仓库的建立
数据挖掘并不是一门崭新的学科，而是综合了统计分析、机器学习、数据库等多方面研究成果的应用学科，而近年来的大数据又使得数据挖掘有了革命性的发展。由于政府采购信息的数据源要涉及多个业务系统，并且这些系统可能采用了不同的数据库，包括ORACLE、SQL SERVER和SYBASE等，考虑到不增加业务系统的负载，可以在系统中增加一个中间数据库，每天将业务系统的备份数据导入到中间数据库，并对数据进行抽取和清洗，然后再载入到数据仓库中（即ETL过程）。
数据库与数据仓库的区别在于：数据库是“数据基础”，以贮备原始数据为目标；而在数据仓库中的数据则包含了过去各阶段的痕迹以及综合的、集成的和提炼过的信息，结构也相对灵活。另一方面，除了添加外，数据经过ETL处理进入数据仓库后，一般很少再对其进行修改和更新的操作。
三、数据挖掘技术在交通数据中的运用研究
由于交通信息的特点，在交通数据的处理中，有着非常庞大交通数据量，而且历史数据众多，每天在迅速增多，在交通系统中数据挖掘技术应用主要是对交通数据历史知识进行挖掘，提供给用户一些有用信息，方便用户出行，方便交通管理部门进行管理数据。
（一）关联规则算法在交通数据中的应用
关联规则挖掘算法主要是对内在的数据关系进行挖掘，关联规则用于分析人口普查、购物篮等系统数据，可以产生一些对实际问题有意义的规则已经证明了。在交通数据中该文在分析关联规则算法的应用时，在交通事故数据中应用该方法，交通事故中挖掘出各个属性的内在联系。挖掘交通数据中各种属性常见的一种方法是关联规则算法，可能引起交通事故发生的原因比如车辆属性、驾驶员属性、天气属性等之间的规则，从而得到规律，那么交通管理部门对导致道路交通事故发生的可能性就可以对车辆、驾驶员、天气、道路等因数的某些特征来判断，从而减少事故的发生，指导交通管理部门的工作。常见的算法在关联规则算法中是Apriori算法。该算法是所需要频繁项集挖掘产生关联规则的基本算法，频繁项集的挖掘工作利用层次顺序搜集的循环方法来完成，这一循环方法就是（K+1）项集利用K项集来产生，例如利用存在酒后驾车的记录，在交通事故数据库中，来产生既存在驾驶员文化水平因数也存在酒后驾车的记录，这样递归产生，不同事故原因同时发生的几率最后就能显示出。
（二）在交通数据中决策树算法的运用
数据挖掘方法中的一种重要的方法是决策树方法，在解决与分类相关的各种问题中该方法广泛应用，属于有指导的归纳学习算法。该方法从一组无规则、无次序的数据中着眼于归纳出一个分类描述，从中发现具有商业价值的、潜在的信息。在交通数据处理中本算法于实时路况数据挖掘中可以应用。实时路况数据库如表1所示，其中有两个属性影响到道路的通行：天气、是否为上班时间。是否为上班时间属性取值为两个：是或者否；天气属性的可能在天气属性中，取值为晴、小雨、大雨、冰雪等。将这些取值都作为关联算法中的一个项，故数据项集I在关联算法中为：{晴、小雨、大雨、冰雪、是上班时间、不是上班时间}，分别用i来表示，则数据项集I为：{i1、i2、i3、i4、i5、i6}。最后得出实时路况的类别为：通路畅通、道路阻断。并将其作为数据项i7、i8，加入到数据项集中。利用关联规则找出i1i7、i2i7、i3i7、i4i7、i5i7、i6i7、的关联支持度，得出为：i1i7=4、i2i7=4、i3i7=3、i4i7=1、i5i7=6、i6i7=6。
（三）在交通路况贝叶斯算法的应用
贝叶斯数据挖掘算法，主要是对一件事发生的概念通过以往的知识利用概率来分析，对于交通实时路况，这与交通实时路况预测相符，主要是目前或者是以后一段时间内，通过以往道路的路况，分析道路路况如何，项目中，利用历史数据，采用了贝叶斯网路推理，在特定情况下推出以后的道路的路况。交通实时路况随机性和偶然性高，是一个动态过程，有可能通过进行综合分析交通状态的现状和历史，推测它发生的可能。作为贝叶斯网的变量可以采用交通事故、天气、车辆速度、上班时间等。利用A表示交通事故，有两种可能：是和否；利用Y表示交通状态，有两种可能：阻塞和畅通；利用W表示天气状况，有两种可能：天气良好和天气恶劣；利用T表示上班时间，有两种可能：是上班时间和不是上班时间；利用S表示车辆速度，有两种可能：缓慢和正常。利用上述五个变量可以组成贝叶斯网络模型。有贝叶斯网络模型推算出如果一条道路阻塞了，可以判定发生交通事故的概率。
四、结束语
总而言之，在当前的大数据背景下，传统数据挖掘算法无法满足海量数据的挖掘和处理要求，因此需要对其进行改进。本文针对现代云环境下的数据挖掘算法在交通数据中的应用进行了分析和探讨，希望能够为相关数据挖掘算法的研究提供一定的参考。
参考文献：
[1]莫富强.基于领域知识的贝叶斯网络结构学习算法[J].计算机工程与应用，2008（7）.
[2]胡善杰.在云环境下的数据挖掘算法的并行化研究[D].电子科技大学，2013.
【关键词】 数据挖掘；交通；算法
引言：
近年来，数据挖掘技术不断发展，关联规则的应用领域也不断拓宽，比如商业、工业、国防、企管等很多方领域的应用都取得了可喜效果。通常，存储着海量数据在交通系统的数据库中，进行数据的分析和管理需要用科学的方法，而一般的数据库得到的只是数据的表层信息，只是进行数据查询，不能得到隐藏在数据中的深层次的，不能获得数据中的隐含关系，关联特性有关数据之间的预测信息不能得到。在高速发展信息技术的大数据时代，仅停留在表层处理的数据分析方式对现代科技发展的需求已经不能适应，研究已经成为交通系统迫切需要解决的问题是数据挖掘技术的交通数据分析处理技术。
一、数据挖掘算法概述
数据挖掘，又称知识发现，是计算机科学与统计学的一个交叉点，主要是指从不同的角度，对数据进行分析和整理，从海量的数据中总结出有用信息。换言之，就是从大量繁杂模糊的数据中，提取出有效信息的过程。从某种程度上讲，数据挖掘属于一种企业数据处理技术，通过对企业在商业活动中产生的业务数据进行抽取、转换以及分析和模型化处理，提取出关键性的数据信息，为企业经营管理决策的制定提供科学的参考依据。
从目前的发展情况看，数据挖掘的内容可以分为以下几个方面：
（一）关联分析
在关联分析中，主要是利用数据之间的相互关联，结合已知数据对未知数据或者模糊数据进行推导和预测。在关联分析中，应用最多的是Apriori算法，在对关联规则进行研究时，通常也是在该算法的基础上进行修改和扩展。但是，Apriori算法在对支持度进行计算时，需要对数据库进行多次全面扫描，生成的候选集存在较多的冗杂项，因此存在一定的性能瓶颈，需要进行改进和解决。
（二）分类分析
分类分析，是指对数据信息进行分类处理，为数据信息的区分和处理提供便利，从而实现对未知数据类型的预测。分类的主要概念在于訓练集，可以结合特定的数据模型，对数据进行分类。当前应用最为广泛的数据分类模型是朴素贝叶斯模型和决策树模型。
（三）聚类分析
聚类分析是一种具有良好实用性的数据挖掘技术，可以对无规律的数据进行有效分析，并从数据中找出有用的信息，在市场分析、信息检索、卫生医疗等领域得到了广泛的应用。聚类分析，实际上是通过观察以及非示例性的学习，完成对于数据对象的分类，以Kmeans算法为常用算法，但是该算法同样存在一定的性能瓶颈，K值的准确性受使用者自身知识水平的英系那个，可能造成算法性能的不稳定或者聚类结果的偏差，因此在利用时需要格外注意。
二、数据来源与数据仓库的建立
数据挖掘并不是一门崭新的学科，而是综合了统计分析、机器学习、数据库等多方面研究成果的应用学科，而近年来的大数据又使得数据挖掘有了革命性的发展。由于政府采购信息的数据源要涉及多个业务系统，并且这些系统可能采用了不同的数据库，包括ORACLE、SQL SERVER和SYBASE等，考虑到不增加业务系统的负载，可以在系统中增加一个中间数据库，每天将业务系统的备份数据导入到中间数据库，并对数据进行抽取和清洗，然后再载入到数据仓库中（即ETL过程）。
数据库与数据仓库的区别在于：数据库是“数据基础”，以贮备原始数据为目标；而在数据仓库中的数据则包含了过去各阶段的痕迹以及综合的、集成的和提炼过的信息，结构也相对灵活。另一方面，除了添加外，数据经过ETL处理进入数据仓库后，一般很少再对其进行修改和更新的操作。
三、数据挖掘技术在交通数据中的运用研究
由于交通信息的特点，在交通数据的处理中，有着非常庞大交通数据量，而且历史数据众多，每天在迅速增多，在交通系统中数据挖掘技术应用主要是对交通数据历史知识进行挖掘，提供给用户一些有用信息，方便用户出行，方便交通管理部门进行管理数据。
（一）关联规则算法在交通数据中的应用
关联规则挖掘算法主要是对内在的数据关系进行挖掘，关联规则用于分析人口普查、购物篮等系统数据，可以产生一些对实际问题有意义的规则已经证明了。在交通数据中该文在分析关联规则算法的应用时，在交通事故数据中应用该方法，交通事故中挖掘出各个属性的内在联系。挖掘交通数据中各种属性常见的一种方法是关联规则算法，可能引起交通事故发生的原因比如车辆属性、驾驶员属性、天气属性等之间的规则，从而得到规律，那么交通管理部门对导致道路交通事故发生的可能性就可以对车辆、驾驶员、天气、道路等因数的某些特征来判断，从而减少事故的发生，指导交通管理部门的工作。常见的算法在关联规则算法中是Apriori算法。该算法是所需要频繁项集挖掘产生关联规则的基本算法，频繁项集的挖掘工作利用层次顺序搜集的循环方法来完成，这一循环方法就是（K+1）项集利用K项集来产生，例如利用存在酒后驾车的记录，在交通事故数据库中，来产生既存在驾驶员文化水平因数也存在酒后驾车的记录，这样递归产生，不同事故原因同时发生的几率最后就能显示出。
（二）在交通数据中决策树算法的运用
数据挖掘方法中的一种重要的方法是决策树方法，在解决与分类相关的各种问题中该方法广泛应用，属于有指导的归纳学习算法。该方法从一组无规则、无次序的数据中着眼于归纳出一个分类描述，从中发现具有商业价值的、潜在的信息。在交通数据处理中本算法于实时路况数据挖掘中可以应用。实时路况数据库如表1所示，其中有两个属性影响到道路的通行：天气、是否为上班时间。是否为上班时间属性取值为两个：是或者否；天气属性的可能在天气属性中，取值为晴、小雨、大雨、冰雪等。将这些取值都作为关联算法中的一个项，故数据项集I在关联算法中为：{晴、小雨、大雨、冰雪、是上班时间、不是上班时间}，分别用i来表示，则数据项集I为：{i1、i2、i3、i4、i5、i6}。最后得出实时路况的类别为：通路畅通、道路阻断。并将其作为数据项i7、i8，加入到数据项集中。利用关联规则找出i1i7、i2i7、i3i7、i4i7、i5i7、i6i7、的关联支持度，得出为：i1i7=4、i2i7=4、i3i7=3、i4i7=1、i5i7=6、i6i7=6。
（三）在交通路况贝叶斯算法的应用
贝叶斯数据挖掘算法，主要是对一件事发生的概念通过以往的知识利用概率来分析，对于交通实时路况，这与交通实时路况预测相符，主要是目前或者是以后一段时间内，通过以往道路的路况，分析道路路况如何，项目中，利用历史数据，采用了贝叶斯网路推理，在特定情况下推出以后的道路的路况。交通实时路况随机性和偶然性高，是一个动态过程，有可能通过进行综合分析交通状态的现状和历史，推测它发生的可能。作为贝叶斯网的变量可以采用交通事故、天气、车辆速度、上班时间等。利用A表示交通事故，有两种可能：是和否；利用Y表示交通状态，有两种可能：阻塞和畅通；利用W表示天气状况，有两种可能：天气良好和天气恶劣；利用T表示上班时间，有两种可能：是上班时间和不是上班时间；利用S表示车辆速度，有两种可能：缓慢和正常。利用上述五个变量可以组成贝叶斯网络模型。有贝叶斯网络模型推算出如果一条道路阻塞了，可以判定发生交通事故的概率。
四、结束语
总而言之，在当前的大数据背景下，传统数据挖掘算法无法满足海量数据的挖掘和处理要求，因此需要对其进行改进。本文针对现代云环境下的数据挖掘算法在交通数据中的应用进行了分析和探讨，希望能够为相关数据挖掘算法的研究提供一定的参考。
参考文献：
[1]莫富强.基于领域知识的贝叶斯网络结构学习算法[J].计算机工程与应用，2008（7）.
[2]胡善杰.在云环境下的数据挖掘算法的并行化研究[D].电子科技大学，2013.