论文部分内容阅读
我国的城市道路交通拥堵现象一直十分严重。智能交通系统能够准确且及时地预测交通流信息,帮助交通诱导系统更好地发挥作用,通过交通诱导等方式有效地缓解交通拥堵,但这些必须以交通数据为基础。然而随着交通信息采集系统的发展和完善,交通数据的规模正以指数级增长,交通领域已经迎来了了大数据时代。交通大数据为智能交通领域带来了机遇和挑战,海量的交通数据中隐含着极具价值的信息,然而传统的交通数据处理技术无法适用于交通大数据。通过大数据技术对海量交通数据进行挖掘,提取到有价值的信息来解决现实交通问题,这是当前交通领域研究的重要方向。本文分析交通大数据的特征和存在的问题,利用Hadoop技术建立大数据平台进行交通大数据的处理工作。以实例数据在Hadoop大数据平台进行交通大数据的预处理工作;在此基础上结合机器学习算法对交通运行状况进行预测,预测结果具有准确性和时效性。Hadoop可以满足实际交通管理需求。本文主要进行了以下几个方面的研究:首先,对当前交通拥堵预测方法和交通大数据技术的研究现状进行综述,说明交通大数据特点和其所带来的问题。介绍Hadoop的体系框架和三个主要组成部分,说明其进行大数据处理的原理和优势,作为研究的基础。其次,结合关于交通大数据预处理必要性和复杂性的相关研究,以实例数据说明交通大数据可能存在的数据质量问题,以及传统交通数据预处理技术在处理大数据时存在的不足之处。提出了使用Hadoop大数据平台进行交通大数据预处理的技术思路并加以实现然后,结合以往学者研究和相关规范文件对交通拥堵进行定义和分级。介绍常见的交通拥堵预测算法对比优缺点,并研究算法在MapReduce的计算框架下的适用性,得出能与Hadoop技术优势互补的合适算法。结合交通拥堵预测需求对算法加以调整;在MapReduce中对算法进行并行化设计和实现。理论上能提高算法预测准确性和计算效率。最后,搭建伪分布式Hadoop大数据平台,以实例交通大数据进行交通拥堵预测准确性和运行效率两个实验。分析实验结果预测准确性和平台运行加速比,证明Hadoop处理交通大数据进行交通拥堵预测的可行性和实用性。