论文部分内容阅读
随着科技的进步和经济的发展,汽车行业也得到了快速发展。伴随着汽车保有量的持续增加,诸如交通拥堵、交通事故频发等众多问题也显现出来,给人们的生活带来许多负面影响。智能交通系统应运而生,其利用互联网技术致力于解决由于汽车数量急速增加带来的各类交通问题。车辆监控系统作为其核心组成部分负责实时记录所监控车辆的各项数据,并且积累了海量的车辆监控数据。目前大部分车辆监控数据并没有得到二次分析利用,本文拟提出一个完整的数据分析方案来充分利用这些历史数据,发掘其潜在价值。根据原始车辆监控系统的数据特点及相关数据分析处理技术的研究,论文采用基于Hadoop分布式计算平台,应用其子项目 Hive和Pig作为数据分析工具的方式,充分利用Hadoop的分布式并行处理能力完成基于Hadoop分布式计算平台的车辆监控系统数据的分析与应用。本文首先完成了车辆监控平台的设计,对企业车辆的多项指标进行实时监控并为后续研究积累源数据。随后根据车辆监控数据的特点设计基于Hive数据仓库的数据分析方式,包括主题、逻辑模型、多维度分析、粒度选择及元数据的设计等。同时完成基于Pig平台实现的灵活性更高,开发成本更小的低复杂度、低执行延迟的数据分析方式的设计,作为基于Hive分析方式的补充,完善基于Hadoop分布式计算平台的车辆监控系统数据的分析与应用。最后通过搭建测试平台对实际数据进行分析处理,验证其在分析处理海量车辆监控系统数据方面的性能优势,并且能够为企业、政府等相关用户提供交通管理方面的决策支持。