论文部分内容阅读
大数据时代下移动互联网发展与移动终端的普及形成了海量移动对象轨迹数据,轨迹数据含有丰富的时空信息,而车载数据采集设备不仅能收集大量的车辆GPS轨迹数据,还能获取OBD车载诊断系统的数据从而记录车辆行驶信息以及驾驶员的驾驶行为。本文工作基于车辆行驶数据,对GPS轨迹数据进行处理,从OBD数据中分析驾驶员的驾驶风格和驾驶行为,并设计一套车辆数据分析系统,为驾驶员和车辆管理者提供数据分析服务。本文首先从车辆行驶数据中提取GPS数据进行轨迹数据处理,使用中值滤波和均值滤波对原始轨迹进行初步去噪,采用一种基于隐马尔科夫模型的地图匹配算法对轨迹数据进行进一步的纠偏,解决了噪声导致轨迹偏离路网的问题;为了降低海量GPS轨迹数据的冗余,采用道格拉斯-普克等算法对原始轨迹数据进行压缩,使数据量降低5~10倍的同时还能保留原始轨迹的形状特征;对预处理后的GPS轨迹数据进行了驻点检测和轨迹分隔,为后续数据挖掘提供了便利。其次,提取车辆OBD数据进行驾驶员驾驶风格与驾驶行为分析,用方差和变异系数对比了不同驾驶员在车速控制,发动机转速控制和转向控制上的驾驶风格。利用车辆油耗等记录,结合道路,天气等额外数据,基于朴素贝叶斯算法建立了驾驶行为经济性模型,探究了驾驶行为对驾驶经济性的影响,给出了经济驾驶建议;对车型相同和外部行驶环境相似的车辆驾驶员建立了驾驶行为安全性模型,该模型对不同的危险驾驶行为进行相应的惩罚,计算出驾驶员在不同路段上驾驶的安全系数。本文在车辆GPS数据和OBD数据分析的基础之上,基于大数据架构开发了一套用于车辆管理的数据分析系统,该系统分别实现了一个基于Hadoop的车辆离线数据分析系统和一个基于Spark Streaming的车辆实时数据监控系统;车辆离线数据分析系统使用HBase对海量数据进行存储,并定期对数据执行MapReduce作业完成数据统计,车辆管理人员可以通过网页对车辆行驶数据和驾驶员驾驶行为进行查询;车辆实时数据监控系统对车辆实时信号进行解析,计算驾驶员的实时驾驶行为和车队统计信息,计算结果被实时推送至前端进行动态呈现。最后,对车辆离线数据分析系统和车辆实时数据监控系统进行了验证,对系统的关键环节进行了优化,经优化后的系统在关键指标上相比未优化前有大幅提升,系统经过在集群环境下的测试,可以负载5000辆车的离线数据分析和实时数据处理任务。