基于Hadoop的面向海量交通流数据分析与应用

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:maomao68
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着城市机动车保有量的持续增长,交通违章和违法行为越来越多,如多辆车结伴作案、出租车罢工罢运、酒驾等,对城市安全带来了巨大隐患。如何快速识别以上交通行为模式对公安、交警主动预警和事后侦查具有重要意义。此外,针对日益增长的海量交通流数据,传统的处理方法在存储空间和计算效率上已经不能满足用户的应用需求。因此本文重点研究“多车频繁结伴——本文称之为伴随”和“出租车罢工罢运——本文称之为浮动车聚集”两种交通行为模式,并提出了面向交通流时空大数据的伴随模式高效挖掘算法和基于HBase的浮动车聚集模式实时监测算法,然后在此基础上构建基于Hadoop的面向海量交通数据的分析和处理平台。本文在如下方面进行了较为有益的探索:  (1)通过对海量卡口过车数据的分析和面向海量交通流数据的伴随车行为模式的研究,首先给出了频繁项集相关概念在伴随车挖掘中的新定义,并在此基础上提出了基于MapReduce的时空大数据频繁项集挖掘算法FSST,实验证明该算法在准确性、执行时间和内存使用等方面优于传统的Apriori和Sequence-Growth算法,最后提出了伴随车的嫌疑度计算方法用于计算伴随车嫌疑大小。  (2)根据浮动车聚集行为模式的特征,定义了浮动车聚集行为模式,同时参考基于网格的聚类算法和HBase的数据模型,提出了基于HBase的全天候全域浮动车聚集实时监测算法,定时执行该算法,在真实的、海量交通数据上的实验证明该算法监测浮动车聚集的有效性。  (3)实现了上述研究内容的基于Hadoop的交通大数据分析平台,主要包括大数据平台、后台应用程序和前台展示。由于平台超强的计算和存储能力,加上良好的扩展性,后续的交通分析都可以集成到该平台上。
其他文献
随着我国教育信息化进程的不断推进,多数学校都建立了校园网,同时积累了大量的网络教育资源,包括各学科的教学案例、实验案例,优秀教师资源等等。但是,目前这些资源形成了一
随着网络技术的不断推广,即时通信软件发展迅速。现有的主流即时通信软件均采用客户端/服务器端模式。因此在即时通信应用运营时,不仅需要对客户端程序进行开发,更需要对大量
钢铁行业大规模扩张和大量消耗资源的历史已经过去,钢铁企业唯一的出路就是推进节能减排,提高生产过程的连续化、敏捷化、自动化,加强企业信息化管理。而制造执行系统MES在企业
随着互联网的飞速发展,网络上各种应用业务在为人们提供方便生活的同时,带来的网络流量监控和管理的要求也日益受到人们的关注。一个良好的网络业务流量测量系统能对网络承载
随着时代的发展,三维测量在机器人视觉、生物工程、虚拟现实、工业检测以及国防航天等领域都有着广泛而重要的应用意义。本文研究的目的是建立一套非接触式三维测量系统。从
随着信息化、网络化、数字化成为社会发展的一大趋势,基于Web的信息系统的开发已经成为主流和发展趋势。论文选题正是从这种新时代要求的出发,具体针对大连商务职业学院教务
随着互联网技术的发展,电子图书、电子期刊、多媒体数据等各种类型数字资源信息量的不断增长,建立支持多种数据资源格式的数据仓储,实现信息资源的共享和利用,成为数字图书馆
虚拟植物是植物学、农学、数学、计算机图形学等多学科交叉而形成的,是典型的多学科交叉的产物。虚拟植物是用计算机来模拟植物在三维空间的生长发育状况。利用虚拟植物技术可
曲面细分由于它自身的优点,在曲面造型中具有举足轻重的作用。很多经典的曲面细分方案都是通过对B-Spline曲面的研究而提出来的,比如基于二次B-Spline曲面的Doo-Sabin细分和
随着IMS技术的不断兴起,通信的环境已经发生了很大的变化,从简单的电报电话方式扩充到包括语音、数据和多媒体在内的多元化通信,网络融合技术应运而生。网络融合的趋势打破了