基于大数据的智慧出行平台的研究和实现

来源 :郑州大学 | 被引量 : 0次 | 上传用户:cythcle
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着城市的日益发展,人均出行量的增多,交通的拥挤问题也越来越严重。现阶段虽然已有大量成熟的交通系统来缓解交通压力的问题,但伴随着交通大数据的到来,传统的交通系统对于处理海量的异构数据,不论在存储上还是查询和处理上都已经存在瓶颈,基于此,本文设计并研发了基于大数据的智慧出行平台,使能更好地服务于智慧交通领域。针对传统交通系统的不足之处,本文的主要工作主要从系统性能、数据共享、查询优化和数据挖掘四方面展开,具体如下:(1)在应对公交数据增量大的情况下,借助Hadoop、Spark、Hbase、Flume等技术设计其大数据平台,完成对异构数据的采集和处理;针对各类数据的特性和使用方式的不同,设计采用Redis存储实时数据,非关系型数据库Hbase和分布式文件系统HDFS存储离线数据;使用Kafka消息队列消除上下级消息处理速度的不平衡,保证了系统的稳定性和健壮性。(2)利用前置机抽取的方案,将各业务系统的数据按照压缩格式抽取到其各自的前置机中,通过发布订阅的方式,完成各业务系统之间的数据共享和交换。(3)针对此平台的数据仓库建设中出现的调度任务执行慢的问题,本文提出利用Spark SQL代替之前的Hive SQL和分区优化的方案,并各自进行性能对比实验,确定了最终的技术选型,并经实验表明本文提出的优化方案可以缩短调度任务的执行时间,有效提高了查询效率。(4)本文通过研究影响公交客流量的因素,设计了在Hadoop平台下基于神经网络的客流量预测模块,并利用实验表明了该算法在Map Reduce的并行处理下弥补了效率低的缺陷,提升了客流量预测的时效性,满足了对公交大数据处理的需求。经实践证明,此平台满足了社会公众的绿色出行服务和企业、政府对公交车辆科学管理、监控、调度等需求且能在高并发数据增量大时完成秒级的事务响应,对河南省的公共出行平台的研发具有很好的指导作用。
其他文献
课堂演示实验在科学教学中占相当部分。成功的演示实验有助于增加学生感性知识,启发学生积极思维,使学生更好地建立概念,掌握规律,验证定律;有助于教师清楚阐述科学原理,借助它把一
安全问题在建筑施工管理过程中,一直是一个需要重点关注的问题.而且在我国当前的建筑整体管理环境中,安全管理也被当作重要的管理内容.严格控制并降低施工安全事故已经成为建
铁路施工项目在复杂地段的施工中需要关注多方面的内容,且施工的风险因素很多,施工的难度也较大,与其他类型的施工项目比较,铁路的施工是事故发生率较高的行业.因此,我们需要
结合调研资料和现场实验,文章确定了刀具磨损是影响环型零件加工精度的主要因素。针对刀具磨损,采用声发射法进行监控,运用移频小波包算法对实验采集的AE信号进行特征值提取
房地产在正常的发展中,存在着较大的运营风险,房地产成本管理中,成本造价全过程控制的应用,就是为了确保在正常的房地产企业运行中,企业可以始终将项目成本置于有效管控之中,
本文报告用石蜡切片和我室建立的冰冻厚片透明法研究柏氏禽刺螨的内部构造。其呼吸系统的气管分为5级,即主气管、副主气管、细气管、微细气管和微气管,后者达细胞;其消化系统
海绵窦位于颅中窝垂体的两侧,解剖结构十分复杂,长期以来无论对其概念还是形态学,研究上一直存在不少争议。目前,大多数学者认为海绵窦既不是静脉窦,也不是静脉囊,而是静脉丛。而且
黄兔尾鼠较广泛分布于内蒙古北部荒漠草原,主要栖息于河谷低地、湖盆低地及台地间的凹地内,常与长爪沙鼠和子午沙鼠混合分布,栖居关系密切,共同寄生着主要蚤类。在鼠疫动物病频发
用强迫接触法对微小按蚊进行选育,溴氰菊酯浓度为0.1mg/m~2,选育温度26℃,触药24h后的死亡率至少不低于20%。在选育过程中,对选育蚊的生理活动、繁殖特性等进行动态观察。该
建筑工程的成本管理与控制,直接关系施工单位的经济效益和工程质量.施工单位必须从工程源头开始,将成本的管理与控制贯穿于整个施工过程中,通过对每个环节、每道工序的动态管