轨道交通日志数据存储挖掘子系统的设计与实现

来源 :北京邮电大学 | 被引量 : 2次 | 上传用户:luocaohuozi12345
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,基于通信的列车自动控制系统(Communication Based Train Control System,CBTC)在城市轨道交通中被广泛使用。CBTC产生了例如车次号、机车状态、油耗参数等大量机车、电务等有关信息。在课题中这些数据被称作城市轨道交通日志数据。随着CBTC的快速发展和应用,对海量日志数据的有效存储和充分分析成为了迫切的需要,这对提高城市轨道交通运输能力、降低运营成本、加强城市轨道交通的安全运维有着重要的现实意义。本课题主要利用了 Hadoop、HBase和Spark等大数据技术,基于大数据技术的高可靠性、高可扩展性以及分布式内存迭代计算等优势,设计和实现了城市轨道交通日志数据的存储挖掘子系统。首先,通过对整个城市轨道交通日志数据的存储挖掘子系统的需求分析,确定了该子系统的功能需求,主要包括数据采集功能、解析功能、存储功能和分析功能。根据上述功能需求,设计了该子系统的整体架构以及功能模块划分,详细介绍了各个功能模块的交互过程,以及基于日志数据特点的各个模块的主要设计,并在详细设计与实现章节给出了各个模块的核心算法与代码实现。继而,在实验测试章节,介绍了 Hadoop和Spark集群的部署环境,阐述了在实验环境下的各个功能模块的测试结果,并针对系统实现过程中的问题给出了系统优化方案。最后,对本课题和作者在课题研究期间的工作成果做出了总结,并提出了进一步的改进方案。
其他文献
目的对比研究放置子宫颈扩张球囊导管和应用缩宫素在足月妊娠引产中的效果。方法选取某院2016年9月~2018年6月接诊的足月妊娠引产的产妇520例作为本次研究对象,将其按照随机
基于螺纹中径的定义提出一种全新的直接测量螺纹中径的方法。相对于传统测量方法,该方法具有测量范围大、操作简单、效率高、读数直观、成本低等优点,可用于学校、工厂的教学
近年来,众多研究报道认为脂肪酸具有基本味觉的特性,提出了第6种基本味觉为脂肪味的观点。综合现有的研究报道结合基本味觉的论证条件,从生物体电生理学特性、心理物理学特性
分析了一些开源WebGIS软件的实现方式,并按目前中小城市地图发布的实际需求,提出了一种利用开源软件来搭建中小城市WebGIS的系统解决方案.该方案采用开放式的多层架构,遵从OG
做梦也没想到:一条1.5亿年前的远古鱼,竟然不经意间游进我的现代生活!前不久,与朋友去辽西采风。车子路过锦州市义县乡村,看到几位整地的农民将一些碎石块扔到了边沟里。辽西山多,
期刊
为了解大学生课堂投入度现状,更好地提高课堂教学改革的针对性与实效性,本研究使用《大学生课堂投入量表》,对合肥师范学院497名在校大学生进行调查发现:大学生课堂投入度总
目的 探讨五常法理论管理对门诊静脉采血检查质量的影响。方法 选取2017年9月至2018年3月在我院门诊进行静脉采血检查的患者180例为研究对象,将2017年9~12月进行静脉采血检查
组分元素和杂质在多层薄膜样品中深度分布的SIMS剖析结果总是偏离其真实的分布情况,这是由一次离子溅射样品时的物理过程以及溅射坑底的不平整所造成的。轰击离子在样品内所引起的
随着股票市场的火爆,各类金融资产的使用愈发频繁。但是无论使用何种金融资产,都需要对其进行有效的定价,而无套利假设在其中的作用是至关重要的。本文深入分析了无套利假设在资
基于西安地裂缝成因、基本特征和未来活动趋势分析,通过几何缩比为1:5的地裂缝活动模型试验和地裂缝活动对盾构隧道影响的数值模拟计算,研究了西安地铁2号线隧道正交穿越地裂