论文部分内容阅读
随着城市轨道交通事业飞速发展,轨道交通安全倍受关注,这必然会对维护管理提出更高的要求。维护支持系统应运而生,成为研究和应用的热点。在维护管理的过程中,实时监测的信号系统数据量与日俱增,远远超出传统的数据库存储范畴,常规的数据存储和数据处理方法遇到了瓶颈。云计算Hadoop作为一种新兴计算模型,具有超大规模,高可扩展和高可靠性等特点,为上述问题的解决提供了新的思路。本文首先在绪论中阐述了轨道交通MSS维护支持系统的重要性,以及其与大数据结合会带来很多增值服务。其次对MSS维护支持系统、数据存储技术和Hadoop的研究现状进行了详细的归纳、总结。通过介绍MSS系统,分析该系统数据特点、结构,并且对比分析传统软件与Hadoop技术优缺点,进一步明确了维护支持系统在数据存储和查询方面遇到的困扰,从而确定将Hadoop技术应用到MSS系统中用于可靠存储、高效查询和数据挖掘分析。针对MSS系统不同的数据类型,结合Hadoop集群技术以及实际软硬件实力,本文提出一种基于Hadoop技术的MSS数据存储设计。文章先后从存储整体架构,HDFS文件存储系统,HBase分布式数据库等几个方面对MSS结构化数据存储进行深入研究。首先利用日志收集系统Flume对数据进行传输,总结了MSS数据在HDFS中的存储方式。其次,设计基于HDFS的维护数据存储模块,举例说明数据在HDFS中是如何读取和写入的,最后实现了数据存入HDFS系统中。根据MSS数据特点,本文又设计了MSS数据基元的HBase的存储模型,以具体ZC数据为例,建立HBase数据逻辑模型和物理模型,并且实现了数据写入HBase数据库中。在理论基础上,模拟搭建完全分布模式的Hadoop平台环境,包括硬件环境和软件环境。对系统性能进行分析以及测试Hadoop集群存储性能,说明Hadoop技术应用到轨道交通MSS系统中是可行的,在数据存储方面比传统方式占优势,并且数据量越大,Hadoop优势越能体现出来。最后,对论文工作进行总结,阐述了该论文的创新点以及文中的不足和需改进的地方,并讨论了下一步工作的研究方向。