基于Hadoop技术的轨道交通MSS系统数据存储应用研究

被引量 : 9次 | 上传用户:linchenxu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着城市轨道交通事业飞速发展,轨道交通安全倍受关注,这必然会对维护管理提出更高的要求。维护支持系统应运而生,成为研究和应用的热点。在维护管理的过程中,实时监测的信号系统数据量与日俱增,远远超出传统的数据库存储范畴,常规的数据存储和数据处理方法遇到了瓶颈。云计算Hadoop作为一种新兴计算模型,具有超大规模,高可扩展和高可靠性等特点,为上述问题的解决提供了新的思路。本文首先在绪论中阐述了轨道交通MSS维护支持系统的重要性,以及其与大数据结合会带来很多增值服务。其次对MSS维护支持系统、数据存储技术和Hadoop的研究现状进行了详细的归纳、总结。通过介绍MSS系统,分析该系统数据特点、结构,并且对比分析传统软件与Hadoop技术优缺点,进一步明确了维护支持系统在数据存储和查询方面遇到的困扰,从而确定将Hadoop技术应用到MSS系统中用于可靠存储、高效查询和数据挖掘分析。针对MSS系统不同的数据类型,结合Hadoop集群技术以及实际软硬件实力,本文提出一种基于Hadoop技术的MSS数据存储设计。文章先后从存储整体架构,HDFS文件存储系统,HBase分布式数据库等几个方面对MSS结构化数据存储进行深入研究。首先利用日志收集系统Flume对数据进行传输,总结了MSS数据在HDFS中的存储方式。其次,设计基于HDFS的维护数据存储模块,举例说明数据在HDFS中是如何读取和写入的,最后实现了数据存入HDFS系统中。根据MSS数据特点,本文又设计了MSS数据基元的HBase的存储模型,以具体ZC数据为例,建立HBase数据逻辑模型和物理模型,并且实现了数据写入HBase数据库中。在理论基础上,模拟搭建完全分布模式的Hadoop平台环境,包括硬件环境和软件环境。对系统性能进行分析以及测试Hadoop集群存储性能,说明Hadoop技术应用到轨道交通MSS系统中是可行的,在数据存储方面比传统方式占优势,并且数据量越大,Hadoop优势越能体现出来。最后,对论文工作进行总结,阐述了该论文的创新点以及文中的不足和需改进的地方,并讨论了下一步工作的研究方向。
其他文献
新型农业平台是指将农作物置于一个相对可控的生长环境内,通过使用先进的高新设备,实现了农作物整个生命周期的全程监控,并利用智能控制技术,能够根据农作物外界生长因素的变化,自
<正>2012年底,GE公司在一份报告(《Industrial Internet:Pushing the Boundaries of Minds and Machines》)中认为:将传统的工业(涵盖制造、自然资源开发、建筑、公用事业等)
"千薯4号"是吉林省暑博士农业科技发展有限责任公司以"克新13号"为母本,"早大白"为父本通过有性杂交系统选育而成。2016年3月通过吉林省农作物品种审定委员会审定,审定编号:
随着射频识别技术(Radio Frequency Identification, RFID)的不断发展和道路交通问题的日益加重,旨在提高道路交通安全性的RFID道路系统获得了广泛的关注与研究。在RFID道路
针对传统PI调节器鲁棒性差、抗干扰能力弱、容易受诸多因素影响以及永磁同步电机存在不确定性和负载扰动等问题,通过对永磁同步电机数学模型的分析,并结合滑模变结构控制理论
天薯15号是以陇薯7号为母本,天薯9号为父本杂交选育而成的鲜食型马铃薯新品种。从播种至块茎成熟119d(天)左右,属晚熟品种。薯块椭圆形,皮黄色,薯肉淡黄色,芽眼浅。单株结薯4
从员工能力态度的分类方法角度探讨了目前国内企业继任模式的困境,并提出了解困对策。
网络已经介入到社会的政治、经济、文化各个领域,从而对当代大学生的行为习惯、思想观念产生了深刻的影响,给思想政治教育带来机遇和挑战。要把握机遇应对挑战,就需要以思想政治