基于列式存储的铁道供电监控信息快速查询与压缩处理研究

来源 :华东交通大学 | 被引量 : 0次 | 上传用户:zt20032053
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着近年来我国电气化铁路尤其是高速铁路的快速发展,铁道供电系统的自动化、智能化水平大幅提高,保障铁道供电系统稳定运行的调度监控系统也在进行综合自动化升级改造,使得供电监控系统容量及规模不断扩大,并需要大大增加供电监控系统采集终端的数量。而且高速动车组的发车频率增加、运行速度更快,对高速列车牵引动力设备的监控要求更加严格,同时供电监控系统的采样频率进一步提高,使得监控信息量爆炸式增长。仅以当前主流故障录波器为例,故障录波瞬时数据采集量为2.008MB/s,若取2MB/s进行计算,每周将采集1181.25G数据,每年将达到约60.15TB的数据量。更何况铁道供电调度监控系统有大量的信息采集设备,且服役期很长。  面对不断增长的大数据集监控信息,现有的监控信息处理模式主要采用基于磁盘阵列的硬件设备,利用传统的关系型数据库进行管理,存在着存储能力差、难以扩展、处理效率低等问题。若不能有效处理大集监控信息,将可能引起调度监控信息的交互困难、通信拥塞,若出现关键故障监控信息迟报、漏报或误报,甚至会导致调度失误而引发事故。由于传统的以行式存储为主的关系型数据管理技术处理大集信息的瓶颈,学术界对基于列式存储的数据处理技术开展研究,并且在理论上及各个应用领域验证了列式处理的压缩性能和查询效率,特别是HBase列式云集群处理模式在一些关键领域已得到重要应用。因此,本文针对铁道供电调度监控系统海量监控信息的高效处理,重点研究基于HBase列式云集群的查询、压缩及优化处理技术,并基于Brighthouse列存储引擎实现监控信息的大比率压缩。  本文在理论研究基础上,以工程数据为算例,首先为解决监控信息集成引起的监控系统兼容性问题,通过设计模式实现监控系统的一体化。然后成功构建基于HBase云集群的供电调度监控信息处理平台,并将Phoenix查询引擎集成到HBase集群实现并行查询,考虑索引的优化性能,实现基于协处理器的二级索引,经分析、对比实验确定监控信息的索引优化方式并实现监控信息的快速查询。将无损压缩融入HBase云集群,进行监控信息集群压缩处理研究与实验,并进一步提出压缩+二级索引的处理模式,验证了该方案对监控信息存取的优化效果。实现基于Brighthouse列存储引擎的监控信息大比率压缩存储模型,通过工程算例数据验证了其处理性能。研究结果为铁道供电监控大数据集信息的高效压缩及快速查询处理提供新的解决方案。
其他文献
随着我国国民经济的不断发展,城市居民的机动车保有量也在持续的上升,由此引发的道路交通拥堵问题已日益严重。为缓解大城市的交通压力,进行科学合理的交通规划和交通需求预
随着高速通车里程的快速增长,高速公路对我国经济健康快速发展和人们日常出行重要性日益显现出来。截止2013年底,全国高速公路通车总里程已经突破10.4万公里,位居世界第一。
本文通过对荣华二采区10
期刊
在会计工作的发展当中,需要相应的技术发展,技术发展了才能提高会计工作的效率,以会计技术作为部分内容的信息技术的日新月异地飞速发展为会计工作的发展注入了新的生机与活
编组站作为铁路路网系统内的关键组成部分,它的规划与设备规模是否合理、办理能力是否适应路网系统的运输需求,对增加铁路运输效率,确保铁路系统的安全、稳定、增快机车车辆的周
随着网络的迅速发展,普通单模光纤已经不能满足快速增长的传输容量和速率的要求,而基于空分复用结构的多芯光纤可以有效解决传输容量的问题,引起了行业内的广泛关注。同时,基于光
表面等离子体共振传感(SPR)技术以高灵敏度、所需待测样品少、样品无需作预处理、响应速度快等优势,愈来愈受到专家学者的重视,并在食品安全管理、生化应用与医药检测等领域
基于信息化时代背景下,电子信息工程技术实现了迅猛发展,而随着该项技术在社会各领域中的广泛应用,为了进一步满足社会对电子信息技术的实际需求,则需要借助现代化技术的进一
本文通过对狄就烈《乐法启蒙》三个版本的比较,考证各版本内容差异,并结合其历史背景阐述其变化的原因.1872年之初版以《西国乐法启蒙》(上、下卷)为书名,不仅已使用“七形记
随着我国电气化铁路尤其是高速电气化铁路飞速发展,铁路出行已经成为人们日常出行重要的交通工具之一。牵引供电系统作为电气化铁路重要的组成部分,为整个电气化铁路系统提供