基于倒排索引的铁路供电海量数据集群监控快速查询机制研究

来源 :华东交通大学 | 被引量 : 0次 | 上传用户:lczddd
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着我国高速铁路网规模越来越大,铁路供电系统的智能化程度不断提高,四电设备的综合调度监控系统已逐步应用于高速客运专线供电系统所有重要高、低压回路,供电调度监测系统测控终端数量大大增加。并且高速动车组运行速度和开行频率都远高于普通列车,铁路供电系统运行参数变化频繁,供电调度监测系统测控终端的采样频率也随之提升,使铁路供电综合调度监测系统采集数据信息呈指数级增加。浙赣铁路10kV电力调度监控系统仅2个月获取监测数据量即达300G以上,按此计算,1年监测数据量为1.8T,以服役期15年算,总存储量可达27T。传统的数据处理技术主要通过关系型数据库进行存储管理,存在容量受限且扩展性差的问题,面对千万级以上的海量监测数据查询响应慢易造成调度界面卡屏,影响调度信息的实时处理,严重时甚至可能导致重要报警信息的延迟甚至遗漏,对列车安全产生威胁。因此,迫切需要研究铁路供电调度监测的高效查询响应技术,提出新的海量监测数据的快速处理方法。本文针对铁路供电调度监测系统的快速查询响应问题,搭建铁路供电调度监测分布式集群数据库。该分布式集群数据库基于HBase数据库,面对海量监测数据,拥有远超于传统关系型数据库的存储能力和可扩展性。考虑HBase数据库按非主行键查询的效率低下,无法满足铁路供电调度监测系统按站所和设备编号等非主行键关键词进行监测数据查询的工程应用需求,设计一种基于铁路供电监测数据倒排索引的二级索引架构,改变数据存取结构,生成监测数据的倒排索引,利用非主行键定位,完成非主行键数据的二级索引。通过算例测试验证该方法满足在铁路供电调度监测系统中对数据进行快速检索的工程应用需求。将热点缓存技术融入铁路供电调度监测分布式集群数据库,进一步提高查询效率。并对热点缓存技术进行改进,在倒排索引热度缓存的缓存更新替换环节中设计访问顺序编码,对倒排索引缓存数据的访问热度进行管理排序,避免对缓存系统属性时间戳进行操作,提高热点缓存方法的多线程读写性能。通过算例测试,验证了改进的热点缓存替换方法可以进一步提高铁路供电调度监测系统的查询效率。
其他文献
2009年1月,在哥本哈根世界气候大会上,温家宝总理发表题为《凝聚共识,加强合作,推进应对气候变化历史进程》的重要讲话,提出中国将在2020年实现单位人均国内生产总值二氧化碳
血管分区理念将人体分为由若干个不同的三维组织块,各自有特定供血动脉及静脉引流。糖尿病神经性、缺血性足病与动脉粥样硬化、侧支循环缺乏及肢体重症缺血密切相关,介入治疗是
目的探讨超声空化阻断兔VX2皮下肿瘤血供对无水乙醇消融肿瘤的增强作用。方法将32只VX2皮下肿瘤兔随机分为4组:超声空化组、乙醇消融组、超声空化联合乙醇消融组、对照组。对
概括叙述了动画的总体含义,并结合其需要的各个领域的知识点做出归纳,分析动画影像和当今科技应用软件发展的内在联系。
中国科幻中的城市题材小说经过数十年的发展,已经逐步走向成熟。总体而言,新世纪以来的中国科幻作家在想象城市时,受到“科幻现实主义”的影响较大,一般倾向于从现实出发去勾
由于传统的大修模式存在随意性大、标准不统一、经济性差等问题,再制造技术的逐渐成熟为工程机械的修复提供了更多的选择.基于再制造技术的大修方案,依托再制造产业的技术、效
中国传统民居大多为内院式住宅,院落是居住的生活中心,中国民居将内院看作是人与天地,人与自然和谐共生的最佳场所。随着城市化进程加速,伴随产生城市建筑逐步趋同,城市差异
随着因特网和信息技术的发展,图书馆仅作为信息存储中心的作用逐渐弱化,而作为信息获取中心的作用逐渐凸显,如何改变图书馆传统的参考咨询服务模式,提供嵌入式知识服务,成为
目的评价MicroPure成像技术检测乳腺肿瘤微钙化及鉴别乳腺良恶性肿瘤的价值。方法对经钼靶x线检查证实存在微钙化灶的110例乳腺肿瘤患者(125个肿瘤)进行常规高频超声及配有Micr
印染废水具有COD高、染料浓度大、成分复杂的特点,是一类难处理的工业废水。其中偶氮染料在印染废水中占大部分比例,且其抗光降解和生物降解。光催化作为高级氧化技术,具有氧