基于Hadoop的电网数据质量校验方法与验证系统

来源 :计算机研究与发展 | 被引量 : 0次 | 上传用户:bjjgx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在诸多电网数据处理应用中,电网数据质量监测是电网大数据处理业务中最重要的一个环节.随着电网数据规模和数据质量校验规则数量和复杂度的不断增大,目前现有的基于传统数据库系统和计算平台的数据质量校验系统的处理能力已经出现严重的瓶颈,难以快速完成数据质量的监测和校验,且系统难以扩展,越来越难以满足日常的生产管理和经营决策的需求.大数据技术为解决电网大数据处理提供了良好的技术手段和支撑平台.为此,提出了一种基于大数据的电网数据质量校验解决方案,研究设计了基于Hadoop平台的分布式数据存储管理和并行化校验规则执行技术,选择批量和增量数据质量校验典型场景,进行了验证性研究,设计实现了针对数据校验的索引存储机制,对校验规则相关的属性建立快速索引,并进一步设计实现了基于HBase和MapReduce的并行化校验规则执行算法,使得数据质量校验的处理性能得到显著提升.在此基础上,基于验证性数据集和校验规则实现了一个验证性系统,实验结果表明,所提出的技术方法可以有效地提升数据质量校验处理性能,可满足实时/准实时电网数据数据校验需求,并且提供了一种具有良好可扩展性的系统解决方案.
其他文献
<正>据报,8月27日,美国和墨西哥就双边贸易协定达成协议。尽管完整的协议文本没有看到,但从披露的有限信息可以看出,这是特朗普版的新贸易协定取向。按照特朗普的打算,美墨协
<正>在新课程改革背景下,教研员成为国家政策的执行者、学校课程的规划者、广大基层教师的指导者和服务者、学生学业水平的监督者,同时还是教育教学质量的促进者。教研员正成
<正>中国书法艺术具有着丰富的文化内涵。对于观众而言,不管其是否认识汉字,一个共同的直观感受则是,所有的书法作品都是以一种线的形式存在的。那些中国历史上最为经典的书
目前国内各大型银行日交易量近千万笔,日平均交易额超过千亿元,产生大量结构化和非结构化的交易数据,这些数据难以有效地管理.与此同时,犯罪手段不断翻新,犯罪金额越来越大,
提出了TOPO萃取,大面积有机相制源与平行板屏栅电离室α谱仪结合,测定草、土壤等环境中钚的新方法。土壤和草灰的化学回收率分别为72%和97%,最低探测限为4×10-2Bq/kg。分析了I
<正>随着社会的发展和教育条件的改善,当前有越来越多的幼儿开始学习钢琴,但要让幼儿学好钢琴并非是一件容易的事情,其不仅需要幼儿循序渐进地进行练习,而且更需要教师正确的
人类最早用于栖身避雨的构筑物大概就是今天建筑的萌芽状态。通过劳动创造,构筑物由简单形式逐步向具有实用功能的艺术表现形式发展。它以立体空间的塑造,加上色彩及其他形式的
目的探索远程血压监测辅以健康指导等不同慢病管理模式在社区高血压患者中的作用,为社区高血压的管理提供参考。方法选取2012年3月至2013年10月,辖区21家社区健康服务中心慢
金线莲Anoectochilus roxburghii为兰科花叶开唇兰属的一种多年生珍贵中草药。目前市场上以栽培品为主,品种繁多,来源复杂,以次充好,缺乏科学的评价标准,掺伪掺假严重。近红
研究了测定受热中子辐照的钚样品中242cm/241Am放射性活度比的两种方法,并将其成功地应用于地下核试验样品的分析中。