基于Hadoop的广域测量系统数据处理

来源 :电力系统自动化 | 被引量 : 0次 | 上传用户:sc666
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为解决目前广域测量系统(WAMS)海量数据处理中存在的数据冗余、处理效率低等问题,设计并实现了一个基于Hadoop的WAMS数据处理云计算平台。首先,给出了平台的体系结构。其次,设计了基于Hadoop分布式文件系统(HDFS)存储的WAMS海量数据加载方法和利用MapReduce模型实现多个文件数据的并行抽取、转换和加载(ETL)操作流程。提出了结合MapReduce的MPApriori数据挖掘算法,用于高效地挖掘出连锁故障时各站点之间的相互影响。最后,通过对区域电网WAMS实际数据进行处理,验证了Hadoop处理海量数据的高效性。所述平台适用于高性能局域网络连接的计算机集群对海量电网数据进行文件数据处理。
其他文献
【正】 本文主要对苏州方言中具有方言特色的形容词作初步的探讨。全文共分四个部分:一、基本式形容词,二、重叠式形容训,三、带缀形容词,四、四字格的形容词语。文中所举例
1.钩藤:钩藤30克,加水100毫升,水煎10分钟,分早、晚口服,每日1剂,30日为1个疗程。若煎煮超过20分钟则降压作用不明显。
主要针对光刻对准特性,从单项工艺和工艺集成的角度,分析了影响光刻对准的各个主要因素,主要包括对准标记、工艺层、隔离技术等,提出了一些改善光刻对准效果的方法。
介绍了几种现有的配电自动化(DA)定义,提出应将其包含的内容规范为中低压配电网的运行自动化和管理自动化。论述了DA在提高供电可靠性方面的作用及其经济效益,指出只有把用户
中国大陆集成电路产业在近20年中快速发展,生产和技术已奠定了一定的基础。但与先进国家相比较,中国该产业在整个产业链中还处于中低端地位,且缺乏主动权,导致贸易结构也相对
朱寿昌,出身于官宦之家,是宋代著名孝子,也是文同与苏轼的好友之一,在政绩上亦享有美誉。他曾辞官寻母,令士大夫纷纷作诗文赞赏。其孝行在当朝产生了较大的社会反响,最终令自
提出在LED多芯片平面封装表面添加微透镜阵列,以提高取光效率。仿真分析了微透镜阵列的半径、间距和排列方式等对取光效率的影响。分析结果表明,通过在封装平面添加微透镜阵
在跨文化商务交际活动中,交际主体通过对文化、商务、语言以及具体场景交际规则等语境因素的认知,形成主体自身适应于交际活动进行的情感、态度,以构建恰当的语篇和恰当地理
人才是一个政权兴衰成败的关键。被誉为元代第一贤相的耶律楚材,本着“治天下需用治天下匠”的原则,为元朝收罗了一大批德才兼备的“治天下匠”。本文试就耶律楚材爱才、重才
【正】 随着我国社会主义“四化”建设的进行,科研管理做为一门新的学科,正在被理论工作者,以及从事实际工作的同志,从多方面进行研究和探讨。科研器材管理是科研管理的重要