基于Storm框架的电网设备监测大数据并行分析

来源 :华北电力大学 | 被引量 : 0次 | 上传用户:zjx1978_0901
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着智能电网的不断快速推进,电力系统已经迈入了“大数据”时代。各种电网设备的监测数据被送达监测中心,形成了海量电网流式数据,需要对其进行快速处理。传统的单机处理方式在面对海量电网流式数据时,存在实时响应能力差、可靠性低等问题,而当前云计算技术在各行各业的广泛应用为电力行业大数据的处理提供了新思路。云计算技术中的Storm流数据处理框架,具有高吞吐量、实时性强等特点,满足电力系统实时持续监测数据的处理。本文基于大数据Storm分布式计算框架对电网设备状态监测数据的并行分析与诊断进行研究。引入相关向量机算法,设计了相关向量机“一对一”算法基于Storm框架的并行化实现方案。该方案分为建立模型和分类测试两个模块。建立模型模块完成初始化模型的建立及增量更新,分类测试模块实现对海量电网流数据的实时快速诊断处理。依据Storm有很强的增量计算优势以及为了应对电网流数据的概念漂移现象,添加了增量学习方法。通过对比实验,验证了所设计的方案具有更高的分类准确率和更好的时效性。对部署在Storm平台上的算法模型进行性能测试,验证了Storm集群具有高吞吐量、低延迟,能够满足大规模电网设备海量监测流数据的在线实时处理。引入K最近邻算法,设计实现了基于Storm框架的并行化K最近邻算法Storm-KNN(S-KNN),完成电网设备海量监测流数据的快速分类与诊断。首先将已知样本集随机平均分块,然后并行计算未知样本与每块已知样本的相似度,得到每块的K个最近邻相似度,最后采用分半比较的并行化方式,汇总得到最终K个最近邻相似度,实现未知样本的分类识别。通过实验结果表明,集群环境下并行KNN算法性能优势较好,能够满足当前实际工程需求。
其他文献
语篇教学是小学英语教学中的重要内容,但在教学中很多教师存在重词汇、句型操练,忽视语篇的整体理解;重语言知识讲授,忽视朗读训练指导以及阅读策略的培养;重机械性操练,忽视
生态移民是以扶贫为主的特殊的人口迁移类型,其安置过程就是一种有组织的空间生产。固原市是我国较早开展生态移民的贫困地区之一,深入开展该地区生态移民村空间生产问题研究具有一定理论和实践意义。文章基于新马克思主义学派构建的“空间一社会关系”的研究内核,即空间生产被理解为物质空间生产和社会空间生产及基于两者间的互动,选取了固原市串河村、田坪村、沟圈村、兰大庄、二营村、闫堡村、红土村7个生态移民村,研究了生
如何加强社会管理是我国当前面临的一个重大理论和现实问题。而犯罪统计与被害调查作为能够准确获取犯罪信息的现代科学方法,可以为社会管理提供科学的决策依据和信息保障。
<正>分析环境特征.尊重建筑师的小区空间 理念.确定整个环境设计主题.围绕 "阳光、空气.水域、文化"的因素, 注意景观与生态的综合效应,通过地 形、植物.水景的变化.营造
期刊
百年大计,教育为本;教育大计,教师为本。近年来,市委、市政府高度重视教师队伍建设,多次指示,教育的发展是提升地区竞争力的重要举措,并围绕建设省教育强市、义务教育均衡全覆盖、推
报纸
声乐演唱艺术作为一门抽象的表演艺术,要求演唱者将其与舞台表演实践结合起来。在艺术表现方式日益多样化的今天,声乐表演者需要感悟作品并对作品进行再创造,通过各种手段实
近年来,国内出现了一种新的艺术形式——草根艺术,并且以其鲜活的形式和旺盛的生命力长期火爆,而我们的影视艺术由于题材的雷同化和"跟片热",引起人们的审美疲劳和反感。研究草
综述30年来我国拓展式教学研究的主要内容,并就其研究和应用中存在的三个方面问题作了简要分析和对策研究。
当问到新一年的新愿望,100个人里有99个都提到了"钱",想告别"月光"生活,想每个月的薪水翻番,想告别打工的生涯,想住大房子过舒坦的日子……可是看看身边的这帮单身女孩,稀里
期刊
生态意识是生态理论体系的重要内容,在生态文明建设过程中,要求我们必须大力培育公民的生态意识,通过一系列行之有效的手段,使人们对生态环境的保护转化为自觉的行为,保证生