云平台下电力设备监测大数据存储优化与并行处理技术研究

被引量 : 30次 | 上传用户:wef123456
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着智能电网建设的不断推进,智能化电力一次设备和常规电力设备的在线监测都得到了较大发展并成为趋势,监测数据变得口益庞大,电力设备在线监测系统面临越来越大的技术挑战。本文以电力设备监测大数据的存储和并行处理方法为研究对象,利用云计算和大数据处理技术(Hadoop、ODPS、Spark)对电力设备监测大数据的存储方法、数据在分布式平台下的分布策略、波形信号的并行分析和特征提取方法、多源数据的并行关联查询和分析方法、监测数据的并行聚类方法以及监测数据快速模式识别等问题进行了系统深入的研究。存储模式和数据分布策略是大数据处理首要解决的问题。本文分析了电力设备监测大数据的特点,分别基于HDFS文件和HBase表,设计了监测数据的存储方法。针对多源监测数据关联分析时,采用Hadoop默认数据分布策略造成节点间通信量大、性能低下的问题,提出了考虑数据相关性的多副本一致性哈希存储算法。基于该算法,应用MapReduce并行编程框架设计实现了多数据源并行关联查询算法和多通道数据融合并行特征提取算法,并通过实验验证了数据分布策略对并行算法性能的影响。鉴于总体经验模态分解(EEMD)方法在特征提取、信号去噪方面的优势,针对现有信号分析仪器采样率高(数据量大)且EEMD算法计算量大、运行速度缓慢的问题,提出了基于MapReduce并行编程框架的并行化EEMD算法。在对分段包络线进行重构时,针对矩形窗的固有缺陷,提出了基于局部平稳度的自适应分段包络线重构算法,用于分段边界的补偿处理,使重构的包络线误差减小到给定阈值范围内。通过实验的方式给出了误差限与延拓长度关系的实验数据,对并行化EEMD算法的性能进行了实验验证。针对自建数据处理平台在硬件规模、扩展性和集群伸缩性等方面的限制和问题,首次尝试利用阿里云大数据计算服务(ODPS)存储并加速电力设备监测大数据的分析过程。以变压器局部放电相位分析(PRPD)为例,提出了基于ODPS的局部放电信号数据存储方法;提出了基于ODPS扩展MapReduce模型(MR2)的并行化PRPD分析方法,在ODPS平台上实现了海量PD信号的并行基本参数提取、统计特征计算与放电类型识别,并对算法性能进行了实验验证。针对监测系统中由于恶劣天气等因素影响形成的短时、大规模并发报警和越限监测数据快速分析问题,研究了基于Spark的电力设备监测数据快速模式识别方法,在E-MapReduce平台上设计实现了Spark-KNN快速分类算法,用于海量绝缘子泄漏电流数据的快速类型识别,识别算法的平均性能高于Hadoop MapReduce实现,更适合执行电力设备监测大数据的实时处理任务。
其他文献
当今知识时代发展中,企业的主体力量和推动者聚焦在青年员工的身上。青年员工在企业发展中发挥着越来越重要的作用。作为企业青年员工的组织者,团组织,应该与企业共同进步和
为实现自然岸线保有目标,推动海岸线合理的保护利用,科学制定海岸线规划成为海洋管理的重要内容之一。文章提出以海岸线属性评价为核心,通过岸线单元划分、评价、归并等步骤,
正交异性钢桥面板结构以其自重轻、极限承载力大、结构美观、施工速度快等一系列优点,被广泛应用于国内外大跨度桥梁设计中。但是,由于其结构构造复杂、焊接残余应力问题、内
论时间管理──汲取我国古代时间思想的精华加强时间管理冯淑文华南理工大学当前,提高企业的经济效益是一个关系国民经济持续稳定发展的关键问题,而重视和加强时间管理,是提高经
近年来,随着我国政府对于社会建设以及社会福利促进的日益重视,关于社会服务组织的管理以及如何处理政府部门与社会服务组织的关系问题急需研究。本文选取北京市民办残疾人服
<正>Carole King是美国最成功的"创作歌手"之一,她的作品再现了上世纪60年代早期的风范。在1971年发布的专辑《织锦画》(Tapestry)位居历史上最畅销的专辑行列中。她与第一任
<正>查尔斯·卓别林是电影史上著名的明星之一。他的确是电影史上最著名的喜剧演员。他的第一部电影是拍摄于无声电影时代。他的有声电影都是他自己创作剧本、导演的。卓别林
基于.NET架构和数据仓库技术开发经理人决策支持平台,使用多层关联规则算法挖掘购物小票的频繁项集,发现顾客的购物模式,为超市货架陈列优化提供帮助。文章分析了决策支持平
中德环境民事法律责任的比较汪学文内容提要内容提要:环境保护的法律建设在中德两国有着各自的发展过程。由于两国的国情不同和经济发展的速度差异以及法律制度本身的区别,从而
在中国梦的宏大交响中,无论是对于实现国家的富强昌盛,还是对于追求个人的美好幸福生活,美好乡村建设都是一曲催人奋进的旋律。改善生活条件、保障改善民生、增强价值认同等