论文部分内容阅读
随着智能电网建设的不断推进,智能化电力一次设备和常规电力设备的在线监测都得到了较大发展并成为趋势,监测数据变得口益庞大,电力设备在线监测系统面临越来越大的技术挑战。本文以电力设备监测大数据的存储和并行处理方法为研究对象,利用云计算和大数据处理技术(Hadoop、ODPS、Spark)对电力设备监测大数据的存储方法、数据在分布式平台下的分布策略、波形信号的并行分析和特征提取方法、多源数据的并行关联查询和分析方法、监测数据的并行聚类方法以及监测数据快速模式识别等问题进行了系统深入的研究。存储模式和数据分布策略是大数据处理首要解决的问题。本文分析了电力设备监测大数据的特点,分别基于HDFS文件和HBase表,设计了监测数据的存储方法。针对多源监测数据关联分析时,采用Hadoop默认数据分布策略造成节点间通信量大、性能低下的问题,提出了考虑数据相关性的多副本一致性哈希存储算法。基于该算法,应用MapReduce并行编程框架设计实现了多数据源并行关联查询算法和多通道数据融合并行特征提取算法,并通过实验验证了数据分布策略对并行算法性能的影响。鉴于总体经验模态分解(EEMD)方法在特征提取、信号去噪方面的优势,针对现有信号分析仪器采样率高(数据量大)且EEMD算法计算量大、运行速度缓慢的问题,提出了基于MapReduce并行编程框架的并行化EEMD算法。在对分段包络线进行重构时,针对矩形窗的固有缺陷,提出了基于局部平稳度的自适应分段包络线重构算法,用于分段边界的补偿处理,使重构的包络线误差减小到给定阈值范围内。通过实验的方式给出了误差限与延拓长度关系的实验数据,对并行化EEMD算法的性能进行了实验验证。针对自建数据处理平台在硬件规模、扩展性和集群伸缩性等方面的限制和问题,首次尝试利用阿里云大数据计算服务(ODPS)存储并加速电力设备监测大数据的分析过程。以变压器局部放电相位分析(PRPD)为例,提出了基于ODPS的局部放电信号数据存储方法;提出了基于ODPS扩展MapReduce模型(MR2)的并行化PRPD分析方法,在ODPS平台上实现了海量PD信号的并行基本参数提取、统计特征计算与放电类型识别,并对算法性能进行了实验验证。针对监测系统中由于恶劣天气等因素影响形成的短时、大规模并发报警和越限监测数据快速分析问题,研究了基于Spark的电力设备监测数据快速模式识别方法,在E-MapReduce平台上设计实现了Spark-KNN快速分类算法,用于海量绝缘子泄漏电流数据的快速类型识别,识别算法的平均性能高于Hadoop MapReduce实现,更适合执行电力设备监测大数据的实时处理任务。