论文部分内容阅读
随着云计算、大数据处理等相关领域技术以及状态监测技术本身的迅猛发展,在智能变电站状态监测中得到广泛地应用。变电设备状态监测数据量呈现指数级增长,给传统的变电设备状态监测数据平台的存储、管理与分析能力带来了极大的挑战,而现有硬件所提供的计算和存储能力已难以适应未来电力企业数据存储优化与并行处理的要求。将大数据分析技术融入到变电设备状态监测中,可以提高状态监测数据的利用率、信息共享与数据分析能力。本文首先结合电力系统业务发展需求,给出了一种传统变电设备状态监测平台的架构方案。然后,鉴于传统状态监测平台存储性能差、分析效率低等问题,设计了一种大数据环境下变电设备状态监测数据平台,提出了基于Hive的关系型联机分析(ROLAP)、基于Impala的关系型联机分析(ROLAP)和基于HBase的多维联机分析(MOLAP)三种分布式数据分析方案。同时,设计了基于Hive的分布式ROLAP星型模型及状态监测平台的工作流程。常规数据模型涉及大量的维表和事实表之间的映射运算,导致数据分析的响应速度慢、开销大等问题。针对该问题,本文提出一种基于无连接层次编码的变电设备状态监测数据模型,该模型把维表的层次信息进行编码,压缩至事实表中,减少大量连接操作,以优化其性能。由于Hadoop平台具有易扩展、可靠性高、高效的设备利用率等特点,本文利用Hadoop分布式集群搭建变电设备状态监测实验平台,采用Hive和Impala等大数据分析工具,在不同规模监测数据集上对本模型的监测数据加载、上卷操作、存储开销等方面进行实验测试。实验结果表明,数据加载速度慢于常规模型,但上卷执行性能与存储开销均优于常规数模模型。通过实验验证了本模型的有效性与可行性,本模型能够解决分布式ROLAP大量繁琐的表之间的连接操作,从而更加适合在大规模、分布式集群上执行大数据分析,给变电设备状态监测大数据分析带来一种新的思路。