论文部分内容阅读
摘 要：现如今，我国智能电网建设进入全面快速发展的新阶段，在变电网领域，根据国家电网公司制定的发展规划要求，在传统变电站的运行模式满足不了当前发展需求的情况下，智能变电站的应用势在必行。变电设备在生产运维检修过程中，会产生大量的变电缺陷相关数据。变电设备类型繁多，运行工况各有不同，人工分析缺陷数据时，往往不能形成有效结论。基于此，本文主要介绍了一种变电设备缺陷数据辅助分析的软件开发思路及结果应用，可以通过从缺陷类型、电压等级、生产厂家、运行工况等多个维度进行分析，形成有数据支撑的分析结果，用于有效指导下一步检修工作。
关键词：变电缺陷;大数据分析;应用
引言：变电站是在电力系统当中对电压以及电流进行变换并接受电能及分配电能的场所，是电力供应的设施之一，也是电力系统的关键枢纽。由于变电站的运行状况对整个电力系统有着极大地影响，变电站的正常运行保证了居民用电方面的安全，为生产和生活提供充足电力的同时，也改善了人们的经济状况，一定程度上促进了经济的发展。
变电设备种类繁多，发生的缺陷数量较多，且类型与表象也多种多样。以南方电网某地区级供电局为例，所辖47个110kV及以上电压等级变电站，每年发生的缺陷在400～700条之间，平均每月缺陷发生50～70条左右。数据量较大，这对定期的缺陷分析带来很大工作量与问题。因此，如何通过信息技术手段从海量缺陷文本中发掘内涵知识并让其能够方便快捷地辅助工作，成为核电设备管理人员和信息化人员的关注重点。
1变电设备缺陷数据概述
对变电设备缺陷分析需要结合核电厂业务及信息化的实际情况具体问题具体分析，设备缺陷分析主要涉及的数据包括主数据和业务数据，主数据主要是以设备为核心的一系列主数据对象。由于历史原因，主数据存在着多头管理、标准规范不齐全、管控流程体系缺失等一系列问题，因此需要建立设备主数据相关的标准规范，并对历史数据进行清洗和转换，确保在数据质量上满足要求。对于业务数据，由于现场工作人员的素质不一，录入的数据和使用的词汇并不一定规范，导致业务数据在分析时需要花较多时间进行数据清理。如果由业务人员开展数据清理，需要一定的工作量投入，且该项工作的收益并不能直接体现，很难获取业务人员和管理者的支持，这些都使得通过技术手段来提升数据质量成为开展大数据工作的重要组成部分之一，且不可越过该项任务。
2大数据技术在变电设备缺陷分析上的适用性分析
根据大数据技术的定义，大数据主要体现在数据量大、数据的种类和来源众多、数据的价值密度低、数据处理的实时性强等特点。而变电站的设备无论在种類还是数量上都具有足够的量级，因此在设备缺陷分析这一应用命题下能够满足大数据特点。设备缺陷数据往往以非结构化语句或者口语化表达呈现，这种情况下需要引入自然语言分析技术或者知识图谱技术进行文本内容的抽取和分析。主要用的技术包括知识抽取、知识清洗、知识融合、知识推理、知识可视化等。
在技术平台层面，变电站通常采用商业大数据技术平台或基于当前主流的开源技术框架进行大数据平台的搭建。一般而言，这类大数据系统的构成主要包括数据的采集及汇聚、数据的清理和转化、数据的存储和分析及数据的展现和应用集成等层面，每一个层面的组成都可通过一些开源的技术组件满足，在方案的适用性上，往往需要根据行业的特点进行增强或改善。
3变电设备缺陷大数据分析软件研究
按照大数据分析的一般标准化过程，从数据ETL操作、统计分析、数据挖掘和数据可视化四个方面进行逻辑设计，采用GO、HTML、JS语言完成前端设计、逻辑实现，最终完成缺陷分析的功能。
3.1数据ETL操作
由于基础数据直接来源于南网资产管理系统的有效数据，不再设计数据抽取及清洗环节。转换方面，需要通过基础数据中的缺陷描述、设备分类等内容，将定级不规范、分类不准确等数据不精确的部分加以整理，其中数据整理逻辑是本次软件设计重点。加载方面，将整理后的数据输出到整理后数据库，同时预留一个人工修改数据的输入端口。
3.2统计分析
用数学统计方法归纳历史数据。按照年、季、月的周期，利用故障树分析法等分析理论，从电压等级、设备类型、缺陷部位、制造厂家、运行年限、缺陷等级、缺陷原因、缺陷发现来源等维度，对周期内缺陷数据进行统计分析。
3.3数据挖掘
通过同比、环比，对历史数据做深入分析，利用算法找出数据中潜在的关联性，对缺陷发展趋势进行一定的预测（如家族性缺陷、频发性缺陷、按季节多发生的缺陷等）。
3.4数据可视化
将分析结果形成多图表的报告，呈现给缺陷分析人员。
4变电站设备缺陷分析中大数据技术应用
在数据采集和清洗上，考虑到项目的数据主要存储在企业核心组件（SAPECC）以及Oracle数据库中，项目采用Kettle作为清洗、转换、加载（ETL）工具，Kettle支持以SAPRFC的方式从企业资源计划系统（SAP）中获取数据，同时能够支持ETL的常见数据拆分、转换等清洗作用的算子。此外，Kettle还支持使用自定义脚本语言开发定制算子的方式来进行数据的清理，极大地提升了数据采集的有效性。
在数据存储上，缺陷数据的特点是文本较多，结构化字段较少，因此比较适合用非结构化数据库存储。从实用性角度考虑，使用HBase符合当前主流的技术开发体系，因此项目上通过HBase作为存储，使用缺陷的惟一标识作为HBase中的唯一惟行键。
在数据计算和分析上，不可避免地需要选择计算框架，这个场景中使用了Spark作为分析计算工具，Spark可以通过另一种资源协调者（YARN）调度计算资源而不用担心任务的执行需要。此外，为了使得Spark支持Python，需要使用PySpark，可以使用Python编程语言中的弹性分布式数据集（RDD），PySpark将PythonAPI链接到Spark核心并初始化Spark上下文。PySpark可以大规模地进行探索性数据分析，构建机器学习管道以及为数据平台创建ETL。
在数据服务应用的技术选型上，采用Flask作为服务端的实现。Flask是一个使用Python编写的轻量级Web应用框架，其WSGI工具箱采用Werkzeug，模板引擎则使用Jinja2。Flask使用开源软件协议授权;Flask使用简单的核心，用extension增加其他功能;Flask可以很便捷地提供Restful风格的服务供其他业务系统调用。
5结束语
随着智能电网的推进，生产中产生的各类缺陷数据已成为电力企业的重要资产。变电设备缺陷分析是变电企业在利用大数据技术发掘现有文本信息资源价值的重要应用领域。通过对设备缺陷分析能够发现重复性出现的设备故障类型，有助于提升设备采购的质量和维修计划的针对性。该项工作不仅适合于变电企业，对于整个行业均有意义，能够为企业的现代化、数字化、智能化建立良好的基础条件。
参考文献：
[1] 李方军.基于电力企业大数据环境下的数据治理[J].电子技术与软件工程，2019（02）
[2] 崔立真.面向智能电网的电力大数据存储与分析应用[J].大数据，2017（06）
[3] 苟筱林.基于大数据挖掘技术的输变电设备故障诊断方法分析[J].通信电源技 术，2019（01）
[4] 严浩军.大数据技术在变电缺陷分析中的应用[J].工业指南，2017（23）
（国网南平供电公司 福建 南平 353000）
关键词：变电缺陷;大数据分析;应用
引言：变电站是在电力系统当中对电压以及电流进行变换并接受电能及分配电能的场所，是电力供应的设施之一，也是电力系统的关键枢纽。由于变电站的运行状况对整个电力系统有着极大地影响，变电站的正常运行保证了居民用电方面的安全，为生产和生活提供充足电力的同时，也改善了人们的经济状况，一定程度上促进了经济的发展。
变电设备种类繁多，发生的缺陷数量较多，且类型与表象也多种多样。以南方电网某地区级供电局为例，所辖47个110kV及以上电压等级变电站，每年发生的缺陷在400～700条之间，平均每月缺陷发生50～70条左右。数据量较大，这对定期的缺陷分析带来很大工作量与问题。因此，如何通过信息技术手段从海量缺陷文本中发掘内涵知识并让其能够方便快捷地辅助工作，成为核电设备管理人员和信息化人员的关注重点。
1变电设备缺陷数据概述
对变电设备缺陷分析需要结合核电厂业务及信息化的实际情况具体问题具体分析，设备缺陷分析主要涉及的数据包括主数据和业务数据，主数据主要是以设备为核心的一系列主数据对象。由于历史原因，主数据存在着多头管理、标准规范不齐全、管控流程体系缺失等一系列问题，因此需要建立设备主数据相关的标准规范，并对历史数据进行清洗和转换，确保在数据质量上满足要求。对于业务数据，由于现场工作人员的素质不一，录入的数据和使用的词汇并不一定规范，导致业务数据在分析时需要花较多时间进行数据清理。如果由业务人员开展数据清理，需要一定的工作量投入，且该项工作的收益并不能直接体现，很难获取业务人员和管理者的支持，这些都使得通过技术手段来提升数据质量成为开展大数据工作的重要组成部分之一，且不可越过该项任务。
2大数据技术在变电设备缺陷分析上的适用性分析
根据大数据技术的定义，大数据主要体现在数据量大、数据的种类和来源众多、数据的价值密度低、数据处理的实时性强等特点。而变电站的设备无论在种類还是数量上都具有足够的量级，因此在设备缺陷分析这一应用命题下能够满足大数据特点。设备缺陷数据往往以非结构化语句或者口语化表达呈现，这种情况下需要引入自然语言分析技术或者知识图谱技术进行文本内容的抽取和分析。主要用的技术包括知识抽取、知识清洗、知识融合、知识推理、知识可视化等。
在技术平台层面，变电站通常采用商业大数据技术平台或基于当前主流的开源技术框架进行大数据平台的搭建。一般而言，这类大数据系统的构成主要包括数据的采集及汇聚、数据的清理和转化、数据的存储和分析及数据的展现和应用集成等层面，每一个层面的组成都可通过一些开源的技术组件满足，在方案的适用性上，往往需要根据行业的特点进行增强或改善。
3变电设备缺陷大数据分析软件研究
按照大数据分析的一般标准化过程，从数据ETL操作、统计分析、数据挖掘和数据可视化四个方面进行逻辑设计，采用GO、HTML、JS语言完成前端设计、逻辑实现，最终完成缺陷分析的功能。
3.1数据ETL操作
由于基础数据直接来源于南网资产管理系统的有效数据，不再设计数据抽取及清洗环节。转换方面，需要通过基础数据中的缺陷描述、设备分类等内容，将定级不规范、分类不准确等数据不精确的部分加以整理，其中数据整理逻辑是本次软件设计重点。加载方面，将整理后的数据输出到整理后数据库，同时预留一个人工修改数据的输入端口。
3.2统计分析
用数学统计方法归纳历史数据。按照年、季、月的周期，利用故障树分析法等分析理论，从电压等级、设备类型、缺陷部位、制造厂家、运行年限、缺陷等级、缺陷原因、缺陷发现来源等维度，对周期内缺陷数据进行统计分析。
3.3数据挖掘
通过同比、环比，对历史数据做深入分析，利用算法找出数据中潜在的关联性，对缺陷发展趋势进行一定的预测（如家族性缺陷、频发性缺陷、按季节多发生的缺陷等）。
3.4数据可视化
将分析结果形成多图表的报告，呈现给缺陷分析人员。
4变电站设备缺陷分析中大数据技术应用
在数据采集和清洗上，考虑到项目的数据主要存储在企业核心组件（SAPECC）以及Oracle数据库中，项目采用Kettle作为清洗、转换、加载（ETL）工具，Kettle支持以SAPRFC的方式从企业资源计划系统（SAP）中获取数据，同时能够支持ETL的常见数据拆分、转换等清洗作用的算子。此外，Kettle还支持使用自定义脚本语言开发定制算子的方式来进行数据的清理，极大地提升了数据采集的有效性。
在数据存储上，缺陷数据的特点是文本较多，结构化字段较少，因此比较适合用非结构化数据库存储。从实用性角度考虑，使用HBase符合当前主流的技术开发体系，因此项目上通过HBase作为存储，使用缺陷的惟一标识作为HBase中的唯一惟行键。
在数据计算和分析上，不可避免地需要选择计算框架，这个场景中使用了Spark作为分析计算工具，Spark可以通过另一种资源协调者（YARN）调度计算资源而不用担心任务的执行需要。此外，为了使得Spark支持Python，需要使用PySpark，可以使用Python编程语言中的弹性分布式数据集（RDD），PySpark将PythonAPI链接到Spark核心并初始化Spark上下文。PySpark可以大规模地进行探索性数据分析，构建机器学习管道以及为数据平台创建ETL。
在数据服务应用的技术选型上，采用Flask作为服务端的实现。Flask是一个使用Python编写的轻量级Web应用框架，其WSGI工具箱采用Werkzeug，模板引擎则使用Jinja2。Flask使用开源软件协议授权;Flask使用简单的核心，用extension增加其他功能;Flask可以很便捷地提供Restful风格的服务供其他业务系统调用。
5结束语
随着智能电网的推进，生产中产生的各类缺陷数据已成为电力企业的重要资产。变电设备缺陷分析是变电企业在利用大数据技术发掘现有文本信息资源价值的重要应用领域。通过对设备缺陷分析能够发现重复性出现的设备故障类型，有助于提升设备采购的质量和维修计划的针对性。该项工作不仅适合于变电企业，对于整个行业均有意义，能够为企业的现代化、数字化、智能化建立良好的基础条件。
参考文献：
[1] 李方军.基于电力企业大数据环境下的数据治理[J].电子技术与软件工程，2019（02）
[2] 崔立真.面向智能电网的电力大数据存储与分析应用[J].大数据，2017（06）
[3] 苟筱林.基于大数据挖掘技术的输变电设备故障诊断方法分析[J].通信电源技 术，2019（01）
[4] 严浩军.大数据技术在变电缺陷分析中的应用[J].工业指南，2017（23）
（国网南平供电公司 福建 南平 353000）