论文部分内容阅读
摘 要：随着我国电力系统发展的规模不断扩大，通信技术、互联网技术、传感器等新科技的不断发展，人类社会步步走入智能电网的时代。智能电網是以“源-网-荷-储”为基础，集成当时代前沿的数据采集技术、网络通信技术、数据处理技术、智能控制技术为一体的结晶产物。而由大量传感器以及计算机分析产生了海量的形式结构不同的数据，数据已成为堪比石油还珍贵的资源，这些数据从全方位反映着智能电网的运行状态与运行环境。如何准确的利用这项资源已经是一个全球性的话题。大数据最先发展于互联网、金融、通信等行业，随着对数据的不断挖掘，大数据相关技术的研究由此而拉开序幕。如今大数据技术正处于飞速发展阶段，大数据技术对电力大数据的精准高效分析也将在未来成为现代电力系统安全可靠运行坚实基础。
关键词：电力系统;大数据;多源数据融合
引言
智能电网集中大数据各项技术能够处理海量冗余的数据，通过分析挖掘对电力系统生产运营起决定性作用的信息数据。同时依靠相关技术，在对信息量进行精简的同时仍要保证精确提取大部分数据的特征，不仅从数量上对数据进行极大的减少，提升了数据处理效率还能够迅速对电网安全可靠运行提供更有利的决策及建议。
1 数据融合的基本结构
（1）数据层融合：这一层的融合是最基本、最简单的融合。一般采用直接计算方法从所有的监测对象数据源提取研究所需要的特征状态量。虽然所得到的结果更贴近于真实值，但是由于模型限制，在数据层中能分析综合的数据种类要求单一。
（2）特征层融合：该层融合属于中等层次的融合。常规方法是对原有数据源的特征相量进行提取，再与上一层提取的初级融合的特征量进行结合，做关联分析和特征融合。得到几个较大的对状态判断和模式识别起决定作用的特征向量。
（3）决策层聚合：该层融合是所有层次中最高级别的。一般是利用所得决策向量结合相关算法做出分类、推理、识别、判断等决策。
2 针对电力系统数据的融合架构搭建
前文所提到的数据融合特有的三层结构，依照当前对电力系统提出的信息共享、可交互、高效率的要求。结合电力系统可将数据三层结构映射至电力系统三层结构的原理来搭建融合大体框架。数据层对应传感测量层，特征层对应电力数据管理层，决策层对应电力系统应用层。传感测量层采集例如温度、风速等数据，通过网络线路将数据传输到数据融合中心并完成存储和分析处理。配备了诸如No SQL、HDFS等工具的数据管理层能够对数据进一步存储和分布计算处理，特别是利用Map Reduce编程模型构建大规模集群点对海量数据进行快速分析。在应用层将数据实现具体应用，以电力系统智能化、信息共享化、故障自愈为目标保障系统平稳可靠运行。
电力系统覆盖的电力设备各式各样且结构复杂，很多电气量还未能通过仪器直接测得，而需要综合多个可观测的特征向量计算分析才能得出精确的结果。数据融合能对不同来源、模式、时间、地点的数据进行处理，是目前分析电力系统数据最可靠有效的方法。
2.1 数据预处理
电力系统数据种类多、数量大、相互关联信息非常模糊，而且所采集的初始数据冗余度高，噪声含量高。因此需要对其进行初步的信号处理、数据分类。数据预处理三个主要环节：
（1）清洗数据：是将得到的所有数据中无效的、冗余的、缺损的数据进行清理。
（2）数据统一：规格、模式表示归一化的数据对后续展开的数据融合工作更加有利。
（3）数据压缩：在样本数据的有效性和完整性得到保障的前提下，应该对数据进行适当的压缩，能够节约有限的储存空间并为下一步融合提高计算效率。
2.2 数据级融合
电力系统中数据级融合的数据大部分均来自多种传感器所采集得到的数据，我们大致可以分为电气量、过程量和状态量三种。在数据级融合阶段首先要将预处理过后的同类型数据进行二维关联分析，然后根据物理模型、智能算法等进行跨类别的二维关联。通过数据级融合得到结果的准确性能得到有效保证。
电力系统数据级处理是的原始数据源自于电网中先进、可靠的传感器技术，以信息融合要求为目标的聚合。随着监测技术手段的不断发展和对设备运行规律的掌握，这一级别的融合会更加准确全面。
作为初级的数据融合有以下特点：
（1）以物理模型为重要基础。同类以及跨类二维关系都是可以监测得到或能通过观测器能观的数据。
（2）以信息级融合需求为目标的数据转化。数据级数据按照信息级的需求也同时对数据进行了一系列整理工作主要有：
①数据的预处理
②数据的重新排序和整理将数据按照不同的应用目标、属性进行整理筛选，为下一步决策提出做好准备。
2.3 信息级融合
经数据级二维关联后的数据，并不能直接作为下一级融合的输入数据。因为这样简单的数据关系，不能够对对象的全部面貌进行全方位的说明。信息层对应的数据管理层是对数据进行进一步的加工，也是数据融合特征层的重要阶段，物理资源上的中间件装载了许多数据处理工具，例如数据集成工具、数据管理工具编程模型。
3 信息三维空间的建立
电力系统相关数据主要用于对系统运行状态估计和以及系统未来状态预测，这些所需要的数据来源不同且结构各异，不但包括了对系统相关设备的在线监测数据，还需要设备所处的环境气象信息等，这些多源数据彼此之间缺乏联系，没有被有效的整合和提取。从独立的各自系统来看，根本没有结合起来对电力系统相关需求信息进行挖掘的可能性。因此，在多源数据融合大结构的基础上需要搭建一个以时间维度、数据关联程度以及应用层次构建形成三维空间。
数据的变化速率都不是一致的，采集的过程中需要对不同类别数据设定不同采样率，比如对于变化较快的量可以采取每半小时甚至每一分钟一次的采样频率;而对于变化缓慢的量，可以固定几个小时或者几天采集一次。准确把握各个量的时间维度，以确保在某一个统一的时间范围内多个数据量对一个应用维度解释和描述的一致性。在该三维空间中，经由维度统一之后的监测数据进而可为各种各样的需求提供服务。
4 展望
目前本文的研究课题在大数据融合上的应用还处于实验室研究阶段，还未能通过实际电力系统检验其效果，在实际电力系统中的应用效果更有助于数据融合结构及算法的进一步改进和修正。因此接下来的主要任务就是将本文所提出的大数据融合结构尽快在电力系统实际平台下进行检验测试。观测其在实际平台更为复杂的情况下能否依然保持大数据融合的时效性及其工作的稳定性。并结合最终的实际结果可对整个框架及算法做出适当的改进。同时虽然实验环节中采用了最高达到135G的数据容量，实际应用中仍会出现更为大量的数据集，接下来的实际平台检验测试中将会更大程度地增加数据体积量，为将来处理更为海量地数据提供实验依据。
本文只对大数据融合部分展开研究，在后续可以继续对大数据另外几门关键技术展开更深层次研究，例如数据挖掘、数据预处理、数据可视化等都是与大数据分析处理密不可分的并且都可以为电力系统提供既高效又有保障的技术支撑。
参考文献
[1] 张东霞，苗新，刘丽平等.智能电网大数据技术发展研究[J].中国电机工程学报，2015，（1）：2-12.
[2] 彭小圣，邓迪元，程时杰，等.面向智能电网应用的电力大数据关键技术[J].中国电机工程学报，2017，（3）：503-511.
关键词：电力系统;大数据;多源数据融合
引言
智能电网集中大数据各项技术能够处理海量冗余的数据，通过分析挖掘对电力系统生产运营起决定性作用的信息数据。同时依靠相关技术，在对信息量进行精简的同时仍要保证精确提取大部分数据的特征，不仅从数量上对数据进行极大的减少，提升了数据处理效率还能够迅速对电网安全可靠运行提供更有利的决策及建议。
1 数据融合的基本结构
（1）数据层融合：这一层的融合是最基本、最简单的融合。一般采用直接计算方法从所有的监测对象数据源提取研究所需要的特征状态量。虽然所得到的结果更贴近于真实值，但是由于模型限制，在数据层中能分析综合的数据种类要求单一。
（2）特征层融合：该层融合属于中等层次的融合。常规方法是对原有数据源的特征相量进行提取，再与上一层提取的初级融合的特征量进行结合，做关联分析和特征融合。得到几个较大的对状态判断和模式识别起决定作用的特征向量。
（3）决策层聚合：该层融合是所有层次中最高级别的。一般是利用所得决策向量结合相关算法做出分类、推理、识别、判断等决策。
2 针对电力系统数据的融合架构搭建
前文所提到的数据融合特有的三层结构，依照当前对电力系统提出的信息共享、可交互、高效率的要求。结合电力系统可将数据三层结构映射至电力系统三层结构的原理来搭建融合大体框架。数据层对应传感测量层，特征层对应电力数据管理层，决策层对应电力系统应用层。传感测量层采集例如温度、风速等数据，通过网络线路将数据传输到数据融合中心并完成存储和分析处理。配备了诸如No SQL、HDFS等工具的数据管理层能够对数据进一步存储和分布计算处理，特别是利用Map Reduce编程模型构建大规模集群点对海量数据进行快速分析。在应用层将数据实现具体应用，以电力系统智能化、信息共享化、故障自愈为目标保障系统平稳可靠运行。
电力系统覆盖的电力设备各式各样且结构复杂，很多电气量还未能通过仪器直接测得，而需要综合多个可观测的特征向量计算分析才能得出精确的结果。数据融合能对不同来源、模式、时间、地点的数据进行处理，是目前分析电力系统数据最可靠有效的方法。
2.1 数据预处理
电力系统数据种类多、数量大、相互关联信息非常模糊，而且所采集的初始数据冗余度高，噪声含量高。因此需要对其进行初步的信号处理、数据分类。数据预处理三个主要环节：
（1）清洗数据：是将得到的所有数据中无效的、冗余的、缺损的数据进行清理。
（2）数据统一：规格、模式表示归一化的数据对后续展开的数据融合工作更加有利。
（3）数据压缩：在样本数据的有效性和完整性得到保障的前提下，应该对数据进行适当的压缩，能够节约有限的储存空间并为下一步融合提高计算效率。
2.2 数据级融合
电力系统中数据级融合的数据大部分均来自多种传感器所采集得到的数据，我们大致可以分为电气量、过程量和状态量三种。在数据级融合阶段首先要将预处理过后的同类型数据进行二维关联分析，然后根据物理模型、智能算法等进行跨类别的二维关联。通过数据级融合得到结果的准确性能得到有效保证。
电力系统数据级处理是的原始数据源自于电网中先进、可靠的传感器技术，以信息融合要求为目标的聚合。随着监测技术手段的不断发展和对设备运行规律的掌握，这一级别的融合会更加准确全面。
作为初级的数据融合有以下特点：
（1）以物理模型为重要基础。同类以及跨类二维关系都是可以监测得到或能通过观测器能观的数据。
（2）以信息级融合需求为目标的数据转化。数据级数据按照信息级的需求也同时对数据进行了一系列整理工作主要有：
①数据的预处理
②数据的重新排序和整理将数据按照不同的应用目标、属性进行整理筛选，为下一步决策提出做好准备。
2.3 信息级融合
经数据级二维关联后的数据，并不能直接作为下一级融合的输入数据。因为这样简单的数据关系，不能够对对象的全部面貌进行全方位的说明。信息层对应的数据管理层是对数据进行进一步的加工，也是数据融合特征层的重要阶段，物理资源上的中间件装载了许多数据处理工具，例如数据集成工具、数据管理工具编程模型。
3 信息三维空间的建立
电力系统相关数据主要用于对系统运行状态估计和以及系统未来状态预测，这些所需要的数据来源不同且结构各异，不但包括了对系统相关设备的在线监测数据，还需要设备所处的环境气象信息等，这些多源数据彼此之间缺乏联系，没有被有效的整合和提取。从独立的各自系统来看，根本没有结合起来对电力系统相关需求信息进行挖掘的可能性。因此，在多源数据融合大结构的基础上需要搭建一个以时间维度、数据关联程度以及应用层次构建形成三维空间。
数据的变化速率都不是一致的，采集的过程中需要对不同类别数据设定不同采样率，比如对于变化较快的量可以采取每半小时甚至每一分钟一次的采样频率;而对于变化缓慢的量，可以固定几个小时或者几天采集一次。准确把握各个量的时间维度，以确保在某一个统一的时间范围内多个数据量对一个应用维度解释和描述的一致性。在该三维空间中，经由维度统一之后的监测数据进而可为各种各样的需求提供服务。
4 展望
目前本文的研究课题在大数据融合上的应用还处于实验室研究阶段，还未能通过实际电力系统检验其效果，在实际电力系统中的应用效果更有助于数据融合结构及算法的进一步改进和修正。因此接下来的主要任务就是将本文所提出的大数据融合结构尽快在电力系统实际平台下进行检验测试。观测其在实际平台更为复杂的情况下能否依然保持大数据融合的时效性及其工作的稳定性。并结合最终的实际结果可对整个框架及算法做出适当的改进。同时虽然实验环节中采用了最高达到135G的数据容量，实际应用中仍会出现更为大量的数据集，接下来的实际平台检验测试中将会更大程度地增加数据体积量，为将来处理更为海量地数据提供实验依据。
本文只对大数据融合部分展开研究，在后续可以继续对大数据另外几门关键技术展开更深层次研究，例如数据挖掘、数据预处理、数据可视化等都是与大数据分析处理密不可分的并且都可以为电力系统提供既高效又有保障的技术支撑。
参考文献
[1] 张东霞，苗新，刘丽平等.智能电网大数据技术发展研究[J].中国电机工程学报，2015，（1）：2-12.
[2] 彭小圣，邓迪元，程时杰，等.面向智能电网应用的电力大数据关键技术[J].中国电机工程学报，2017，（3）：503-511.