论文部分内容阅读
摘要：目前，智能电网大数据的共享已经由智能电网大数据平台完美实现，作为当前大数据的重要关键的技术，且为各种业务的产品开发及运行提供一个强有力的支撑平台，智能电网需要全景实时分析的一个数据状态。文章介绍了智能电网大数据的各项基本的概念及全景数据实时分析，讲述了国内外的智能电网大数据的各个工程实践应用和研究成果的现状；总结了智能电网大数据的全景实时分析的关键技术探讨和理论基础体系。
关键词：智能电网；大数据技术；全景实时分析
引言
智能电网也已成为大数据应用的非常重要的领域，另外电网的数据有可能产生于智能电网系统的任何环节，例如：在用电时，由于安装和部署了很多的智能终端和智能电表设备，产品用户方和电力公司之间的交互行为增长迅速，为收集比往常更为精确且详细的大量电力消费的数据，从而组成智能电网中各方用户的海量数据单，电力公司定期都会通过数据监测获取各方用户的用电信息，利用这些数据进行合理的分析可以更方便地了解客户的体验、合理地监测一段时间内的负荷预测的系统和设计电力数据需求的响应系统。因此这些数据具有非常大的研究价值和意义。
1 智能电网大数据概述
1.1智能电网数据来源的构成
根据智能电网数据来源的不同，电力企业外部数据源和内部数据源通常为智能电网的数据主要组成部分。其中电力企业的外部数据源主要分散放置在各个不同的地方，具有分部分管理、分散法放置的特征，交由不同部门或单位管理，主要包括公共服务部门的数据、气象信息系统、地理信息系统、互联网数据等。而电力企业内部的数据源主要包括用电信息的采集系统、财务管理系统、能量源管理系统、广域量测系统（WAMS）、在线监测系统、客户服务系统、生产管理系统、配电管理系统以及数据的采集与数据监控系统（SCADA）等。
1.2智能电网大数据的发展方向
智能电网的发展方向一般是以电力数据技术。通常情况下智能电网的基础是物理电网，通过物理电网把目前各种先进的计算机技术、通信技术等高度集成从而形成一个新型的电网，实现对终端的发电和用电以及电网运行在智能电网的市场中各方用户的需求以及功能协调，通过大数据全景实时分析提高智能系统的各部分高速度运行，与此同时尽可能的降低制作成本和环境影响的因素，进而提高智能电网系统的稳定性以及可靠性。
由于全球智能电网技术的飞快发展，由于营销业务系统、运行电网系统、采集用电信息、监测设备状态、等多方面原因，造成了大量数据的沉淀和产生。近年来，大数据这个新概念在智能电网领域中受到广泛关注，通常是指利用传统的计算机技术、数学分析方法、软硬件工具等，对其进行数据集合。同时，目前有相当一部分学者都在对智能电网大数据进行研究。
1.3智能电网数据化结构
智能电网大数据一般类型较多且相对复杂，不仅包括结构化数据结构，还包括特别多的非结构化数据以及半结构化数据，比如电网中的系统设备在监测电网系统中的在线图像的数据与视频的数据，在用户的服务中心设备监测信息系统的语音播报数据信息等，而且这些数据的采集样本的生命周期与频率差别也比较大，见图1。
2 智能电网大数据的实时分析特点
2.1电网中存储技术的质量处理
智能电网大数据分析结果是否正确还取决于电网系统大数据的质量。因此，电网中的数据处理，对电网数据的质量有严格的要求，成为了各类智能电网的数据一个新的属性。与此同时，智能电网的数据的真实性也相当重要，也就是说与特定的类型电网的数据相关的可靠性需要保证真实。但是实际情况通常是即便是最先进的数据清除办法也不可能清除一些数据，这是本有的预测不到的情况。
因此，从电网的整体上对存储在不同系统上的数据进行统一的管理，并提供数据查询和索引的功能。综合分析，数据存储对比见表1。
2.2电网中大数据实时分析技术特点
2.2.1智能电网中数据的类型较多
智能电网大数据不仅种类繁多且分布广泛，还包括各类结构化、非结构化数据以及半结构化数据，其中有时间序列数据、实时数据、文本和多媒体数据、历史数据等，而且电网中各类数据的处理和查询的频度和性能也有大不相同的要求。比如物理网中绝缘放电的数据的采集样本的速度接近于几百 kHz甚至 GHz，而电力设备监测数据中的状态的油色谱数据采集一次样本的时间需要0.5 h。
2.2.2 智能电网的空间分散性
智能电网中运行的数据主要是由分散在智能电网中的各个地点的物理装置监控组成，包括在每个家庭的智能电表，还有各个等级的变电站和变压器中的各种监控设备。因此，智能电网的大数据的关键技术是在这些系统和装置中如何通过采取分布分层技术快速有效地处理和存储大量数据。
2.2.3智能电网的实时交互性
通常情况下流数据都是由SCADA 数据、PMU 数据、智能电表数据等组成，也就是智能电网设备中的监测运行的数据，即智能电网中大数据的实时交互性技术，也是工作调度员进在线上进行重要决定的重要依据。也可以通过这些智能电网大数据实时地在线准确的了解智能电 网的交互运行状态。
3 全景实时分析关键技术问题
3.1 全景实时分析的动态平衡调度技术
目前智能电网系统的平衡调度技术当前主要是采用数据采集与监视控制（SCADA，supervisory control and data acquisition）系统，为实现电网设备的控制与测量、参数调节、各类信号报警、以及大量数据的采集等各项功能。电力系统作为的智能电网一个整体部分，整个电力设备系统内的电源的使用与传送、生产的总量都在时时刻刻的变化着。但是在面对大量的在线数据排布实时信息时，以往使用的调度系统的合理性以及实时性都可能不足以支撑使用要求，导致无法成功的完成智能电网的精确化调度。在智能电网大数据的状态下，全景实时分析的形势如图 2 所示。
3.2智能电网大数据的安全性及可靠性
由于目前智能电网大规模的不断扩大同时间歇性的接入能源，智能电网系统设备开始面临着特别严重安全性及可靠性的问题。通常而言，对于全景电网大数据的分析监测起来工作量会很大，所以电网设备系统信息的覆盖采集系统越来越充分，运算量大、采集点少的特点成为传统电力系统的独特分析技术具有安全性及可靠性，而且大数据的電网设备能够监控并得到各个系统的信息全景数据，导致几千阶的微分方程需要求解，满足不了实时性的要求。
除此之外，由于能源分布大规模间歇性的接入，导致对大电网的冲击轻而易举，因此对电网系统的稳定性也就会有越来越高的要求。即通过电网大数据从整体的角度来实行动态实时分析系统的安全，是智能电网大数据实时分析面临的一项非常重要的工作。
4结束语
本文主要阐述了智能电网大数据全景实时分析的关键技术，并探讨电网全景实时分析的技术体系。通过可行性方案把电力大数据的真实性以及准确性作为智能电网大数据的一个研究维度。以此来推动全景实时分析电网中的大数据在整个电力系统中的研究和发展。
参考文献：
[1]宋 亚 奇，周 国 亮，朱 永 利. 智能电网大数据处理技术现状与 挑战[J]. 电网技术，2013，37（4）：927-935.
[2]刘树仁，宋亚奇，朱永利，等.基于 Hadoop 的智能电网状态监 测数据存储研究[J]. 计算机科学，2013，40（1）：
[3]闫湖，周薇，李立新，等. 基于分布式键值对存储技术的 EMS 数据库平台[J]. 电网技术，2012，36（9）：162-167.
[4]金海，廖小飞，叶晨成. 内存计算：大数据处理的机遇与挑战[J]. 中国计算机学会通讯，2013，9（4）：40-46
[5]李国杰，程学旗.大数据研究：未来科技及经济社会 发展的重大战略领域——大数据的研究现状与科学思考[J].中国科学院院刊，2012，27（6）：647-657
关键词：智能电网；大数据技术；全景实时分析
引言
智能电网也已成为大数据应用的非常重要的领域，另外电网的数据有可能产生于智能电网系统的任何环节，例如：在用电时，由于安装和部署了很多的智能终端和智能电表设备，产品用户方和电力公司之间的交互行为增长迅速，为收集比往常更为精确且详细的大量电力消费的数据，从而组成智能电网中各方用户的海量数据单，电力公司定期都会通过数据监测获取各方用户的用电信息，利用这些数据进行合理的分析可以更方便地了解客户的体验、合理地监测一段时间内的负荷预测的系统和设计电力数据需求的响应系统。因此这些数据具有非常大的研究价值和意义。
1 智能电网大数据概述
1.1智能电网数据来源的构成
根据智能电网数据来源的不同，电力企业外部数据源和内部数据源通常为智能电网的数据主要组成部分。其中电力企业的外部数据源主要分散放置在各个不同的地方，具有分部分管理、分散法放置的特征，交由不同部门或单位管理，主要包括公共服务部门的数据、气象信息系统、地理信息系统、互联网数据等。而电力企业内部的数据源主要包括用电信息的采集系统、财务管理系统、能量源管理系统、广域量测系统（WAMS）、在线监测系统、客户服务系统、生产管理系统、配电管理系统以及数据的采集与数据监控系统（SCADA）等。
1.2智能电网大数据的发展方向
智能电网的发展方向一般是以电力数据技术。通常情况下智能电网的基础是物理电网，通过物理电网把目前各种先进的计算机技术、通信技术等高度集成从而形成一个新型的电网，实现对终端的发电和用电以及电网运行在智能电网的市场中各方用户的需求以及功能协调，通过大数据全景实时分析提高智能系统的各部分高速度运行，与此同时尽可能的降低制作成本和环境影响的因素，进而提高智能电网系统的稳定性以及可靠性。
由于全球智能电网技术的飞快发展，由于营销业务系统、运行电网系统、采集用电信息、监测设备状态、等多方面原因，造成了大量数据的沉淀和产生。近年来，大数据这个新概念在智能电网领域中受到广泛关注，通常是指利用传统的计算机技术、数学分析方法、软硬件工具等，对其进行数据集合。同时，目前有相当一部分学者都在对智能电网大数据进行研究。
1.3智能电网数据化结构
智能电网大数据一般类型较多且相对复杂，不仅包括结构化数据结构，还包括特别多的非结构化数据以及半结构化数据，比如电网中的系统设备在监测电网系统中的在线图像的数据与视频的数据，在用户的服务中心设备监测信息系统的语音播报数据信息等，而且这些数据的采集样本的生命周期与频率差别也比较大，见图1。
2 智能电网大数据的实时分析特点
2.1电网中存储技术的质量处理
智能电网大数据分析结果是否正确还取决于电网系统大数据的质量。因此，电网中的数据处理，对电网数据的质量有严格的要求，成为了各类智能电网的数据一个新的属性。与此同时，智能电网的数据的真实性也相当重要，也就是说与特定的类型电网的数据相关的可靠性需要保证真实。但是实际情况通常是即便是最先进的数据清除办法也不可能清除一些数据，这是本有的预测不到的情况。
因此，从电网的整体上对存储在不同系统上的数据进行统一的管理，并提供数据查询和索引的功能。综合分析，数据存储对比见表1。
2.2电网中大数据实时分析技术特点
2.2.1智能电网中数据的类型较多
智能电网大数据不仅种类繁多且分布广泛，还包括各类结构化、非结构化数据以及半结构化数据，其中有时间序列数据、实时数据、文本和多媒体数据、历史数据等，而且电网中各类数据的处理和查询的频度和性能也有大不相同的要求。比如物理网中绝缘放电的数据的采集样本的速度接近于几百 kHz甚至 GHz，而电力设备监测数据中的状态的油色谱数据采集一次样本的时间需要0.5 h。
2.2.2 智能电网的空间分散性
智能电网中运行的数据主要是由分散在智能电网中的各个地点的物理装置监控组成，包括在每个家庭的智能电表，还有各个等级的变电站和变压器中的各种监控设备。因此，智能电网的大数据的关键技术是在这些系统和装置中如何通过采取分布分层技术快速有效地处理和存储大量数据。
2.2.3智能电网的实时交互性
通常情况下流数据都是由SCADA 数据、PMU 数据、智能电表数据等组成，也就是智能电网设备中的监测运行的数据，即智能电网中大数据的实时交互性技术，也是工作调度员进在线上进行重要决定的重要依据。也可以通过这些智能电网大数据实时地在线准确的了解智能电 网的交互运行状态。
3 全景实时分析关键技术问题
3.1 全景实时分析的动态平衡调度技术
目前智能电网系统的平衡调度技术当前主要是采用数据采集与监视控制（SCADA，supervisory control and data acquisition）系统，为实现电网设备的控制与测量、参数调节、各类信号报警、以及大量数据的采集等各项功能。电力系统作为的智能电网一个整体部分，整个电力设备系统内的电源的使用与传送、生产的总量都在时时刻刻的变化着。但是在面对大量的在线数据排布实时信息时，以往使用的调度系统的合理性以及实时性都可能不足以支撑使用要求，导致无法成功的完成智能电网的精确化调度。在智能电网大数据的状态下，全景实时分析的形势如图 2 所示。
3.2智能电网大数据的安全性及可靠性
由于目前智能电网大规模的不断扩大同时间歇性的接入能源，智能电网系统设备开始面临着特别严重安全性及可靠性的问题。通常而言，对于全景电网大数据的分析监测起来工作量会很大，所以电网设备系统信息的覆盖采集系统越来越充分，运算量大、采集点少的特点成为传统电力系统的独特分析技术具有安全性及可靠性，而且大数据的電网设备能够监控并得到各个系统的信息全景数据，导致几千阶的微分方程需要求解，满足不了实时性的要求。
除此之外，由于能源分布大规模间歇性的接入，导致对大电网的冲击轻而易举，因此对电网系统的稳定性也就会有越来越高的要求。即通过电网大数据从整体的角度来实行动态实时分析系统的安全，是智能电网大数据实时分析面临的一项非常重要的工作。
4结束语
本文主要阐述了智能电网大数据全景实时分析的关键技术，并探讨电网全景实时分析的技术体系。通过可行性方案把电力大数据的真实性以及准确性作为智能电网大数据的一个研究维度。以此来推动全景实时分析电网中的大数据在整个电力系统中的研究和发展。
参考文献：
[1]宋 亚 奇，周 国 亮，朱 永 利. 智能电网大数据处理技术现状与 挑战[J]. 电网技术，2013，37（4）：927-935.
[2]刘树仁，宋亚奇，朱永利，等.基于 Hadoop 的智能电网状态监 测数据存储研究[J]. 计算机科学，2013，40（1）：
[3]闫湖，周薇，李立新，等. 基于分布式键值对存储技术的 EMS 数据库平台[J]. 电网技术，2012，36（9）：162-167.
[4]金海，廖小飞，叶晨成. 内存计算：大数据处理的机遇与挑战[J]. 中国计算机学会通讯，2013，9（4）：40-46
[5]李国杰，程学旗.大数据研究：未来科技及经济社会 发展的重大战略领域——大数据的研究现状与科学思考[J].中国科学院院刊，2012，27（6）：647-657