论文部分内容阅读
摘要：随着科学与电力技术的推动与发展，人们对于电力资源的需求越来越高，娱乐、教育、交通等各行各业对电力需求高，智能电网作为新型电力技术手段，同时也要保证在经济、安全的同时，降低输电环节的风险。在电力的运输过程中系统将产生海量的电力数据。随着大数据技术的兴起，这些电力数据将被应用于电力系统的数据挖掘分析，以便更好的应对智能电网在现实中遇到的各种难题。本文主要对现智能电网建设的技术现状与技术挑战进行试述。
关键词：智能电网、大数据处理技术、现状、挑战
随着科技的进步与发展，如今每家每户都安装上了智能电表，作为智能电网中高效、便捷、安全管理终端，智能电表为电力公司与用户建立起信息传输的桥梁，而在智能电表的实际运用过程中将不断的产生TB级甚至更多的离散大数据，这些数据来源不统一，分布较散，来自不同部门的数据又具有一定的相似性，可聚类，同时也能直观的反映出目前城市的社会经济水平，说到底，智慧电力与每一位城市用户生活息息相关，并且具有内在联系。
1.智能电网大数据处理技术现状
1.1 电网中的大数据
大数据技术的兴起带领着传统行业迈上了智能化的步伐，如今，大數据技术已被应用于零售、传统媒体、交通、安防等各行各业。在此基础上，智能电网大数据技术得到了广泛的应用，其中智能电表作为智能电网中的数据指导，依靠着先进的传感技术与实时在线检测技术走进家家户户，方便电力数据收集，智能电网中的大数据具备以下几项特点：
分布广泛且数据量大。智能电网大数据处理技术面对的首要问题就是数据规模庞大，随着我国供电网络的持续发展，各个网络分配节点与负荷节点与日俱增，同时供电网络与各负荷节点又相互影响制约着，这表明整个电网的数据量正在大规模增长，与之对应的，数据处理与存储的工作量也在加大。
类型众多且处理速度快。智能电网数据类型结构复杂且类型繁多，涵盖了结构化、非结构化与半结构化数据，且不同类型的数据，采样的频率和要求的性能指标也是不一样的。例如，设备终端的运行状态检测数据中的绝缘放电数据，其查询频率要大于上百kHz或者GHz，而普通的数据采样频率只需半小时一次即可。速度快表现在智能电网的对数据的处理要求必须要达到毫秒级的响应，超短时间内完成对海量数据的分析能力，并且提供决策辅助。这与传统的数据挖掘分析不同，对实时性、在线的数据流分析要求较高。
1.2 数据传输与存储技术
在进行大数据分析前，数据如何传输进入存储介质中是一个重要的问题，且存储后的数据需完整准确。针对要处理的智能电网大数据进行分布式存储，并对数据文件系统的命名空间进行管理，主要涉及三大块，分别是数据源、存储地址、存储空间。如图 1所示：
图 1智能电网电数据的存储
首先源数据进行预处理，简单地说就是筛选并归类，分为结构化数据与非结构化数据，将不同类型、不同格式的数据进行标准化操作，将规范化的元数据以XML文档格式存储到Master节点。之后，利用VM-Ware等虚拟化技术对具有多源异构特点的数据进行自动过滤，最终以负载均衡的方式对相关的数据存储资源进行动态分配，对资源调度进行统一管理，内部优化资源的管控，外部处理需求的响应。
针对元数据则采用中间件对各类元数据进行分类，并重新整合，在管理效果方面，对元数据资源存储库进行了配置更新，新增“增、删、查、关联”等多个从属模块，使得系统运行更加稳定，在智能电网中可采用No SQL技术进行分布式的数据存储，进而缓解了电网中海量数据的存储压力。
1.3 云计算技术的应用
近年来，云计算已经成为各大互联网公司研究的热点对象，属于分布式计算的一种，通过利用网络云将庞大的数据计算工程分割成数以万计的轻量级计算，接着通过服务器集群对分割后的计算程序进行处理并将结果返回给客户。现阶段来说，云计算又不单单是简单的分布式计算了，它已然结合了分布式、并行计算、虚拟化等混合技术，达到强大的网络服务的目的。
1.3.1 云计算的集成管理技术
在使用该项技术的前要先对庞大且复杂的电网数据做好数据预处理的事宜，主要工作包括数据过滤、数据清洗、数据格式转化、数据去噪等操作，即利用云计算中的集成管理技术对数据进行抽取，并对所有数据信息进行融合、聚类等操作，待资源存储库中的数据全部处理完成后，统一对处理后的数据结果进行保存。使用此技术的同时，应注意在对数据进行统一融合前需要对原始数据进行预处理，保证数据的高质量、完整性、准确性，无其他问题后可进行下一步处理操作。
1.3.2 云计算中的电网数据分析与处理
在利用云计算技术对电网大数据进行分析时，需要转换成特定的格式，变成能够有效地被云计算表达的消息，而这些信息将被用来供领导审阅以便做出上层决策，有些信息甚至可以反映电网在运行过程中存在的潜在的问题，如果此类信息能够被表示出来，则工作人员可迅速做出应对。此项技术就是要在离散的、随机的、大量的电网数据中，分析得出具备一定规律性的内容，这些内容往往与电网运行的状态、模式有着密切的关系，工作人员研读这些消息表达式，可有效地开展电网管理工作。目前，在应用云计算处理电网大数据的同时，需要加强对消息转化过程所用到的数据挖掘方法，包括聚类，关联性分析法则等，进而对现有的常规方法进行合理的完善，在保证节约企业成本的前提下，开展云计算的大数据处理技术的研究。 1.3.3 云计算电网大数据体系结构
基于云计算的电力大数据架构如图 2所示，架构主要包含五大模块，如下：
HDFS模块。作为整个架构的核心部分，此模块用于对智能电网大数据进行持久化的存储它能够在集群中可靠的存储大量的数据文件，所有存储于HDFS的文件均已块形式存在，每个数据块都会配有3个副本文件，当其中一个副本出现故障时，系统将会自动访问另外的块，以此来保持负载均衡。
Hadoop模块。它是开源的并行编程框架，可以把单独的应用程序划分成分多并行计算指令，在它上面可以运行庞大的计算指令，通过键值对应的形式先产生一组中间结果后，再对键值相同的的組别进行处理，最后将结果写入HDFS模块。
Hive模块。作为Hadoop的数据仓库，此模块用来对大数据进行逻辑操作，既然是数据库系统，它可以使用类似于SQL的语法来进行数据库关联性操作，并将操作结果存储至HDFS模块中。
任务管理模块。任务管理模块主要分为监控与运行调度，前者主要用于监控整个云平台的运行状态，后者主要根据系统管理员设定生效的指挥调度策略对数据分析任务进行统一管理与调度，并解析各个任务之间的作用关系和影响。
开发工具。此模块主要用于形成人机交互界面，为管理员提供便捷化的管理配置。
2.智能电网大数据处理技术的挑战
2.1 数据实时性
在整个智能电网的中，庞大的数据规模导致了数据传输、存储与分析的时间效率低下，不巧的是有些数据对实时性的需求相对较大，且采样的频率较高，在现有的云计算或者大数据平台中难以实现。因此，数据的处理效率亟需解决。
2.2 大数据可视化
做好了数据收集、预处理、分析、存储，除了能为上层领导提供必要的决策辅助外，更应该友好的展现在用户眼前，使得用户能够更加直观的感受到数据处理后的样貌，可以看到多元化数据表示的信息，实现数据以图表的形式于用户的交互。
2.3 数据源异构
随着智能电网的快速发展，各类数据源的产生必将与日俱增，而且各类源数据的格式存在较大的差别，云平台需要及时的对各类源数据进行采集，并且必定要处理不同数据类型、不同数据格式或者数据结构所带来的问题。
结束语
本文主要叙述了现阶段大数据处理技术在智能电网中的应用现状以及后期应该解决的问题。由此可见，智能电网依靠云计算/大数据处理技术去解决当前海量数据的问题已成为必然，我们需要将大数据处理技术聚焦于智能电网中，使得其在电网中能够发挥更好的作用。
参考文献
[1]张硕.智能电网大数据处理技术现状与挑战[J].环球市场，2019，（18）：139
[2]白云飞.智能电网领域的大数据应用[J].集成电路应用，2019，36（9）：40-41
[3]胡鹏，郭丽莹.智能电网大数据处理技术现状[J].数码设计（上），2018，（9）：106
[4]程宇航，王远，刘芳峤.智能电网大数据处理技术现状与挑战[J].百科论坛电子杂志，2019，（2）：450
关键词：智能电网、大数据处理技术、现状、挑战
随着科技的进步与发展，如今每家每户都安装上了智能电表，作为智能电网中高效、便捷、安全管理终端，智能电表为电力公司与用户建立起信息传输的桥梁，而在智能电表的实际运用过程中将不断的产生TB级甚至更多的离散大数据，这些数据来源不统一，分布较散，来自不同部门的数据又具有一定的相似性，可聚类，同时也能直观的反映出目前城市的社会经济水平，说到底，智慧电力与每一位城市用户生活息息相关，并且具有内在联系。
1.智能电网大数据处理技术现状
1.1 电网中的大数据
大数据技术的兴起带领着传统行业迈上了智能化的步伐，如今，大數据技术已被应用于零售、传统媒体、交通、安防等各行各业。在此基础上，智能电网大数据技术得到了广泛的应用，其中智能电表作为智能电网中的数据指导，依靠着先进的传感技术与实时在线检测技术走进家家户户，方便电力数据收集，智能电网中的大数据具备以下几项特点：
分布广泛且数据量大。智能电网大数据处理技术面对的首要问题就是数据规模庞大，随着我国供电网络的持续发展，各个网络分配节点与负荷节点与日俱增，同时供电网络与各负荷节点又相互影响制约着，这表明整个电网的数据量正在大规模增长，与之对应的，数据处理与存储的工作量也在加大。
类型众多且处理速度快。智能电网数据类型结构复杂且类型繁多，涵盖了结构化、非结构化与半结构化数据，且不同类型的数据，采样的频率和要求的性能指标也是不一样的。例如，设备终端的运行状态检测数据中的绝缘放电数据，其查询频率要大于上百kHz或者GHz，而普通的数据采样频率只需半小时一次即可。速度快表现在智能电网的对数据的处理要求必须要达到毫秒级的响应，超短时间内完成对海量数据的分析能力，并且提供决策辅助。这与传统的数据挖掘分析不同，对实时性、在线的数据流分析要求较高。
1.2 数据传输与存储技术
在进行大数据分析前，数据如何传输进入存储介质中是一个重要的问题，且存储后的数据需完整准确。针对要处理的智能电网大数据进行分布式存储，并对数据文件系统的命名空间进行管理，主要涉及三大块，分别是数据源、存储地址、存储空间。如图 1所示：
图 1智能电网电数据的存储
首先源数据进行预处理，简单地说就是筛选并归类，分为结构化数据与非结构化数据，将不同类型、不同格式的数据进行标准化操作，将规范化的元数据以XML文档格式存储到Master节点。之后，利用VM-Ware等虚拟化技术对具有多源异构特点的数据进行自动过滤，最终以负载均衡的方式对相关的数据存储资源进行动态分配，对资源调度进行统一管理，内部优化资源的管控，外部处理需求的响应。
针对元数据则采用中间件对各类元数据进行分类，并重新整合，在管理效果方面，对元数据资源存储库进行了配置更新，新增“增、删、查、关联”等多个从属模块，使得系统运行更加稳定，在智能电网中可采用No SQL技术进行分布式的数据存储，进而缓解了电网中海量数据的存储压力。
1.3 云计算技术的应用
近年来，云计算已经成为各大互联网公司研究的热点对象，属于分布式计算的一种，通过利用网络云将庞大的数据计算工程分割成数以万计的轻量级计算，接着通过服务器集群对分割后的计算程序进行处理并将结果返回给客户。现阶段来说，云计算又不单单是简单的分布式计算了，它已然结合了分布式、并行计算、虚拟化等混合技术，达到强大的网络服务的目的。
1.3.1 云计算的集成管理技术
在使用该项技术的前要先对庞大且复杂的电网数据做好数据预处理的事宜，主要工作包括数据过滤、数据清洗、数据格式转化、数据去噪等操作，即利用云计算中的集成管理技术对数据进行抽取，并对所有数据信息进行融合、聚类等操作，待资源存储库中的数据全部处理完成后，统一对处理后的数据结果进行保存。使用此技术的同时，应注意在对数据进行统一融合前需要对原始数据进行预处理，保证数据的高质量、完整性、准确性，无其他问题后可进行下一步处理操作。
1.3.2 云计算中的电网数据分析与处理
在利用云计算技术对电网大数据进行分析时，需要转换成特定的格式，变成能够有效地被云计算表达的消息，而这些信息将被用来供领导审阅以便做出上层决策，有些信息甚至可以反映电网在运行过程中存在的潜在的问题，如果此类信息能够被表示出来，则工作人员可迅速做出应对。此项技术就是要在离散的、随机的、大量的电网数据中，分析得出具备一定规律性的内容，这些内容往往与电网运行的状态、模式有着密切的关系，工作人员研读这些消息表达式，可有效地开展电网管理工作。目前，在应用云计算处理电网大数据的同时，需要加强对消息转化过程所用到的数据挖掘方法，包括聚类，关联性分析法则等，进而对现有的常规方法进行合理的完善，在保证节约企业成本的前提下，开展云计算的大数据处理技术的研究。 1.3.3 云计算电网大数据体系结构
基于云计算的电力大数据架构如图 2所示，架构主要包含五大模块，如下：
HDFS模块。作为整个架构的核心部分，此模块用于对智能电网大数据进行持久化的存储它能够在集群中可靠的存储大量的数据文件，所有存储于HDFS的文件均已块形式存在，每个数据块都会配有3个副本文件，当其中一个副本出现故障时，系统将会自动访问另外的块，以此来保持负载均衡。
Hadoop模块。它是开源的并行编程框架，可以把单独的应用程序划分成分多并行计算指令，在它上面可以运行庞大的计算指令，通过键值对应的形式先产生一组中间结果后，再对键值相同的的組别进行处理，最后将结果写入HDFS模块。
Hive模块。作为Hadoop的数据仓库，此模块用来对大数据进行逻辑操作，既然是数据库系统，它可以使用类似于SQL的语法来进行数据库关联性操作，并将操作结果存储至HDFS模块中。
任务管理模块。任务管理模块主要分为监控与运行调度，前者主要用于监控整个云平台的运行状态，后者主要根据系统管理员设定生效的指挥调度策略对数据分析任务进行统一管理与调度，并解析各个任务之间的作用关系和影响。
开发工具。此模块主要用于形成人机交互界面，为管理员提供便捷化的管理配置。
2.智能电网大数据处理技术的挑战
2.1 数据实时性
在整个智能电网的中，庞大的数据规模导致了数据传输、存储与分析的时间效率低下，不巧的是有些数据对实时性的需求相对较大，且采样的频率较高，在现有的云计算或者大数据平台中难以实现。因此，数据的处理效率亟需解决。
2.2 大数据可视化
做好了数据收集、预处理、分析、存储，除了能为上层领导提供必要的决策辅助外，更应该友好的展现在用户眼前，使得用户能够更加直观的感受到数据处理后的样貌，可以看到多元化数据表示的信息，实现数据以图表的形式于用户的交互。
2.3 数据源异构
随着智能电网的快速发展，各类数据源的产生必将与日俱增，而且各类源数据的格式存在较大的差别，云平台需要及时的对各类源数据进行采集，并且必定要处理不同数据类型、不同数据格式或者数据结构所带来的问题。
结束语
本文主要叙述了现阶段大数据处理技术在智能电网中的应用现状以及后期应该解决的问题。由此可见，智能电网依靠云计算/大数据处理技术去解决当前海量数据的问题已成为必然，我们需要将大数据处理技术聚焦于智能电网中，使得其在电网中能够发挥更好的作用。
参考文献
[1]张硕.智能电网大数据处理技术现状与挑战[J].环球市场，2019，（18）：139
[2]白云飞.智能电网领域的大数据应用[J].集成电路应用，2019，36（9）：40-41
[3]胡鹏，郭丽莹.智能电网大数据处理技术现状[J].数码设计（上），2018，（9）：106
[4]程宇航，王远，刘芳峤.智能电网大数据处理技术现状与挑战[J].百科论坛电子杂志，2019，（2）：450