论文部分内容阅读
摘要：为了促进大数据技术在泛在物联网电力营销中的应用，本文结合今年来大数据领域先进科技成果，对电力营销领域如何进行有价值的大数据处理做了有益探讨，希望能为电力行业智能化电网建设略尽绵力。
关键词：泛在物联网;电力营销;大数据;分布式存储;MapReduce组件
0前言
“物联网”概念是继互联网之后又一新兴的科技概念，泛在电力物联网建设已经成为国家电网新的战略方向。值得注意的是，泛在物联网中流动的信息具有不可低估的价值，结合大数据技术对这些信息进行存储、分析和挖掘能够进一步促进电网的智能化建设、优化电力资源配置、提升电力企业核心竞争力。
1泛在物联网在电力营销中的应用概述
现代物联网是在传感技术与互联网技术的支持下建立起来的，传统互联网停留在考虑人与人之间的联通上，忽略了所有与物联通的可能，而物联网通过传感技术将物体接入网络，实现了人与人、人与物、物与物之间的联通。泛在物联网，顾名思义就是广泛存在的物联网络，能够使电网基础设施、人员及环境实现识别、感知、互联与控制的网络体系。在电力营销中，用户可以通过泛在物联网实现信息的快速存储、搜索和读取，享受到更加高效、精准的服务。除此之外，泛在电力物联网对信息安全也相当重视，设置了身份验证、身份识别等环节，不同等级的工作人员的访问权限也不尽相同。
2基于泛在物联网的电力营销大数据处理方法
2.1基于泛在物联网的电力营销信息支持
2.1.1分布式存储HDFS原理分析
电力营销的范围广泛、业务类型多样，譬如缴费、信息查询、电力维修、电力售卖等，方方面面都涉及到庞大的数据流动。而大数据技术具有“4V”的特点，能够大量、高速、多样、有价值地对数据进行处理，有效的数据处理一定是基于充分的信息支持的，因此，要着重考虑到信息储存问题，传统的网络存储系统主要有直连存储DAS和集中存储（包含SAN存储区域网和NAS附网存储），DAS直连存储的特点是存储和计算直连，扩展性和灵活性较差;而集中存储方式设备类型丰富，通过外部FC/IP网络互联，具有一定的扩展性。其缺点是受控制器能力限制，扩展能力有限，且集中存储设备到一定的使用期限后，需要进行数据迁移，费时费力。而实际上，目前大数据软件平台Hadoop就给电力营销大数据分析提供了不错的思路，分布式存储是其中一个重要组件。分布式存储HDFS实际上是一种独特的系统架构，这个架构是由一系列通过网络通信、为了某個特定目标而协同工作的计算机节点组成的，可以利用更多的机器、完成更多的数据处理。如下图，HDFS由Client、Namenode和Datenode三个组建构成，Client首先将文件分割成组块，然后向Namenode组件发送数据请求，Client收到Namenode返回的Datenode组件的信息后，将文件分割并写入到Datenode节点。待到数据发送完毕，Client会收到节点的发送完毕消息，并向Namenode发送数据发送结束的信息，完成整个信息写入[1]。
2.1.2电力营销数据HDFS存储应用
基于以上原理，电力用户就可以通过用户采集系统、传感器、线上客服中心、微信平台、国网营销系统等渠道将信息存入HDFS系统，名称节点会对用户提交的信息进行分块和创建副本工作，然后按照既定的存储程序分配到不同的数据节点上，完成存储。除此之外，这种分块存储的方案还有利于数据读取，客户端在发送读取请求之后，可以从名称节点获取数据块位置列表，然后HDFS就可以通过应用程序接口API确定客户端所属机架的身份识别号ID，找到与客户端所属同一机架的数据节点，让客户减少等待时间，优先读取该节点。
还可以结合操作日志文件EditLog和元数据镜像文件FsImage对用户数据进行更新。HDSF系统运行过程中，主节点会将FsImage从底层加载出来，与EditLog中所存储的操作记录如新建、删除等操作合并，生成新的数据元。同时，为解决EditLog过大，原节点无法承载的问题，还可以建立第二名称节点，从而保证操作记录的正确性。综上，利用HDFS系统进行电网营销数据存储，不仅能够实现大规模数据存储和快速读写，还能够对用户数据进行备份和更新，这些都为电力营销所用数据的准确性、实时性、安全性和完整性提供了有效保障。
2.2基于泛在物联网的电力营销数据处理
2.2.1分布式并行处理MapReduce原理探究
电力营销涉及的数据类型多样，比如用户信息、电力企业信息、变配电情况、售电量、交易电价等信息，对这些变化剧烈、类型多样的信息进行有效处理，可以总结和发现售电规律，更加合理地对电力进行资源配置。在实际操作过程中，不同的算法模型适用于不同的实际需要，如流处理技术主要适用于数据实时处理和快速响应。本文则以分布式处理方法的MapReduce组件为例对电力营销数据处理进行分析。MapReduce采用集群的方式对数据进行处理，即将待处理数据切片，每一个分片都由一个单独运行的map负责，多个map协作完成整个大数据处理，在这个过程中，任何一个map出现问题都不会影响其他节点，整个处理过程更加高效和安全。在电力营销数据处理时，需要先输入数据进行逻辑分片，然后通过读取器读取HDFS中的数据元、输出键值对，经由map程序对数据进行处理后输出大量键值对，并对这些键值对加以分类、排序、合并，分发至不同的reduce函数，reduce任务根据不同函数完成数据分析后输出键值对并放入HDFS中进行存储。
2.2.2分布式并行处理MapReduce数据挖掘
引入MapReduce对电力营销数据进行深度挖掘和处理可以在一定程度上实现电路损耗预测、电负荷情况判断、用户需求挖掘等工作，提升泛在电力物联网的智能化水平。以电负荷情况为例，电力企业如果对用电负荷没有一个很好的把握，供电超过生产所需总功率，则电器损坏，造成损失;若供电功率不够，又会降低设备生产效率，影响生产进程。深入挖掘企业用电峰值、谷值、平值，就能对电力配送进行有益调整和控制，提高电力利用率。因此，可以在运行MapReduce算法时，并行K-means和FP-growth算法设计，以挖掘目标项目之间的关联关系。其中，K-means是为了对数据进行离散化处理[2]，对属性值信息进行剔除，对属性内涵信息进行聚类，通俗地说，这是一个数据预处理过程。在进行FP-growth时，要构建合理的FP-tree，首先对数据进行扫描得到频繁项集合F，并根据既定的supmin对F进行筛选得到列表L，再根据L对元数据中的集中项进行排序，创建根节点，最终形成FP-tree。这种算法的应用有助于发掘项目之间的关联度，比如用电量与季节、时间等的关联，从而促进电力精准营销。
2.3基于泛在物联网的电力营销数据可视化
可视化是基于泛在物联网的电力营销大数据处理的核心问题，它可以把离散程度较高的数据聚集起来，让底层规律浮出水面，是达成营销目的的有力保障。在数据可视化的基础上对客户提供差异化的营销服务，以用户需求、用电特点等信息为依据，将同质客户划分在一个集合力，对不同集合提供不同的服务套餐，实现电力营销经济创收。以本文中的Hadoop平台为例，数据在聚合、处理之后进入HIve数据仓库，工作人员可以根据实际需要在配备的模型库中对图形要素进行选择和重组，最终形成能够满足个性化需求的可视化模型建构[3]。电力营销行业从业人员应当主动学习可视化技术，对图形化、表格化的可视材料进行深入分析，总结营销规律。
结论
综上所述，基于泛在物联网对电力营销进行大数据处理能够准确把握客户需求、促进泛在电力物联网智能化发展。电力企业应当积极探索大数据处理方法，应用数据存储、读取、处理、挖掘的新技术、新算法。在大数据可视化的基础上，保障数据安全性、提供差异化营销服务、支持企业营销决策，开拓售电新市场。
参考文献
[1]王凌晖，解云月，周美华.Hadoop分布式存储架构的性能分析[J].现代电子技术，2018，41（18）：92-95.
[2]何壮壮.基于MapReduce的关联规则技术在电力营销大数据中的应用[J].山西电力，2020（01）：45-49.
[3]葛一统，向锋铭，余桂华.大数据背景下的电力营销信息化建设研究[J].华电技术，2021，43（01）：76-82.
关键词：泛在物联网;电力营销;大数据;分布式存储;MapReduce组件
0前言
“物联网”概念是继互联网之后又一新兴的科技概念，泛在电力物联网建设已经成为国家电网新的战略方向。值得注意的是，泛在物联网中流动的信息具有不可低估的价值，结合大数据技术对这些信息进行存储、分析和挖掘能够进一步促进电网的智能化建设、优化电力资源配置、提升电力企业核心竞争力。
1泛在物联网在电力营销中的应用概述
现代物联网是在传感技术与互联网技术的支持下建立起来的，传统互联网停留在考虑人与人之间的联通上，忽略了所有与物联通的可能，而物联网通过传感技术将物体接入网络，实现了人与人、人与物、物与物之间的联通。泛在物联网，顾名思义就是广泛存在的物联网络，能够使电网基础设施、人员及环境实现识别、感知、互联与控制的网络体系。在电力营销中，用户可以通过泛在物联网实现信息的快速存储、搜索和读取，享受到更加高效、精准的服务。除此之外，泛在电力物联网对信息安全也相当重视，设置了身份验证、身份识别等环节，不同等级的工作人员的访问权限也不尽相同。
2基于泛在物联网的电力营销大数据处理方法
2.1基于泛在物联网的电力营销信息支持
2.1.1分布式存储HDFS原理分析
电力营销的范围广泛、业务类型多样，譬如缴费、信息查询、电力维修、电力售卖等，方方面面都涉及到庞大的数据流动。而大数据技术具有“4V”的特点，能够大量、高速、多样、有价值地对数据进行处理，有效的数据处理一定是基于充分的信息支持的，因此，要着重考虑到信息储存问题，传统的网络存储系统主要有直连存储DAS和集中存储（包含SAN存储区域网和NAS附网存储），DAS直连存储的特点是存储和计算直连，扩展性和灵活性较差;而集中存储方式设备类型丰富，通过外部FC/IP网络互联，具有一定的扩展性。其缺点是受控制器能力限制，扩展能力有限，且集中存储设备到一定的使用期限后，需要进行数据迁移，费时费力。而实际上，目前大数据软件平台Hadoop就给电力营销大数据分析提供了不错的思路，分布式存储是其中一个重要组件。分布式存储HDFS实际上是一种独特的系统架构，这个架构是由一系列通过网络通信、为了某個特定目标而协同工作的计算机节点组成的，可以利用更多的机器、完成更多的数据处理。如下图，HDFS由Client、Namenode和Datenode三个组建构成，Client首先将文件分割成组块，然后向Namenode组件发送数据请求，Client收到Namenode返回的Datenode组件的信息后，将文件分割并写入到Datenode节点。待到数据发送完毕，Client会收到节点的发送完毕消息，并向Namenode发送数据发送结束的信息，完成整个信息写入[1]。
2.1.2电力营销数据HDFS存储应用
基于以上原理，电力用户就可以通过用户采集系统、传感器、线上客服中心、微信平台、国网营销系统等渠道将信息存入HDFS系统，名称节点会对用户提交的信息进行分块和创建副本工作，然后按照既定的存储程序分配到不同的数据节点上，完成存储。除此之外，这种分块存储的方案还有利于数据读取，客户端在发送读取请求之后，可以从名称节点获取数据块位置列表，然后HDFS就可以通过应用程序接口API确定客户端所属机架的身份识别号ID，找到与客户端所属同一机架的数据节点，让客户减少等待时间，优先读取该节点。
还可以结合操作日志文件EditLog和元数据镜像文件FsImage对用户数据进行更新。HDSF系统运行过程中，主节点会将FsImage从底层加载出来，与EditLog中所存储的操作记录如新建、删除等操作合并，生成新的数据元。同时，为解决EditLog过大，原节点无法承载的问题，还可以建立第二名称节点，从而保证操作记录的正确性。综上，利用HDFS系统进行电网营销数据存储，不仅能够实现大规模数据存储和快速读写，还能够对用户数据进行备份和更新，这些都为电力营销所用数据的准确性、实时性、安全性和完整性提供了有效保障。
2.2基于泛在物联网的电力营销数据处理
2.2.1分布式并行处理MapReduce原理探究
电力营销涉及的数据类型多样，比如用户信息、电力企业信息、变配电情况、售电量、交易电价等信息，对这些变化剧烈、类型多样的信息进行有效处理，可以总结和发现售电规律，更加合理地对电力进行资源配置。在实际操作过程中，不同的算法模型适用于不同的实际需要，如流处理技术主要适用于数据实时处理和快速响应。本文则以分布式处理方法的MapReduce组件为例对电力营销数据处理进行分析。MapReduce采用集群的方式对数据进行处理，即将待处理数据切片，每一个分片都由一个单独运行的map负责，多个map协作完成整个大数据处理，在这个过程中，任何一个map出现问题都不会影响其他节点，整个处理过程更加高效和安全。在电力营销数据处理时，需要先输入数据进行逻辑分片，然后通过读取器读取HDFS中的数据元、输出键值对，经由map程序对数据进行处理后输出大量键值对，并对这些键值对加以分类、排序、合并，分发至不同的reduce函数，reduce任务根据不同函数完成数据分析后输出键值对并放入HDFS中进行存储。
2.2.2分布式并行处理MapReduce数据挖掘
引入MapReduce对电力营销数据进行深度挖掘和处理可以在一定程度上实现电路损耗预测、电负荷情况判断、用户需求挖掘等工作，提升泛在电力物联网的智能化水平。以电负荷情况为例，电力企业如果对用电负荷没有一个很好的把握，供电超过生产所需总功率，则电器损坏，造成损失;若供电功率不够，又会降低设备生产效率，影响生产进程。深入挖掘企业用电峰值、谷值、平值，就能对电力配送进行有益调整和控制，提高电力利用率。因此，可以在运行MapReduce算法时，并行K-means和FP-growth算法设计，以挖掘目标项目之间的关联关系。其中，K-means是为了对数据进行离散化处理[2]，对属性值信息进行剔除，对属性内涵信息进行聚类，通俗地说，这是一个数据预处理过程。在进行FP-growth时，要构建合理的FP-tree，首先对数据进行扫描得到频繁项集合F，并根据既定的supmin对F进行筛选得到列表L，再根据L对元数据中的集中项进行排序，创建根节点，最终形成FP-tree。这种算法的应用有助于发掘项目之间的关联度，比如用电量与季节、时间等的关联，从而促进电力精准营销。
2.3基于泛在物联网的电力营销数据可视化
可视化是基于泛在物联网的电力营销大数据处理的核心问题，它可以把离散程度较高的数据聚集起来，让底层规律浮出水面，是达成营销目的的有力保障。在数据可视化的基础上对客户提供差异化的营销服务，以用户需求、用电特点等信息为依据，将同质客户划分在一个集合力，对不同集合提供不同的服务套餐，实现电力营销经济创收。以本文中的Hadoop平台为例，数据在聚合、处理之后进入HIve数据仓库，工作人员可以根据实际需要在配备的模型库中对图形要素进行选择和重组，最终形成能够满足个性化需求的可视化模型建构[3]。电力营销行业从业人员应当主动学习可视化技术，对图形化、表格化的可视材料进行深入分析，总结营销规律。
结论
综上所述，基于泛在物联网对电力营销进行大数据处理能够准确把握客户需求、促进泛在电力物联网智能化发展。电力企业应当积极探索大数据处理方法，应用数据存储、读取、处理、挖掘的新技术、新算法。在大数据可视化的基础上，保障数据安全性、提供差异化营销服务、支持企业营销决策，开拓售电新市场。
参考文献
[1]王凌晖，解云月，周美华.Hadoop分布式存储架构的性能分析[J].现代电子技术，2018，41（18）：92-95.
[2]何壮壮.基于MapReduce的关联规则技术在电力营销大数据中的应用[J].山西电力，2020（01）：45-49.
[3]葛一统，向锋铭，余桂华.大数据背景下的电力营销信息化建设研究[J].华电技术，2021，43（01）：76-82.