论文部分内容阅读
摘要：本文简述了大数据的来源和特点，简要分析了大数据的相关技术，阐述了大数据技术在电力行业的典型应用，论述了大数据技术对电力行业进一步发展的重要性。
关键词：智能电网;电力系统;大数据技术;电力行业
1电力大数据技术分析
1.1云计算技术
Google是处理大数据技术最典型的公司，2006年首次提出云计算的概念。云计算是网络计算[9]，是一种基于互联网的计算方法。它可以根据需要向计算机终端和相关设备提供信息，并使用服务提供商提供的计算机基础设施进行计算和资源。具体来说，就是通过网络云将海量数据处理成不同类型的小程序，由服务器系统对小程序进行分析，并将结果反馈给用户[10]。云计算的核心内容是利用互联网在网站上为用户提供云计算、数据存储等服务，让用户可以利用网络进行数据处理。
云计算技术是大数据分析和处理的基础，也是大数据应用的基础平台。云计算是基于先进的互联网技术，其实现形式众多，主要通过以下几种形式：服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）。对于云计算技术来说，海量数据存储和数据并行处理是关键内容。具体技术有分布式文件系统和MapReduce技术，这两种技术都是Google提出的。
DFS系统是分布式文件系统，主要是指文件系统管理的资源不与本地节点直接相连，而是利用网络与节点（可以简单理解为计算机）相连;或者是由几个不同的逻辑磁盘分区或卷标组合而成的完整的分层文件系统。分布式文件系统可以为系统提供高吞吐量的数据访问，适合大数据处理。DFS的一个开源实现是HDFS，它是Hadoop架构的基础，也支持以流的形式访问文件系统中的数据。
MapReduce是Google为大规模数据并行计算提出的编程模型，便于在分布式系统上运行程序。映射函数用于将一组键值对映射到一组新的键值对，并指定了一个并发的减少函数来确保所有映射的键值对共享同一个键组。Hadoop提供了MapReduce的开源实现，也是目前应用最广泛的大数据技术。为了实现MapReduce编程模型的高效应用，诞生了许多更高级的查询语言，如Hive。这些先进的查询语言使得模型更适合数据的并行处理，促进了大数据技术的发展。
1.2数据挖掘和机器学习
在处理和分析大数据的过程中，数据挖掘和机器学习起着非常重要的作用。从大量数据中挖掘隐藏的、以前未知的、潜在有价值的信息，为相关决策提供参考。在电力大数据的分析中，主要分为三类，即关联分析、聚类方法和分类方法。
关联分析的研究始于Apriori算法，它是指在相关数据载体中的项目集或对象集之间寻找频繁模式、关联、相关性或因果结构。挖掘频繁项集后，需要挖掘频繁项集中大于最小置信度阈值的关联规则。将频繁项集分为前后两部分，然后计算规则的前后部分的置信度。如果大于最小置信度阈值，则为强关联规则。广泛使用的关联分析方法有Apriori算法和FP-growth算法。
聚类方法是数据挖掘中最早使用的算法之一，也广泛应用于各种数据库中。将物理或抽象对象的集合划分为由相似对象组成的多个类的过程称为聚类。传统的聚类方法包括划分法、层次法、基于密度法和基于模型法。聚类分析内容丰富，包括系统聚类法、有序样本聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预测法等。传统聚类成功地解决了低维数据的聚类问题，高维聚类分析是当今的研究热点。
分类算法用于提取描述重要数据类的模型，按照一定的标准标注对象，然后根据标注进行分类。传统的分类算法由于自身的瓶颈不适合大数据环境下的分类，成为研究热点。在支持向量机的基础上，Kim等人提出了一种适用于大数据的特征提取和分类算法，可以很好地解决大数据分类问题。Ben-Haim等人提出了一种构建决策树分类器的算法，该算法可以在分布式环境下运行，适用于大数据集和流数据。近年来，神经网络发展迅速。uang等人提出了ELM的优化策略来代替梯度下降算法，训练速度得到了很大的提高。
1.3大数据可视化
可视化是指利用图形手段直观地传达数据的关键方面和特征，然后对复杂数据进行深入分析，实现相关信息的有效传递。在数据可视化中，数据主要表现为单一的图元，将数据转化为数据图像，可以帮助相关人员从不同角度对数据进行分析和观察，从而对数据进行深入分析和有效应用。
可视化分析将可视化技术与数据分析技术相结合，提高了可视化效果，为大规模数据提供了解决方案。近年来，大数据可视化的研究取得了很大进展，在报表工作、商业智能分析工具和数据可视化平台等领域发挥了重要作用。
在大数据时代，可视化已经广泛应用于电力行业、社交网络等多个行业。如何有效地向用户展示数据是一个非常重要的问题，它关系到海量数据中的信息能否有效地传递给用户。可视化研究已经成为当今的热点问题，学术界和工业界已经做了很多研究，在标签云和历史流程图领域也取得了重要进展。
2大数据技术在电力行业的典型应用
2.1推动大数据传输和存储
随着智能电网的有效建设，电力系统各环节产生的数据得到有效记录，这对数据传输和存储提出了更高的要求。随着产生的数据越来越多，电力系统的负担越來越重，阻碍了智能化的发展。
大数据技术为海量数据的传输和存储提供了解决方案，能够很好地满足电力大数据任务的需求。如果可以选择分布式文件系统，可以让大数据的存储更加方便。目前，Hadoop HDFS文件系统已经得到广泛应用。同时，电力系统对实时数据有一定的要求，大数据技术对实时数据也有很好的支持，可以实时采集电力运行数据，并通过流媒体传输对实时数据进行分析。可以根据系统的性能和数据的特点分别存储，一些要求高、需要实时处理的数据可以通过数据库系统进行处理。对于一般数据，可以选择数据仓库进行处理。对于大量的历史数据或非结构化数据，相关人员可以使用分布式文件系统进行处理。 通过大数据技术，可以将电力行业复杂的数据融合转换成便于存储和数据分析的数据。利用数据仓库进行有效管理，逐步形成相应的电力企业信息管理系统，对提高企业的数据共享和竞争力有重要作用，可以使电力数据发挥更大的作用。
2.2电力设备的状态评估
电力设备的正常运行是整个电力系统运行的关键，电力设备的状态评估结果对电力系统的设备采购、投资计划、设备维护等所有生产运行环节都有重要影响。电力设备状态检修是电网发展的关键，也是提高国民经济生命线产业保障性的工作。
目前，电力设备状态评估主要包括基于标准导则和评分系统的评估方法、故障诊断专家系统和基于传统机器学习的设备状态评估。传统的设备状态评估方法大多是基于有限的樣本数据，建立相关模型来预测投入与产出之间的关系。随着电力监控设备的广泛使用，电网运行系统逐渐呈现出海量数据的特点，这也是大数据挖掘分析在电力设备状态评估领域应用的关键。
在大电网背景下，多维数据是大数据挖掘的基础，也是电力设备状态评估的必要条件。根据其特点，相关数据可分为静态参数、动态参数、准动态参数和外部参数。设备状态评估大数据挖掘分析的基本思想是通过分类算法、聚类算法、时间序列挖掘等大数据挖掘技术，挖掘和分析大量的设备历史数据。，挖掘各种状态参数之间的关系，实时采集电力设备的运行数据，并根据相关的状态参数对设备进行相关性分析，及时评估设备的运行状态，为相关工作提供指导。
3结束语
大数据时代的到来是未来的必然趋势，对电力行业来说既是挑战也是机遇。在电力行业的进一步发展中，有必要认识到大数据技术在电力系统生产运营、企业运营发展、配电分析等领域应用的重要性。通过良好的数据管理和有效的数据挖掘，实施相关的大数据策略不仅可以保证电力系统的稳定运行，而且对电力营销质量和提高企业竞争力具有重要意义。可以说，电力企业大数据系统建设是未来发展的重点。
参考文献
[1]李国杰，程学旗.大数据研究：未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考[J].中国科学院院刊，2012，6.
[2]陈超，张顺仕，等.大数据背景下电力行业数据应用研究[J].现代电子技术，2013，24.
[3]丁杰，徐建，等.迎战大数据[J].电力信息与通信技术，2013，2.
国网内蒙古东部电力有限公司巴林右旗供电分公司 内蒙古 025150
关键词：智能电网;电力系统;大数据技术;电力行业
1电力大数据技术分析
1.1云计算技术
Google是处理大数据技术最典型的公司，2006年首次提出云计算的概念。云计算是网络计算[9]，是一种基于互联网的计算方法。它可以根据需要向计算机终端和相关设备提供信息，并使用服务提供商提供的计算机基础设施进行计算和资源。具体来说，就是通过网络云将海量数据处理成不同类型的小程序，由服务器系统对小程序进行分析，并将结果反馈给用户[10]。云计算的核心内容是利用互联网在网站上为用户提供云计算、数据存储等服务，让用户可以利用网络进行数据处理。
云计算技术是大数据分析和处理的基础，也是大数据应用的基础平台。云计算是基于先进的互联网技术，其实现形式众多，主要通过以下几种形式：服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）。对于云计算技术来说，海量数据存储和数据并行处理是关键内容。具体技术有分布式文件系统和MapReduce技术，这两种技术都是Google提出的。
DFS系统是分布式文件系统，主要是指文件系统管理的资源不与本地节点直接相连，而是利用网络与节点（可以简单理解为计算机）相连;或者是由几个不同的逻辑磁盘分区或卷标组合而成的完整的分层文件系统。分布式文件系统可以为系统提供高吞吐量的数据访问，适合大数据处理。DFS的一个开源实现是HDFS，它是Hadoop架构的基础，也支持以流的形式访问文件系统中的数据。
MapReduce是Google为大规模数据并行计算提出的编程模型，便于在分布式系统上运行程序。映射函数用于将一组键值对映射到一组新的键值对，并指定了一个并发的减少函数来确保所有映射的键值对共享同一个键组。Hadoop提供了MapReduce的开源实现，也是目前应用最广泛的大数据技术。为了实现MapReduce编程模型的高效应用，诞生了许多更高级的查询语言，如Hive。这些先进的查询语言使得模型更适合数据的并行处理，促进了大数据技术的发展。
1.2数据挖掘和机器学习
在处理和分析大数据的过程中，数据挖掘和机器学习起着非常重要的作用。从大量数据中挖掘隐藏的、以前未知的、潜在有价值的信息，为相关决策提供参考。在电力大数据的分析中，主要分为三类，即关联分析、聚类方法和分类方法。
关联分析的研究始于Apriori算法，它是指在相关数据载体中的项目集或对象集之间寻找频繁模式、关联、相关性或因果结构。挖掘频繁项集后，需要挖掘频繁项集中大于最小置信度阈值的关联规则。将频繁项集分为前后两部分，然后计算规则的前后部分的置信度。如果大于最小置信度阈值，则为强关联规则。广泛使用的关联分析方法有Apriori算法和FP-growth算法。
聚类方法是数据挖掘中最早使用的算法之一，也广泛应用于各种数据库中。将物理或抽象对象的集合划分为由相似对象组成的多个类的过程称为聚类。传统的聚类方法包括划分法、层次法、基于密度法和基于模型法。聚类分析内容丰富，包括系统聚类法、有序样本聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预测法等。传统聚类成功地解决了低维数据的聚类问题，高维聚类分析是当今的研究热点。
分类算法用于提取描述重要数据类的模型，按照一定的标准标注对象，然后根据标注进行分类。传统的分类算法由于自身的瓶颈不适合大数据环境下的分类，成为研究热点。在支持向量机的基础上，Kim等人提出了一种适用于大数据的特征提取和分类算法，可以很好地解决大数据分类问题。Ben-Haim等人提出了一种构建决策树分类器的算法，该算法可以在分布式环境下运行，适用于大数据集和流数据。近年来，神经网络发展迅速。uang等人提出了ELM的优化策略来代替梯度下降算法，训练速度得到了很大的提高。
1.3大数据可视化
可视化是指利用图形手段直观地传达数据的关键方面和特征，然后对复杂数据进行深入分析，实现相关信息的有效传递。在数据可视化中，数据主要表现为单一的图元，将数据转化为数据图像，可以帮助相关人员从不同角度对数据进行分析和观察，从而对数据进行深入分析和有效应用。
可视化分析将可视化技术与数据分析技术相结合，提高了可视化效果，为大规模数据提供了解决方案。近年来，大数据可视化的研究取得了很大进展，在报表工作、商业智能分析工具和数据可视化平台等领域发挥了重要作用。
在大数据时代，可视化已经广泛应用于电力行业、社交网络等多个行业。如何有效地向用户展示数据是一个非常重要的问题，它关系到海量数据中的信息能否有效地传递给用户。可视化研究已经成为当今的热点问题，学术界和工业界已经做了很多研究，在标签云和历史流程图领域也取得了重要进展。
2大数据技术在电力行业的典型应用
2.1推动大数据传输和存储
随着智能电网的有效建设，电力系统各环节产生的数据得到有效记录，这对数据传输和存储提出了更高的要求。随着产生的数据越来越多，电力系统的负担越來越重，阻碍了智能化的发展。
大数据技术为海量数据的传输和存储提供了解决方案，能够很好地满足电力大数据任务的需求。如果可以选择分布式文件系统，可以让大数据的存储更加方便。目前，Hadoop HDFS文件系统已经得到广泛应用。同时，电力系统对实时数据有一定的要求，大数据技术对实时数据也有很好的支持，可以实时采集电力运行数据，并通过流媒体传输对实时数据进行分析。可以根据系统的性能和数据的特点分别存储，一些要求高、需要实时处理的数据可以通过数据库系统进行处理。对于一般数据，可以选择数据仓库进行处理。对于大量的历史数据或非结构化数据，相关人员可以使用分布式文件系统进行处理。 通过大数据技术，可以将电力行业复杂的数据融合转换成便于存储和数据分析的数据。利用数据仓库进行有效管理，逐步形成相应的电力企业信息管理系统，对提高企业的数据共享和竞争力有重要作用，可以使电力数据发挥更大的作用。
2.2电力设备的状态评估
电力设备的正常运行是整个电力系统运行的关键，电力设备的状态评估结果对电力系统的设备采购、投资计划、设备维护等所有生产运行环节都有重要影响。电力设备状态检修是电网发展的关键，也是提高国民经济生命线产业保障性的工作。
目前，电力设备状态评估主要包括基于标准导则和评分系统的评估方法、故障诊断专家系统和基于传统机器学习的设备状态评估。传统的设备状态评估方法大多是基于有限的樣本数据，建立相关模型来预测投入与产出之间的关系。随着电力监控设备的广泛使用，电网运行系统逐渐呈现出海量数据的特点，这也是大数据挖掘分析在电力设备状态评估领域应用的关键。
在大电网背景下，多维数据是大数据挖掘的基础，也是电力设备状态评估的必要条件。根据其特点，相关数据可分为静态参数、动态参数、准动态参数和外部参数。设备状态评估大数据挖掘分析的基本思想是通过分类算法、聚类算法、时间序列挖掘等大数据挖掘技术，挖掘和分析大量的设备历史数据。，挖掘各种状态参数之间的关系，实时采集电力设备的运行数据，并根据相关的状态参数对设备进行相关性分析，及时评估设备的运行状态，为相关工作提供指导。
3结束语
大数据时代的到来是未来的必然趋势，对电力行业来说既是挑战也是机遇。在电力行业的进一步发展中，有必要认识到大数据技术在电力系统生产运营、企业运营发展、配电分析等领域应用的重要性。通过良好的数据管理和有效的数据挖掘，实施相关的大数据策略不仅可以保证电力系统的稳定运行，而且对电力营销质量和提高企业竞争力具有重要意义。可以说，电力企业大数据系统建设是未来发展的重点。
参考文献
[1]李国杰，程学旗.大数据研究：未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考[J].中国科学院院刊，2012，6.
[2]陈超，张顺仕，等.大数据背景下电力行业数据应用研究[J].现代电子技术，2013，24.
[3]丁杰，徐建，等.迎战大数据[J].电力信息与通信技术，2013，2.
国网内蒙古东部电力有限公司巴林右旗供电分公司 内蒙古 025150