论文部分内容阅读
【摘 要】智能电网随着信息化技术的发展不断的进步。在大数据环境下，为了能够更好地完善智能电网，提高智能电网的工作效率，提高智能电网的数据信息处理能力，提高整体运营的经济性，必须要对智能电网相关的大数据平台进行完善。
【关键词】智能电网;大数据;存储
伴随社会的不断发展，科学技术便得到飞速进步，现今，在信息化不断发展的时代背景下，人们便与信息化技术紧密联系在一起，同时，人们对电力系统的依赖程度逐渐加大。此外，对于电力系统而言，其在运行过程中会产生相应的数据，且数据具有复杂的特点，并呈现逐渐增加的趋势，传统的数据处理技术未能迎合数据发展的需要，因此，在此种情况下，便应将大数据技术应用于智能電网中，以使数据处理质量得到保障，符合电网行业的发展需求。
1智能电网和大数据之间的联系
当前我国智能电网的运用较为广泛，信息技术、通讯技术、计算机技术也得以综合运用，不同信息之间的联系也日益紧密。智能电网能够从电量的耗损状况中获得大数据，即用户的用电情况、区域的用电情况、昼夜的用电状况等，利用现代信息技术对得到数据进行交换、分析，收集出有效的信息，对不同地区的电网进行宏观调控，及时对不同地区的用电需求进行有效调控和满足。但是在当前社会中，大数据的发展并没有很成熟，大数据平台构建尚在进行中。
2电力大数据在智能电网中的分布
2.1发电侧
目前，国内一些大型的发电厂纷纷开展了数字化建设，在这一前提下产生了海量的过程数据，这些数据中蕴含着丰富的信息，它们的产生来源是监测和检测过程，由此使得这部分数据对电力设备的运行状态评估以及故障问题检测具有重要的作用。
2.2 输变电侧
电力系统的 PMU（相量测量装置）每天会对数以万计的数据点进行数据采集，同时输电网和无人值守的智能变电站的安全监测也会产生出海量的非结构化数据，如图像、音视频等等。
2.3 用电侧
现如今，我国电网的智能化程度较之以往获得了大幅度提升，智能电表也获得了广泛应用，由于智能电表可以进行双向通信，其每天产生的数据都多达数百万条。
3基于Mongo DB的用电信息大数据存储技术
3.1用电信息系统大数据存储架构
用电信息采集系统对用电信息的自动采集、计量异常和电能质量监测、用电分析和管理提供了技术支持。为适应大规模用电信息数据的存储要求，设计了一种具有高并发、高可靠性和高效存储等特点的存储架构，加快数据访问速度，为实现用电信息的自动采集、计量异常等功能，并适应用电数据种类繁多的特点，将数据平台划分为前置通信平台数据库、生产数据库和分析数据库。
3.2元数据管理
对数据进行存储时，首先要求系统能够根据配电数据的大小，快速分配存储空间，并产生对应的地址映射，也即元数据。由此，在对数据进行存储时，需要生成标准化的元数据，并对其进行管理：
3.2.1数据预处理
对数据进行预处理时，其流程是先对数据进行筛选，以区分结构化数据与非结构化数据，对不同的数据类型进行转换，形成标准化元数据，并以 XML 格式将转换后的元数据存储至 Master 节点中。
3.2.2中间件技术
中间件技术具有多种应用形式，如数据访问、数据整合、终端仿真等，其主要功能是在不同的技术之间实现信息资源的共享，提高数据整合运行效率。本次设计中，通过采用数据中间件技术，将各类元数据进行了整合、连接，并对 XML 数据资源库重新进行了配置，设置了查关联、删除等多个子模块，加强了管理效果，更有利于系统运行效率的提升。
3.3实际数据管理
1）根据实际数据在智能电网的不同位置，进行分层存储，若实际数据位于内部电网，则将其存储于电网内部，若实际数据位于电网外部，则将其存储于电网外部;
2）根据各系统的电压等级情况重新进行分类，包括 GIS 系统、信息采集系统等，位于电网内部的数据，分为 110k V、35k V、10k V 等类别，并对应存储，位于电网外的数据，分为政府机构、企业用户等类别，同样对应存储;
3）对元数据资源库进行查询，将不同类别的数据与其XML表格对应，根据XML表格为实际数据分配存储空间，按照一定的顺序，确保所有数据能够分配到足够的存储空间，若出现存储空间剩余不足现象，则将其临近的剩余存储空间分配给对应的缺额实际数据，分配完毕后，依据统一的存储指令，进行存储。
3.4基于Mongo DB私有云的电力大数据存储关键技术
3.4.1存储模式
作为分布式文档存储数据库的一种，Mong DB能够存储相对较为复杂的数据类型，本节提出通过对不同类型的采集数据采取不同的存储方式来对大规模数据的查询和存储工作进行优化，在对数据读写速率进行提高的过程中可以采用多集群存储方式。Mongo DB的自动分片机制支持集群扩展，一个Mongo DB集群通常有9台服务器组成，提供路由服务的有3台服务器，提供配置服务的有3台服务器，除此以外还包括由副本集构成的3组数据分片。经大量测试发现，配置服务和路由服务对内存的依赖程度相对较低，所以可将配置服务和路由服务置于数据分片所在的服务器上，有效将云资源的利用率提高上来。
3.4.2分片负载均衡
Mongo DB 的自动分片机制推动了分布式存储的水平扩展，均衡器从根本上保证了数据块在每个分片上的均匀分布。Mongo DB 将数据按用户指定的分片键划分为多个chunk（均衡器进行数据迁移的基本单位），在对各分片内的chunk数检查的时候可以使用均衡器来进行，若拥有chunk最多的分片和拥有chunk最少的分片的chunk数之差要比某个阈值高的话，均衡器则需要迁移这些不均匀的分片，将前者的chunk移至后者。要想彻底解决云存储数据访问的动态均衡问题仅对各分片内chunk的数目进行考虑是不行的，本文考虑分片所在数据节点负载差异，提出从负载以及数据量两方面对负载均衡进行优化，通过路由mongos获取分片所在节点负载，考虑负载因素在迁移限制条件判断、迁移源分片与目标分片选取等环节带来的影响。
结束语
通过以上的内容，先是分析了智能电网和电力大数据的主要关系，两者相辅相成，相互促进，智能电网和电力大数据的发展不可分割。也探究了电力大数据在电网中的分布，最后着重分析了面向智能电网的电力大数据存储技术，在智能电网中有效运用电力大数据存储，能够使得智能电网更好的发展。
参考文献：
[1]刘铭，陈艳，吴佳，张春平，张琦.基于分布式文件系统电力大数据存储策略探讨[J].自动化技术与应用，2016，35（10）：70-75.
[2]毛羽丰.基于云计算的海量电力数据分析系统设计与实现[D].北京交通大学，2015.
[3]王曙霞，陈茂辉.面向电力大数据分布式云存储的性能分析与优化[J].电气应用，2015，34（06）：46-50.
（作者单位：国网太原供电公司）
【关键词】智能电网;大数据;存储
伴随社会的不断发展，科学技术便得到飞速进步，现今，在信息化不断发展的时代背景下，人们便与信息化技术紧密联系在一起，同时，人们对电力系统的依赖程度逐渐加大。此外，对于电力系统而言，其在运行过程中会产生相应的数据，且数据具有复杂的特点，并呈现逐渐增加的趋势，传统的数据处理技术未能迎合数据发展的需要，因此，在此种情况下，便应将大数据技术应用于智能電网中，以使数据处理质量得到保障，符合电网行业的发展需求。
1智能电网和大数据之间的联系
当前我国智能电网的运用较为广泛，信息技术、通讯技术、计算机技术也得以综合运用，不同信息之间的联系也日益紧密。智能电网能够从电量的耗损状况中获得大数据，即用户的用电情况、区域的用电情况、昼夜的用电状况等，利用现代信息技术对得到数据进行交换、分析，收集出有效的信息，对不同地区的电网进行宏观调控，及时对不同地区的用电需求进行有效调控和满足。但是在当前社会中，大数据的发展并没有很成熟，大数据平台构建尚在进行中。
2电力大数据在智能电网中的分布
2.1发电侧
目前，国内一些大型的发电厂纷纷开展了数字化建设，在这一前提下产生了海量的过程数据，这些数据中蕴含着丰富的信息，它们的产生来源是监测和检测过程，由此使得这部分数据对电力设备的运行状态评估以及故障问题检测具有重要的作用。
2.2 输变电侧
电力系统的 PMU（相量测量装置）每天会对数以万计的数据点进行数据采集，同时输电网和无人值守的智能变电站的安全监测也会产生出海量的非结构化数据，如图像、音视频等等。
2.3 用电侧
现如今，我国电网的智能化程度较之以往获得了大幅度提升，智能电表也获得了广泛应用，由于智能电表可以进行双向通信，其每天产生的数据都多达数百万条。
3基于Mongo DB的用电信息大数据存储技术
3.1用电信息系统大数据存储架构
用电信息采集系统对用电信息的自动采集、计量异常和电能质量监测、用电分析和管理提供了技术支持。为适应大规模用电信息数据的存储要求，设计了一种具有高并发、高可靠性和高效存储等特点的存储架构，加快数据访问速度，为实现用电信息的自动采集、计量异常等功能，并适应用电数据种类繁多的特点，将数据平台划分为前置通信平台数据库、生产数据库和分析数据库。
3.2元数据管理
对数据进行存储时，首先要求系统能够根据配电数据的大小，快速分配存储空间，并产生对应的地址映射，也即元数据。由此，在对数据进行存储时，需要生成标准化的元数据，并对其进行管理：
3.2.1数据预处理
对数据进行预处理时，其流程是先对数据进行筛选，以区分结构化数据与非结构化数据，对不同的数据类型进行转换，形成标准化元数据，并以 XML 格式将转换后的元数据存储至 Master 节点中。
3.2.2中间件技术
中间件技术具有多种应用形式，如数据访问、数据整合、终端仿真等，其主要功能是在不同的技术之间实现信息资源的共享，提高数据整合运行效率。本次设计中，通过采用数据中间件技术，将各类元数据进行了整合、连接，并对 XML 数据资源库重新进行了配置，设置了查关联、删除等多个子模块，加强了管理效果，更有利于系统运行效率的提升。
3.3实际数据管理
1）根据实际数据在智能电网的不同位置，进行分层存储，若实际数据位于内部电网，则将其存储于电网内部，若实际数据位于电网外部，则将其存储于电网外部;
2）根据各系统的电压等级情况重新进行分类，包括 GIS 系统、信息采集系统等，位于电网内部的数据，分为 110k V、35k V、10k V 等类别，并对应存储，位于电网外的数据，分为政府机构、企业用户等类别，同样对应存储;
3）对元数据资源库进行查询，将不同类别的数据与其XML表格对应，根据XML表格为实际数据分配存储空间，按照一定的顺序，确保所有数据能够分配到足够的存储空间，若出现存储空间剩余不足现象，则将其临近的剩余存储空间分配给对应的缺额实际数据，分配完毕后，依据统一的存储指令，进行存储。
3.4基于Mongo DB私有云的电力大数据存储关键技术
3.4.1存储模式
作为分布式文档存储数据库的一种，Mong DB能够存储相对较为复杂的数据类型，本节提出通过对不同类型的采集数据采取不同的存储方式来对大规模数据的查询和存储工作进行优化，在对数据读写速率进行提高的过程中可以采用多集群存储方式。Mongo DB的自动分片机制支持集群扩展，一个Mongo DB集群通常有9台服务器组成，提供路由服务的有3台服务器，提供配置服务的有3台服务器，除此以外还包括由副本集构成的3组数据分片。经大量测试发现，配置服务和路由服务对内存的依赖程度相对较低，所以可将配置服务和路由服务置于数据分片所在的服务器上，有效将云资源的利用率提高上来。
3.4.2分片负载均衡
Mongo DB 的自动分片机制推动了分布式存储的水平扩展，均衡器从根本上保证了数据块在每个分片上的均匀分布。Mongo DB 将数据按用户指定的分片键划分为多个chunk（均衡器进行数据迁移的基本单位），在对各分片内的chunk数检查的时候可以使用均衡器来进行，若拥有chunk最多的分片和拥有chunk最少的分片的chunk数之差要比某个阈值高的话，均衡器则需要迁移这些不均匀的分片，将前者的chunk移至后者。要想彻底解决云存储数据访问的动态均衡问题仅对各分片内chunk的数目进行考虑是不行的，本文考虑分片所在数据节点负载差异，提出从负载以及数据量两方面对负载均衡进行优化，通过路由mongos获取分片所在节点负载，考虑负载因素在迁移限制条件判断、迁移源分片与目标分片选取等环节带来的影响。
结束语
通过以上的内容，先是分析了智能电网和电力大数据的主要关系，两者相辅相成，相互促进，智能电网和电力大数据的发展不可分割。也探究了电力大数据在电网中的分布，最后着重分析了面向智能电网的电力大数据存储技术，在智能电网中有效运用电力大数据存储，能够使得智能电网更好的发展。
参考文献：
[1]刘铭，陈艳，吴佳，张春平，张琦.基于分布式文件系统电力大数据存储策略探讨[J].自动化技术与应用，2016，35（10）：70-75.
[2]毛羽丰.基于云计算的海量电力数据分析系统设计与实现[D].北京交通大学，2015.
[3]王曙霞，陈茂辉.面向电力大数据分布式云存储的性能分析与优化[J].电气应用，2015，34（06）：46-50.
（作者单位：国网太原供电公司）