论文部分内容阅读
摘 要：本文通过分析云计算架构，针对云南电网省级海量数据处理分析的迫切需求，提出基于云南电网云计算平台架构体系的海量数据线损分析应用场景平台设计，并给出典型的架构设计方案，为类似海量数据分析应用场景的架构平台构建提供参考。
关键词：云计算;电网;海量数据;线损分析
随着信息技术和智能电网的发展，传统架构的电力数据分析系统己难以满足日益增长的电力海量数据，而云计算的出现和发展将为海量大数据的处理分析提供可行的技术解决方案。目前，商业化云计算平台技术、功能、性能也越来越成熟，各行业也开始倾向于使用这种更经济、更便捷的方式来构建自己的应用。云南电网云计算大数据平台以相对成熟稳定的商业专有云作为基础平台支撑，并根据电力行业的特性对平台开展适应性改造而成，构建全面支撑营销、调度及生产为重点的云计算数据分析大数据平台。
云南电网管理着上千万的用电客户，以营销管理系统、计量自动化系统、资产管理系统和电力调度监控系统为核心业务系统每日的生产或管理数据是及其庞大的，如何基于云计算大数据平台对这些海量数据进行分析挖掘，深挖电网数据价值，成为当前信息化建设的一个热点。本文将通过分析台区线损异常分析系统的架构设计思路，来讨论基于云计算平台搭建海量数据分析平台的一种方法。
一、云计算架构设计
在充分考虑资源服务、平台服务、软件服务三层的技术需求，结合云南电网公司云计算实际业务开展情况，研究IaaS层的资源建设及管理情况，努力提升PaaS层和SaaS层的建设成效。IaaS层的建设体系中，提升虚拟化技术和分布式存储技术的应用范围和应用效果，使得IaaS层能够为PaaS层提供有力的资源服务。PaaS层建设体系中，建设开发运维一体化平台、容器资源池以及DCOS。同时提供数据服务和微服务管理，为微应用和移动应用提供平台支撑。SaaS层建设体系中，构建移动应用、应用商店和微应用等架构体系，为用户访问提供便捷、优质的服务体验。
资源服务：资源管理层核心内容为物理资源、虚拟资源以及资源管理。其中物理资源包括X86服务器、存储设备、网络设备等硬件;虚拟资源包括通过虚拟化软件整合的所有服务器设备进行统一管理、统一资源调度，为用户提供按需所取的虚拟化资源池;资源管理包括通过云计算操作系统，对整合的虚拟资源、物理资源进行资源调度、资源监控、资源评估、资源配置等一系列的管理。
平台服务： 通过对数据服务、应用管理、集成服务的完善与建设，并结合DevOps技术、容器技术等云计算相关技术，为业务应用与大数据平台提供更安全、稳定的支撑服务。
软件服务：通过对微应用的应用组装、应用计费、应用控制、应用接口等操作，为用户提供更加完善的软件服务。
云安全：通过对资源安全、平台安全、软件安全、接入安全等四个重点安全完善与建设，使安全防卫措施完全符合云计算的安全需求，为未来云计算安全提供强有力的安全保障。
运维管理体系：运维人员在保证IT服务质量的同时，围绕服务等级协议SLA开展各种运维活动，并结合运维技术、管理模式、财务流程、服务分级、业务要求、运维职责等，构建云运维管理体系，提高云南电网公司IT服务水平。
二、线损分析应用场景
（一）台区线损异常分析应用需求
通过每天对云南省全省约30万个0.4kV台区进行日线损的计算，并使用台区线损异常分析模型，分析每个台区的异常情况和异常原因，并对台区下辖千万级别的用电客户的用电数据进行扫描分析，识别可能存在用电量波动异常、户变关系异常等异常情况。实现台区线损异常问题的精准定位和快速整改，有效解决抄表不同期、线损管理滞后、线损异常率高等问题，将线损管理由事后转向事中，提高电网经济运行效益。
（二）数据需求
为了满足台区日线损的计算和异常分析，每天需要分别从营销管理系统、计量自动化系统、生产管理系统等多个系统抽取更新数据，主要数据同步需求如下表：
（三）数据处理分析需求
每天进行全省约1千多万计量点的有功电量计算、電量波动异常分析、户变异常分析，约30万台区的线损计算，三相不平衡、波动率、功率因素、抄表率等分析数据的计算和10个异常分析规则的数据分析。
（四）用户访问需求
满足全省各供电局及下属供电单位的访问，目前全省以18个地市局，99个县公司，1200个供电所计算，预计每个单位用户数5人，共计6585人。
（五）应用场景分析结论
综合上述需求，得出以下结论：一是数据同步量较大，每天有大量数据需要进行同步，需要吞吐能力强的数据同步工具和数据库进行支撑;二是数据分析处理的任务量大，但每个任务的数据处理规模较小，MapReduce并不适用于该场景，适合采用分布式任务调度来并行执行数据分析任务;三是用户访问需覆盖全省上千个供电单位，需具备一定的系统访问负载能力。
三、海量数据分析平台架构设计
（一）平台设计思路
1、构建分布式系统，即实现数据分布式同步、分布式存储、分布式处理分析。
2、具备可伸缩性，可根据系统在各供电单位推广实施的进展，通过横向扩展的方式，使系统能不断适应新的应用需要。
3、搭建web访问集群，为保障高并发访问能力，搭建web服务集群，通过负载均衡为用户提供高可用的系统。
（二）平台逻辑架构设计
首先，按照应用场景的相关需求，得出系统逻辑架构，如下图所示：
系统首先每日从数据源获取基础档案数据和电能量数据，然后进行台区日线损的计算、分群和异常诊断分析，最后基于相关分析数据，进行可视化应用，辅助专业人员进行线损异常的快速定位和处理。
（三）平台技术架构设计
按照平台设计思路和逻辑架构的设计，得出平台技术架构如下图所示：
系统按照分层架构设计可以分为4层，数据同步层负责从数据源系统获取基础档案数据和电能量数据，数据层负责存储基础数据和线损计算及分析结果数据，应用层负责数据的分析处理和结果数据的分析查询，用户层可通过PC端或移动端访问系统应用功能。具体技术选型如下：
1、数据同步层采用阿里云ODPS大数据开发套件中分布式的数据同步工具来进行支撑，该工具具备较强的吞吐能力，经过实际测试，可以满足该场景的需要。
2、数据层采用RDS和DRDS配套使用，搭建分布式数据库，通过恰当的分库分表策略，实现海量数据分布式存储，提供稳定的数据库服务能力。
3、在应用层中，基于分布式任务调度服务实现对java计算分析任务和python分析任务的分布式运行，基于DataV构建大屏展示界面，并将相关应用部署在弹性计算服务ECS中，并基于SLB构建系统应用访问集群的负载均衡。
四、结语
本文以电网企业线损异常分析项目的建设成果为基础，探讨了目前电网信息化建设中一种典型的海量数据分析系统的架构设计思路，主要解决了传统应用系统构建中常见的海量数据存储、数据处理的瓶颈问题，通过构建可伸缩的分布式系统，使系统可以通过不断的横向扩展，来满足不断增长的应用需求，减少大型应用系统对高端服务器的依赖，降低硬件设施的采购成本和运维成本。通过对云南电网全省1600万用户的电量及台区线损分析，系统可在4个小时内进行线损的结果计算，对于海量数据的大数据分析具有一定的可借鉴性。
参考文献：
[1]吴凯峰，刘万涛，李彦虎，苏伊鹏，肖政，裴旭斌，虎嵩林.基于云计算的电力大数据分析技术与应用[J].中国电力，2015，2（2）：111-127.
[2]张栋.基于云计算的电力大数据分析技术与应用[J].企业技术开发，2015，7（21）：83-84.
[3] 冯伟.基于云计算的海量数据分析系统的研究与实现
[4] 基于云计算的电力大数据分析技术与应用探究
关键词：云计算;电网;海量数据;线损分析
随着信息技术和智能电网的发展，传统架构的电力数据分析系统己难以满足日益增长的电力海量数据，而云计算的出现和发展将为海量大数据的处理分析提供可行的技术解决方案。目前，商业化云计算平台技术、功能、性能也越来越成熟，各行业也开始倾向于使用这种更经济、更便捷的方式来构建自己的应用。云南电网云计算大数据平台以相对成熟稳定的商业专有云作为基础平台支撑，并根据电力行业的特性对平台开展适应性改造而成，构建全面支撑营销、调度及生产为重点的云计算数据分析大数据平台。
云南电网管理着上千万的用电客户，以营销管理系统、计量自动化系统、资产管理系统和电力调度监控系统为核心业务系统每日的生产或管理数据是及其庞大的，如何基于云计算大数据平台对这些海量数据进行分析挖掘，深挖电网数据价值，成为当前信息化建设的一个热点。本文将通过分析台区线损异常分析系统的架构设计思路，来讨论基于云计算平台搭建海量数据分析平台的一种方法。
一、云计算架构设计
在充分考虑资源服务、平台服务、软件服务三层的技术需求，结合云南电网公司云计算实际业务开展情况，研究IaaS层的资源建设及管理情况，努力提升PaaS层和SaaS层的建设成效。IaaS层的建设体系中，提升虚拟化技术和分布式存储技术的应用范围和应用效果，使得IaaS层能够为PaaS层提供有力的资源服务。PaaS层建设体系中，建设开发运维一体化平台、容器资源池以及DCOS。同时提供数据服务和微服务管理，为微应用和移动应用提供平台支撑。SaaS层建设体系中，构建移动应用、应用商店和微应用等架构体系，为用户访问提供便捷、优质的服务体验。
资源服务：资源管理层核心内容为物理资源、虚拟资源以及资源管理。其中物理资源包括X86服务器、存储设备、网络设备等硬件;虚拟资源包括通过虚拟化软件整合的所有服务器设备进行统一管理、统一资源调度，为用户提供按需所取的虚拟化资源池;资源管理包括通过云计算操作系统，对整合的虚拟资源、物理资源进行资源调度、资源监控、资源评估、资源配置等一系列的管理。
平台服务： 通过对数据服务、应用管理、集成服务的完善与建设，并结合DevOps技术、容器技术等云计算相关技术，为业务应用与大数据平台提供更安全、稳定的支撑服务。
软件服务：通过对微应用的应用组装、应用计费、应用控制、应用接口等操作，为用户提供更加完善的软件服务。
云安全：通过对资源安全、平台安全、软件安全、接入安全等四个重点安全完善与建设，使安全防卫措施完全符合云计算的安全需求，为未来云计算安全提供强有力的安全保障。
运维管理体系：运维人员在保证IT服务质量的同时，围绕服务等级协议SLA开展各种运维活动，并结合运维技术、管理模式、财务流程、服务分级、业务要求、运维职责等，构建云运维管理体系，提高云南电网公司IT服务水平。
二、线损分析应用场景
（一）台区线损异常分析应用需求
通过每天对云南省全省约30万个0.4kV台区进行日线损的计算，并使用台区线损异常分析模型，分析每个台区的异常情况和异常原因，并对台区下辖千万级别的用电客户的用电数据进行扫描分析，识别可能存在用电量波动异常、户变关系异常等异常情况。实现台区线损异常问题的精准定位和快速整改，有效解决抄表不同期、线损管理滞后、线损异常率高等问题，将线损管理由事后转向事中，提高电网经济运行效益。
（二）数据需求
为了满足台区日线损的计算和异常分析，每天需要分别从营销管理系统、计量自动化系统、生产管理系统等多个系统抽取更新数据，主要数据同步需求如下表：
（三）数据处理分析需求
每天进行全省约1千多万计量点的有功电量计算、電量波动异常分析、户变异常分析，约30万台区的线损计算，三相不平衡、波动率、功率因素、抄表率等分析数据的计算和10个异常分析规则的数据分析。
（四）用户访问需求
满足全省各供电局及下属供电单位的访问，目前全省以18个地市局，99个县公司，1200个供电所计算，预计每个单位用户数5人，共计6585人。
（五）应用场景分析结论
综合上述需求，得出以下结论：一是数据同步量较大，每天有大量数据需要进行同步，需要吞吐能力强的数据同步工具和数据库进行支撑;二是数据分析处理的任务量大，但每个任务的数据处理规模较小，MapReduce并不适用于该场景，适合采用分布式任务调度来并行执行数据分析任务;三是用户访问需覆盖全省上千个供电单位，需具备一定的系统访问负载能力。
三、海量数据分析平台架构设计
（一）平台设计思路
1、构建分布式系统，即实现数据分布式同步、分布式存储、分布式处理分析。
2、具备可伸缩性，可根据系统在各供电单位推广实施的进展，通过横向扩展的方式，使系统能不断适应新的应用需要。
3、搭建web访问集群，为保障高并发访问能力，搭建web服务集群，通过负载均衡为用户提供高可用的系统。
（二）平台逻辑架构设计
首先，按照应用场景的相关需求，得出系统逻辑架构，如下图所示：
系统首先每日从数据源获取基础档案数据和电能量数据，然后进行台区日线损的计算、分群和异常诊断分析，最后基于相关分析数据，进行可视化应用，辅助专业人员进行线损异常的快速定位和处理。
（三）平台技术架构设计
按照平台设计思路和逻辑架构的设计，得出平台技术架构如下图所示：
系统按照分层架构设计可以分为4层，数据同步层负责从数据源系统获取基础档案数据和电能量数据，数据层负责存储基础数据和线损计算及分析结果数据，应用层负责数据的分析处理和结果数据的分析查询，用户层可通过PC端或移动端访问系统应用功能。具体技术选型如下：
1、数据同步层采用阿里云ODPS大数据开发套件中分布式的数据同步工具来进行支撑，该工具具备较强的吞吐能力，经过实际测试，可以满足该场景的需要。
2、数据层采用RDS和DRDS配套使用，搭建分布式数据库，通过恰当的分库分表策略，实现海量数据分布式存储，提供稳定的数据库服务能力。
3、在应用层中，基于分布式任务调度服务实现对java计算分析任务和python分析任务的分布式运行，基于DataV构建大屏展示界面，并将相关应用部署在弹性计算服务ECS中，并基于SLB构建系统应用访问集群的负载均衡。
四、结语
本文以电网企业线损异常分析项目的建设成果为基础，探讨了目前电网信息化建设中一种典型的海量数据分析系统的架构设计思路，主要解决了传统应用系统构建中常见的海量数据存储、数据处理的瓶颈问题，通过构建可伸缩的分布式系统，使系统可以通过不断的横向扩展，来满足不断增长的应用需求，减少大型应用系统对高端服务器的依赖，降低硬件设施的采购成本和运维成本。通过对云南电网全省1600万用户的电量及台区线损分析，系统可在4个小时内进行线损的结果计算，对于海量数据的大数据分析具有一定的可借鉴性。
参考文献：
[1]吴凯峰，刘万涛，李彦虎，苏伊鹏，肖政，裴旭斌，虎嵩林.基于云计算的电力大数据分析技术与应用[J].中国电力，2015，2（2）：111-127.
[2]张栋.基于云计算的电力大数据分析技术与应用[J].企业技术开发，2015，7（21）：83-84.
[3] 冯伟.基于云计算的海量数据分析系统的研究与实现
[4] 基于云计算的电力大数据分析技术与应用探究