论文部分内容阅读
[摘 要]近年来，云计算在电力用户用电采集系统中的应用问题得到了业内的广泛关注，研究其相关课题有着重要意义。本文首先对相关内容做了概述，分析了其设计原理，并结合相关实践经验，分别从高速并发访问技术等多个角度与方面，就其技术分析与数据处理问题展开了研究，阐述了个人对此的几点看法与认识，望有助于相关工作的实践。
[关键词]云计算；电力用户；用电采集；应用
中图分类号：TM76 文献标识码：A 文章编号：1009-914X（2018）31-0083-01
1 前言
作为电力用户用电采集系统中的一项重要方面，对云计算的应用占据着极为关键的地位。该项课题的研究，将会更好地提升对云计算技术的分析与掌控力度，从而通过合理化的措施与途径，进一步优化用电采集系统在实际工作中的最终整体效果。
2 概述
云实时数据库在用电信息采集系统的提出是以在互联网、智慧城市、智慧交通和智能视频监控领域已经商业化应用的云计算技术，作为对用电信息采集系统海量数据处理性能提升的主要技术手段，采用松耦合的數据分流的方式构建新型用采主站数据共享平台，实现对海量数据处理性能的提升。
采用云计算的分布式文件存储与关系型数据库共存的模式，采用实时分布式存储技术和当前关系型数据库结合的方式，借助云计算和关系型数据库的优势互补，实现系统性能提升。
3 设计原理
3.1 优化存储策略
云实时存储平台采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上，在每个服务器节点上运行云实时存储平台相应的软件服务程序模块。
由一对元数据服务器及其管理的存储服务器节点所提供的存储空间称为一个卷空间，不同的卷空间由卷管理服务器虚拟化统一管理，对外可提供统一的海量存储空间。管理监控中心提供统一易用的WEB配置管理监控平台，提供设备监控、空间监控、文件监控、服务监控、用户认证管理、配额管理、故障告警及预警等功能，实现智能化管理。
3.2 分布式文件存储系统
分布式文件系统包括卷管理、元数据管理、块数据管理服务。元数据是指文件的名称、属性、数据块位置信息等，元数据管理通过元数据服务程序完成。
实现元数据服务器主备双机高可用，确保7*24小时不间断服务。通过元数据远程多机冗余备份功能，实现在多台其它机器上备份元数据，当元数据服务器损坏，可以通过备份的元数据重新恢复服务，确保数据可以完整找回。架构实现了统一调度，负载均衡和流量自动分担功能，多个存储节点同时对外提供数据流服务，系统根据磁盘空间使用比例进行资源优化配置。分布式文件系统具有自动冗余重建功能，确保损坏的数据块能够被解码或编码后存储到在线的正常的存储服务器节点上。
3.3 存储访问接口
分布式文件系统提供符合POSIX规范的文件系统访问接口。支持Linux、Windows、MaxOSX等操作系统平台。可将云实时存储平台提供的存储空间挂接为本地目录或本地盘符来使用。用户操作云实时存储平台空间和操作本地文件相同。云实时存储平台为采集系统提供API函数、JDBC、ODBC、SQL等方式实现数据的存储和查询管理；为其他系统提供API函数、JDBC、ODBC、WebService服务等接口形式，满足数据的共享查询和数据挖掘。云实时存储平台系统采用分布式的方式，把原先计算密集型复杂任务，进行原子性分解，分配到不同的任务处理节点上，进行并发同步处理，提高数据处理效率和数据处理容量，保证数据处理性能。由于云实时存储平台系统的高效IO访问能力，保证数据抽取写入的效率，在任务处理过程中大量节约了时间。提高了数据计算任务处理的效率。
3.4 分级动态存储方式
云实时存储平台采用了分级技术，把存储信息根据信息的重要性、访问频率等对信息进行了分级存储，将文件的元数据等访问频繁的重要信息时刻保持在线存储，开机后保存在内存中，可以随时读取和修改，以满足前端应用服务器或数据库对数据访问的速度要求。将其他备份数据、冗余容错的数据等访问量小的数据等采用廉价的SATA硬盘存储。对于访问量小的数据采用离线存储，一旦需要访问这些数据可以使用相应的唤醒策略来实现将离线转为在线。
4 技术分析与数据处理
4.1 高速并发访问技术
客户端首先访问主服务器节点，获取将要与之进行交互的块服务器信息，通过访问块服务器完成数据的存取。有效解决了控制流和数据流的分离，客户端与主服务器间只有控制流，没有数据流，自然就降低了主服务器的负载，有效解决了系统性能的一个瓶颈。而客户端与块服务器间直传输数据流，文件被分成多个块进行分布式存储，客户端可同时访问多个块服务器，系统的整个I/O高度并行，整体并发访问能力得到提高。
4.2 高可用技术
系统中的所有服务节点均是通过网络连接在一起，由于采用了高可靠的容错机制，系统增减节点不必停止服务，可在线增减存储节点，存储节点和元数据节点间通过注册管理机制自适应管理，实现自动伸缩。元数据服务器以及各个应用采用主备双机热备技术，主机故障，备机自动接替其工作，对外服务不停止。
4.3 云分布式调度引擎
云分布式调度引擎是建立于虚拟化资源层之上，统一调度，统一配置的管理平台，用于对集群中任务实时的处理调度，实时结果集的反馈，集群的负载均衡，失败调度，集中管理，集中配置的平台。用来保证整个集群的超低人员干预。同时，提供完善的集群伸缩机制为整个服务提供更高的可靠性。云分布式调度引擎调度平台是由一组管理节点（MasterNode）和一组处理节点（TaskNode）组成，管理节点组是一组基于Webserver的RPC服务器，保证每个管理节点中的镜像信息的实时同步。处理节点组提供了简单高效的自动化部署方案，当新服务器加入处理集群后，会主动的与管理节点组同步心跳信息，从同一配置服务器ZooKeeper上获取相关配置信息，通过WebServer服务获取任务列表，开始执行数据处理工作。
4.4 基于Hadoop的数据并行处理技术
Hadoop架构主要包含数据管理存储、任务管理、任务执行数据存储几个角色，数据管理存储文件系统的元数据和编辑日志。任务管理在大多数情况下，这个任务会被放在不同的节点上。任务执行节点与任务管理节点分工协作负责存储数据，独立管理各自的任务，并与任务管理交互。数据存储根据需要存储并检索数据块，并定期向数据管理发送它们所存储的块的列表。数据仓库Hive基于HDFS，将存储在HDFS中的结构化数据文件映射为数据表，并提供类SQL的语言HiveQL对数据表进行操作。Hive能够对HiveQL解析成MapReduce可执行计划，并按照该计划生成MapReduce任务后，提交到Hadoop集群处理，极大的提高了Hadoop架构的处理能力。
5 应用工作原理
（1）在原系统的基础上添加关系数据库与云实时存储平台及云实时数据库计算平台系统，解决海量数据存储与处理面临的性能问题；（2）前置机集群将所有采集数据写入云实时存储平台，将费控、参数下发等实时交易类数据、告警数据写入关系数据库，提高实时业务处理性能；（3）过渡阶段前置机集群同时向原系统数据库写入采集数据，保持原系统业务流程，避免改造应用可能带来的问题影响原系统的运行；（4）云实时存储平台可提供API、ODBC、JDBC、SQL语句、WebService等接口方式，实现云端的数据访问。
6 结束语
综上所述，加强对云计算在电力用户用电采集系统中应用的研究分析，对于其良好实践效果的取得有着十分重要的意义，因此在今后的用户用电采集系统实践过程中，应该加强对云计算关键环节与重点要素的重视程度，并注重其具体实施措施与方法的科学性。
参考文献
[1] 洪建光，等.基于云计算的用电信息采集系统性能提升关键技术研究与应用[J].ELECTRICPOWERICT.2017（11）：60-62.
[2] 宋振伟.云实时数据库在用电信息采集系统中的应用[J].电力技术探讨.2017（01）：115-116.
[3] 陈诚，夏峰，蔡龙.用电信息采集系统本地网络方案[J].农村电气化.2016（21）：88-89.
[关键词]云计算；电力用户；用电采集；应用
中图分类号：TM76 文献标识码：A 文章编号：1009-914X（2018）31-0083-01
1 前言
作为电力用户用电采集系统中的一项重要方面，对云计算的应用占据着极为关键的地位。该项课题的研究，将会更好地提升对云计算技术的分析与掌控力度，从而通过合理化的措施与途径，进一步优化用电采集系统在实际工作中的最终整体效果。
2 概述
云实时数据库在用电信息采集系统的提出是以在互联网、智慧城市、智慧交通和智能视频监控领域已经商业化应用的云计算技术，作为对用电信息采集系统海量数据处理性能提升的主要技术手段，采用松耦合的數据分流的方式构建新型用采主站数据共享平台，实现对海量数据处理性能的提升。
采用云计算的分布式文件存储与关系型数据库共存的模式，采用实时分布式存储技术和当前关系型数据库结合的方式，借助云计算和关系型数据库的优势互补，实现系统性能提升。
3 设计原理
3.1 优化存储策略
云实时存储平台采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上，在每个服务器节点上运行云实时存储平台相应的软件服务程序模块。
由一对元数据服务器及其管理的存储服务器节点所提供的存储空间称为一个卷空间，不同的卷空间由卷管理服务器虚拟化统一管理，对外可提供统一的海量存储空间。管理监控中心提供统一易用的WEB配置管理监控平台，提供设备监控、空间监控、文件监控、服务监控、用户认证管理、配额管理、故障告警及预警等功能，实现智能化管理。
3.2 分布式文件存储系统
分布式文件系统包括卷管理、元数据管理、块数据管理服务。元数据是指文件的名称、属性、数据块位置信息等，元数据管理通过元数据服务程序完成。
实现元数据服务器主备双机高可用，确保7*24小时不间断服务。通过元数据远程多机冗余备份功能，实现在多台其它机器上备份元数据，当元数据服务器损坏，可以通过备份的元数据重新恢复服务，确保数据可以完整找回。架构实现了统一调度，负载均衡和流量自动分担功能，多个存储节点同时对外提供数据流服务，系统根据磁盘空间使用比例进行资源优化配置。分布式文件系统具有自动冗余重建功能，确保损坏的数据块能够被解码或编码后存储到在线的正常的存储服务器节点上。
3.3 存储访问接口
分布式文件系统提供符合POSIX规范的文件系统访问接口。支持Linux、Windows、MaxOSX等操作系统平台。可将云实时存储平台提供的存储空间挂接为本地目录或本地盘符来使用。用户操作云实时存储平台空间和操作本地文件相同。云实时存储平台为采集系统提供API函数、JDBC、ODBC、SQL等方式实现数据的存储和查询管理；为其他系统提供API函数、JDBC、ODBC、WebService服务等接口形式，满足数据的共享查询和数据挖掘。云实时存储平台系统采用分布式的方式，把原先计算密集型复杂任务，进行原子性分解，分配到不同的任务处理节点上，进行并发同步处理，提高数据处理效率和数据处理容量，保证数据处理性能。由于云实时存储平台系统的高效IO访问能力，保证数据抽取写入的效率，在任务处理过程中大量节约了时间。提高了数据计算任务处理的效率。
3.4 分级动态存储方式
云实时存储平台采用了分级技术，把存储信息根据信息的重要性、访问频率等对信息进行了分级存储，将文件的元数据等访问频繁的重要信息时刻保持在线存储，开机后保存在内存中，可以随时读取和修改，以满足前端应用服务器或数据库对数据访问的速度要求。将其他备份数据、冗余容错的数据等访问量小的数据等采用廉价的SATA硬盘存储。对于访问量小的数据采用离线存储，一旦需要访问这些数据可以使用相应的唤醒策略来实现将离线转为在线。
4 技术分析与数据处理
4.1 高速并发访问技术
客户端首先访问主服务器节点，获取将要与之进行交互的块服务器信息，通过访问块服务器完成数据的存取。有效解决了控制流和数据流的分离，客户端与主服务器间只有控制流，没有数据流，自然就降低了主服务器的负载，有效解决了系统性能的一个瓶颈。而客户端与块服务器间直传输数据流，文件被分成多个块进行分布式存储，客户端可同时访问多个块服务器，系统的整个I/O高度并行，整体并发访问能力得到提高。
4.2 高可用技术
系统中的所有服务节点均是通过网络连接在一起，由于采用了高可靠的容错机制，系统增减节点不必停止服务，可在线增减存储节点，存储节点和元数据节点间通过注册管理机制自适应管理，实现自动伸缩。元数据服务器以及各个应用采用主备双机热备技术，主机故障，备机自动接替其工作，对外服务不停止。
4.3 云分布式调度引擎
云分布式调度引擎是建立于虚拟化资源层之上，统一调度，统一配置的管理平台，用于对集群中任务实时的处理调度，实时结果集的反馈，集群的负载均衡，失败调度，集中管理，集中配置的平台。用来保证整个集群的超低人员干预。同时，提供完善的集群伸缩机制为整个服务提供更高的可靠性。云分布式调度引擎调度平台是由一组管理节点（MasterNode）和一组处理节点（TaskNode）组成，管理节点组是一组基于Webserver的RPC服务器，保证每个管理节点中的镜像信息的实时同步。处理节点组提供了简单高效的自动化部署方案，当新服务器加入处理集群后，会主动的与管理节点组同步心跳信息，从同一配置服务器ZooKeeper上获取相关配置信息，通过WebServer服务获取任务列表，开始执行数据处理工作。
4.4 基于Hadoop的数据并行处理技术
Hadoop架构主要包含数据管理存储、任务管理、任务执行数据存储几个角色，数据管理存储文件系统的元数据和编辑日志。任务管理在大多数情况下，这个任务会被放在不同的节点上。任务执行节点与任务管理节点分工协作负责存储数据，独立管理各自的任务，并与任务管理交互。数据存储根据需要存储并检索数据块，并定期向数据管理发送它们所存储的块的列表。数据仓库Hive基于HDFS，将存储在HDFS中的结构化数据文件映射为数据表，并提供类SQL的语言HiveQL对数据表进行操作。Hive能够对HiveQL解析成MapReduce可执行计划，并按照该计划生成MapReduce任务后，提交到Hadoop集群处理，极大的提高了Hadoop架构的处理能力。
5 应用工作原理
（1）在原系统的基础上添加关系数据库与云实时存储平台及云实时数据库计算平台系统，解决海量数据存储与处理面临的性能问题；（2）前置机集群将所有采集数据写入云实时存储平台，将费控、参数下发等实时交易类数据、告警数据写入关系数据库，提高实时业务处理性能；（3）过渡阶段前置机集群同时向原系统数据库写入采集数据，保持原系统业务流程，避免改造应用可能带来的问题影响原系统的运行；（4）云实时存储平台可提供API、ODBC、JDBC、SQL语句、WebService等接口方式，实现云端的数据访问。
6 结束语
综上所述，加强对云计算在电力用户用电采集系统中应用的研究分析，对于其良好实践效果的取得有着十分重要的意义，因此在今后的用户用电采集系统实践过程中，应该加强对云计算关键环节与重点要素的重视程度，并注重其具体实施措施与方法的科学性。
参考文献
[1] 洪建光，等.基于云计算的用电信息采集系统性能提升关键技术研究与应用[J].ELECTRICPOWERICT.2017（11）：60-62.
[2] 宋振伟.云实时数据库在用电信息采集系统中的应用[J].电力技术探讨.2017（01）：115-116.
[3] 陈诚，夏峰，蔡龙.用电信息采集系统本地网络方案[J].农村电气化.2016（21）：88-89.