论文部分内容阅读
摘要：针对电力调度自动化系统的数据都是孤立存在于OCS、OMS、EMS等不同系统中，不同专业、不同单位、不同业务的数据共享机制缺乏等问题，通过引入数据中台的理念，提出了一种电力调度自动化系统运行数据中台建设方法，消除了电力系统数据的烟囱体系，有利于实现业务能力的提升，为电力业务的智慧创新发展提供数据服务支持。
关键词：电力调度;调度自动化系统;数据中台
0 引言
电力调度自动化系统经过多年的运行，积累了丰富的运行数据，包括各种量测数据、告警数据、故障与运行事件数据、电量数据及计划预测类数据，但业务系统数据都是独立存在于OCS、OMS、EMS等系统中，形成了信息孤岛[1]。
随着互联网大数据分析的发展，“数据中台”的概念被提出，即采用数据的分层与水平解耦，将数据运营和产品能力从前台进行剥离，成立独立的数据中台，解决烟囱式数据架构体系的问题[2]。本文针对电力调度自动化系统，基于“数据中台”的理念，提出了一种电力调度自动化系统运行数据中台建设方法。
1 电力调度自动化系统数据管理存在的问题
1.1 数据规模方面
电力调度自动化系统包括主网、配网和用户侧的数据，日增数据规模可达2万亿条。
1.2 数据处理方面
传统数据分析以指标统计为主，较少深入挖掘数据规律，采用的技术手段难以处理海量、复杂、关联数据，导致“数据睡眠”[3]。
1.3 数据应用方面
如何充分利用数据资源为电网运行、规划、管理提供辅助决策，成为亟待解决的问题。
2 电力调度自动化系统运行数据中台架构
数据中台是处于最下层存储计算平台和上层数据服务之间的一套系统。技术人员不需要了解下层存储平台的计算技术复杂性，数据的使用成本更低。
2.1 总体架构
调度运行数据中台基于商用云平台提供的IaaS层服务构建了3层架构：数据汇聚层、数据融合层、数据服务层。系统总体架构如图1所示。
2.2 电力调度自动化系统数据汇聚层
数据汇聚将各类异构网络、异构数据源的数据非常便捷地采集到数据中台中进行集中存储，是数据中台的核心工具。通过标准化、在线化的数据采集接入工具，基于业务驱动逐步将数据时效由T+1提升到准实时，有效构建面向电力调度生态的调度运营服务的数据基础。
2.2.1 数据源梳理
数据源梳理任务通过配置驱动本地或者远程执行，电网数据分为结构化数据和非结构化数据。
结构化数据主要有：
（1）模型数据：源系统建模;
（2）实时数据：源系统实时变化数据;
（3）事件数据：源系统产生的遥信变位、SOE等告警数据;
（4）历史数据：源系统存在关系库中的数据。
非结构化数据主要有：
（1）图形：源系统的接线图、图片、视频主站的异常截图;
（2）文档：主要是OMS中各种格式的办公文档。
2.2.2 数据同步接入
2.2.2.1 IEC 61970的CIM/XML方式
双方基于IEC 61970标准实现，互联采用XML文件的方式，不仅能传输遥测、遥信的信息，而且能交换电网模型的描述信息。
2.2.2.2 文件方式
适用于传输非实时数据，用户可以选择导入内容和数据库域对应关系，方便远动点表等数据导入。
2.2.2.3 JMS方式
适合传输实时性较高的数据，可以支持两种消息模型：点对点消息和发布订阅消息，既可用于不定时的数据交换，又可用于实时数据传送。
2.2.2.4 Web服务方式
可用于传输数据，还可以传送模型文件、画面文件、计划报表文件等，例如：气象系统的数据接入。
2.2.3 对接各业务和外部数据
2.2.3.1 实时量测数据
各业务系统的实时运行数据，如遥信、遥测等，以及各类报警数据。
2.2.3.2 历史量测数据
全系统的历史状态数据、历史事项数据等。历史数据经过清洗、转换、过滤、索引，存储到分布式数据库中。
2.2.3.3 运行管理数据
设备检修、发电计划、停电计划等，存储到分布文件系统中。
2.2.3.4 非结构化数据
各种办公文档、图片等，存储到分布文件系统中。
2.2.4 存量和增量數据的同步协同
跨集群数据同步：基于插件的设计方法，可支持不同集群间的数据同步。
全量同步：分为表全量同步和库全量同步，表全量同步每次读取表中全量数据并写入，库全量同步策略是把库中所有表进行数据同步。
增量同步：分为新增、覆盖和更新3种策略，新增策略主要通过在目的端新建分区或者追写数据实现，覆盖和更新策略在同步配置时选择唯一键，根据唯一键对比同步中的数据和目的端数据，结合增量策略来判断数据是覆盖还是更新。
2.3 电力调度自动化系统数据融合层 数据融合是指数据的加工过程，通过数据加工提炼数据的价值，实现方便业务使用的目的。
2.3.1 不同主题域数据组织
不同主题域数据组织的目标就是把企业的全域原始数据都汇聚到数据中台。电力调度自动化系统整体数据域包括电网域、市场域、设备和安全域、信息域。
2.3.2 标准规范公共数据层
标准规范公共数据层从业务易理解的视角来重新组织，定义一致的指标、维度，依据统一规范独立建设，从而形成统一规范的标准业务数据体系。
2.3.3 数据指标维度
2.3.3.1 实时变化数据指标维度
以厂站的ID为分片键，其主要包括遥测数据、遥信数据、电度数据等。
2.3.3.2 实时断面数据维度
包括点的唯一标识、点分类、量测类型、值、更新时间、点的数据质量码。
2.3.3.3 实时事件数据维度
以厂站的ID为分片键，其包括告警对象标识、报警类、报警串、优先级、厂站、间隔、设备、统计类型等。
2.3.4 业务目标对象与ID匹配
选择典型的对象建立标签体系。一种对象标签体系的建设不能影响另一种对象标签体系的建设，可以根据资源和业务紧急度，合理安排标签体系建设的前后关系。
2.3.5 数据打通和深度挖掘
给每个对象设置一个超级ID，作为唯一识别该对象的标识码，业务系统中不同的对象标识ID都通过一定的算法规则与这个超级ID打通，进而完成对象所有业务标识ID的打通。其具体功能：实时模型与未来态模型的融合;电网一次模型和二次模型的融合;主网与配网数据的融合;发电侧与用户侧数据的融合。
2.3.6 自动萃取代码并调度数据库
自动萃取代码能调度电网数据库中的设备信息、容器信息等。它根据给定的类名和属性名，服务动态组织SQL语句，返回电网模型资源信息。
对于周期性的查询任务模板，萃取代码在满足条件后自动执行查询。管理员可查看临时和计划任务执行的日志及当前执行的任务。
2.4 电力调度自动化系统数据服务层
以统一、规范的方式高效输出易用的数据服务，支撑前台灵活多变的应用需求。
电力调度自动化系统数据服务功能要求：
（1）实现对OCS系统历史数据中遥测和遥信的信息查询，并完成统计分析。结果通过文件、Web Service、数据库的方式对外提供服务。
（2）达到大规模数据查询快速响应的要求，如分库分表存储，对厂站ID、记录名和时间建立索引，查询和统计并行执行。
（3）多数场景中用户是定期执行特定的查询，需为用户提供向导定制查询服务，存储为模板，模板可发布，由其他用户订阅使用。
（4）权限与痕迹管理功能，可设定各用户对哪些测点、哪段时间的数据具有获取权限;能够记录用户的查询和调用操作，统计用户查询数据的数量与频次。
（5）功能自检，如检查历史数据库是否正确新增当日数据。
（6）集成Web版办公软件，可将数据结果融合到用户提供的docx、xlsx和pptx文件中，如集成libreoffice online或onlyoffice。
3 智能應用
3.1 调度自动化服务机器人
服务机器人能够在数据中台中查询各类结构化和非结构化数据，通过向导问答方式与用户交互，确定查询条件，实现跨表跨库联合查询，并能按照用户给定规则对数据进行分析和统计。典型场景有：机器人每天定时查询前一天的告警信息，并将查询结果按照时间排序;机器人每天统计出同一个厂站的所有通道投入、退出、遥测误码高的次数，并存在数据库中;输入关键字能在现有OCS系统历史数据库中查询到各类告警和测点的数据。
3.2 调度经济运行数据智能管家
调度经济运行数据智能管家系统主要实现对发电运行数据的存储、分析和应用，包含数据输入、数据管理、数据应用三方面功能。
（1）数据输入：具备从节调系统或OMS系统、OCS系统导入负荷数据、机组检修数据等功能;可人工导入机组电量、装机容量等原始数据表单。
（2）数据管理：具备基于给定规则，从输入数据中提取信息并形成电厂电量数据的功能，并可实现对电厂参数、电量数据、装机容量数据、负荷数据、检修数据等数据的存储，形成基础数据库。
（3）数据应用：对基础数据进行智能化统计及分析，具体包括电量与利用小时数、统调电量与负荷信息的汇总统计，节能效益测算，购电成本分析等功能。
4 结语
本文针对电力调度自动化系统数据规模大、数据较少深入挖掘、数据应用不够充分等问题，提出了一种电力调度自动化系统运行数据中台建设方案，基于商用云平台提供的IaaS层服务构建了3层架构——数据汇聚层、数据融合层、数据服务层，有效解耦传统调度自动化系统前台与后台的紧耦合关系，提高了电力调度自动化系统的数据输出和服务能力，能够支撑调控中心的数字化和智慧化转型。
[参考文献]
[1] 巨克真，魏珍珍.电力企业级数据治理体系的研究[J].电力信息与通信技术，2014，12（1）：7-11.
[2] 朱红甫.打造企业数据中台 推进企业智慧运营[J].通信企业管理，2018（2）：32-33.
[3] 张涛.数据标签在共享数据溯源中的应用研究[J].通信技术，2020，53（1）：221-224.
收稿日期：2021-04-08
作者简介：张丰鸣（1991—），男，湖北天门人，助理工程师，研究方向：电力系统及电气二次。
关键词：电力调度;调度自动化系统;数据中台
0 引言
电力调度自动化系统经过多年的运行，积累了丰富的运行数据，包括各种量测数据、告警数据、故障与运行事件数据、电量数据及计划预测类数据，但业务系统数据都是独立存在于OCS、OMS、EMS等系统中，形成了信息孤岛[1]。
随着互联网大数据分析的发展，“数据中台”的概念被提出，即采用数据的分层与水平解耦，将数据运营和产品能力从前台进行剥离，成立独立的数据中台，解决烟囱式数据架构体系的问题[2]。本文针对电力调度自动化系统，基于“数据中台”的理念，提出了一种电力调度自动化系统运行数据中台建设方法。
1 电力调度自动化系统数据管理存在的问题
1.1 数据规模方面
电力调度自动化系统包括主网、配网和用户侧的数据，日增数据规模可达2万亿条。
1.2 数据处理方面
传统数据分析以指标统计为主，较少深入挖掘数据规律，采用的技术手段难以处理海量、复杂、关联数据，导致“数据睡眠”[3]。
1.3 数据应用方面
如何充分利用数据资源为电网运行、规划、管理提供辅助决策，成为亟待解决的问题。
2 电力调度自动化系统运行数据中台架构
数据中台是处于最下层存储计算平台和上层数据服务之间的一套系统。技术人员不需要了解下层存储平台的计算技术复杂性，数据的使用成本更低。
2.1 总体架构
调度运行数据中台基于商用云平台提供的IaaS层服务构建了3层架构：数据汇聚层、数据融合层、数据服务层。系统总体架构如图1所示。
2.2 电力调度自动化系统数据汇聚层
数据汇聚将各类异构网络、异构数据源的数据非常便捷地采集到数据中台中进行集中存储，是数据中台的核心工具。通过标准化、在线化的数据采集接入工具，基于业务驱动逐步将数据时效由T+1提升到准实时，有效构建面向电力调度生态的调度运营服务的数据基础。
2.2.1 数据源梳理
数据源梳理任务通过配置驱动本地或者远程执行，电网数据分为结构化数据和非结构化数据。
结构化数据主要有：
（1）模型数据：源系统建模;
（2）实时数据：源系统实时变化数据;
（3）事件数据：源系统产生的遥信变位、SOE等告警数据;
（4）历史数据：源系统存在关系库中的数据。
非结构化数据主要有：
（1）图形：源系统的接线图、图片、视频主站的异常截图;
（2）文档：主要是OMS中各种格式的办公文档。
2.2.2 数据同步接入
2.2.2.1 IEC 61970的CIM/XML方式
双方基于IEC 61970标准实现，互联采用XML文件的方式，不仅能传输遥测、遥信的信息，而且能交换电网模型的描述信息。
2.2.2.2 文件方式
适用于传输非实时数据，用户可以选择导入内容和数据库域对应关系，方便远动点表等数据导入。
2.2.2.3 JMS方式
适合传输实时性较高的数据，可以支持两种消息模型：点对点消息和发布订阅消息，既可用于不定时的数据交换，又可用于实时数据传送。
2.2.2.4 Web服务方式
可用于传输数据，还可以传送模型文件、画面文件、计划报表文件等，例如：气象系统的数据接入。
2.2.3 对接各业务和外部数据
2.2.3.1 实时量测数据
各业务系统的实时运行数据，如遥信、遥测等，以及各类报警数据。
2.2.3.2 历史量测数据
全系统的历史状态数据、历史事项数据等。历史数据经过清洗、转换、过滤、索引，存储到分布式数据库中。
2.2.3.3 运行管理数据
设备检修、发电计划、停电计划等，存储到分布文件系统中。
2.2.3.4 非结构化数据
各种办公文档、图片等，存储到分布文件系统中。
2.2.4 存量和增量數据的同步协同
跨集群数据同步：基于插件的设计方法，可支持不同集群间的数据同步。
全量同步：分为表全量同步和库全量同步，表全量同步每次读取表中全量数据并写入，库全量同步策略是把库中所有表进行数据同步。
增量同步：分为新增、覆盖和更新3种策略，新增策略主要通过在目的端新建分区或者追写数据实现，覆盖和更新策略在同步配置时选择唯一键，根据唯一键对比同步中的数据和目的端数据，结合增量策略来判断数据是覆盖还是更新。
2.3 电力调度自动化系统数据融合层 数据融合是指数据的加工过程，通过数据加工提炼数据的价值，实现方便业务使用的目的。
2.3.1 不同主题域数据组织
不同主题域数据组织的目标就是把企业的全域原始数据都汇聚到数据中台。电力调度自动化系统整体数据域包括电网域、市场域、设备和安全域、信息域。
2.3.2 标准规范公共数据层
标准规范公共数据层从业务易理解的视角来重新组织，定义一致的指标、维度，依据统一规范独立建设，从而形成统一规范的标准业务数据体系。
2.3.3 数据指标维度
2.3.3.1 实时变化数据指标维度
以厂站的ID为分片键，其主要包括遥测数据、遥信数据、电度数据等。
2.3.3.2 实时断面数据维度
包括点的唯一标识、点分类、量测类型、值、更新时间、点的数据质量码。
2.3.3.3 实时事件数据维度
以厂站的ID为分片键，其包括告警对象标识、报警类、报警串、优先级、厂站、间隔、设备、统计类型等。
2.3.4 业务目标对象与ID匹配
选择典型的对象建立标签体系。一种对象标签体系的建设不能影响另一种对象标签体系的建设，可以根据资源和业务紧急度，合理安排标签体系建设的前后关系。
2.3.5 数据打通和深度挖掘
给每个对象设置一个超级ID，作为唯一识别该对象的标识码，业务系统中不同的对象标识ID都通过一定的算法规则与这个超级ID打通，进而完成对象所有业务标识ID的打通。其具体功能：实时模型与未来态模型的融合;电网一次模型和二次模型的融合;主网与配网数据的融合;发电侧与用户侧数据的融合。
2.3.6 自动萃取代码并调度数据库
自动萃取代码能调度电网数据库中的设备信息、容器信息等。它根据给定的类名和属性名，服务动态组织SQL语句，返回电网模型资源信息。
对于周期性的查询任务模板，萃取代码在满足条件后自动执行查询。管理员可查看临时和计划任务执行的日志及当前执行的任务。
2.4 电力调度自动化系统数据服务层
以统一、规范的方式高效输出易用的数据服务，支撑前台灵活多变的应用需求。
电力调度自动化系统数据服务功能要求：
（1）实现对OCS系统历史数据中遥测和遥信的信息查询，并完成统计分析。结果通过文件、Web Service、数据库的方式对外提供服务。
（2）达到大规模数据查询快速响应的要求，如分库分表存储，对厂站ID、记录名和时间建立索引，查询和统计并行执行。
（3）多数场景中用户是定期执行特定的查询，需为用户提供向导定制查询服务，存储为模板，模板可发布，由其他用户订阅使用。
（4）权限与痕迹管理功能，可设定各用户对哪些测点、哪段时间的数据具有获取权限;能够记录用户的查询和调用操作，统计用户查询数据的数量与频次。
（5）功能自检，如检查历史数据库是否正确新增当日数据。
（6）集成Web版办公软件，可将数据结果融合到用户提供的docx、xlsx和pptx文件中，如集成libreoffice online或onlyoffice。
3 智能應用
3.1 调度自动化服务机器人
服务机器人能够在数据中台中查询各类结构化和非结构化数据，通过向导问答方式与用户交互，确定查询条件，实现跨表跨库联合查询，并能按照用户给定规则对数据进行分析和统计。典型场景有：机器人每天定时查询前一天的告警信息，并将查询结果按照时间排序;机器人每天统计出同一个厂站的所有通道投入、退出、遥测误码高的次数，并存在数据库中;输入关键字能在现有OCS系统历史数据库中查询到各类告警和测点的数据。
3.2 调度经济运行数据智能管家
调度经济运行数据智能管家系统主要实现对发电运行数据的存储、分析和应用，包含数据输入、数据管理、数据应用三方面功能。
（1）数据输入：具备从节调系统或OMS系统、OCS系统导入负荷数据、机组检修数据等功能;可人工导入机组电量、装机容量等原始数据表单。
（2）数据管理：具备基于给定规则，从输入数据中提取信息并形成电厂电量数据的功能，并可实现对电厂参数、电量数据、装机容量数据、负荷数据、检修数据等数据的存储，形成基础数据库。
（3）数据应用：对基础数据进行智能化统计及分析，具体包括电量与利用小时数、统调电量与负荷信息的汇总统计，节能效益测算，购电成本分析等功能。
4 结语
本文针对电力调度自动化系统数据规模大、数据较少深入挖掘、数据应用不够充分等问题，提出了一种电力调度自动化系统运行数据中台建设方案，基于商用云平台提供的IaaS层服务构建了3层架构——数据汇聚层、数据融合层、数据服务层，有效解耦传统调度自动化系统前台与后台的紧耦合关系，提高了电力调度自动化系统的数据输出和服务能力，能够支撑调控中心的数字化和智慧化转型。
[参考文献]
[1] 巨克真，魏珍珍.电力企业级数据治理体系的研究[J].电力信息与通信技术，2014，12（1）：7-11.
[2] 朱红甫.打造企业数据中台 推进企业智慧运营[J].通信企业管理，2018（2）：32-33.
[3] 张涛.数据标签在共享数据溯源中的应用研究[J].通信技术，2020，53（1）：221-224.
收稿日期：2021-04-08
作者简介：张丰鸣（1991—），男，湖北天门人，助理工程师，研究方向：电力系统及电气二次。