论文部分内容阅读
[摘要]：随着电网规模的不断扩大和电力市场竞争机制的引入，ems和dms各自积累了海量的数据，如何更好地利用和管理这些日益庞大的同构和异构数据库，并挖掘出数据之间的潜在联系，帮助企业更好地分析和决策，已成为地区供电企业日益紧迫的需求。文章介绍了该数据仓库的设计模型、结构以及实施原则，并对其应用前景做了展望。
[关键词]：电力 高度 技术 分析
随着电网规模的不断扩大和电力市场竞争机制的引入，ems和dms各自积累了海量的数据，如何更好地利用和管理这些日益庞大的同构和异构数据库，并挖掘出数据之间的潜在联系，帮助企业更好地分析和决策，已成为地区供电企业日益紧迫的需求。数据仓库技术可以把企业内、外部数据进行有效的集成，主要应用于分析型处理，基于此，本文提出了建立地区电力调度数据仓库的思想和应用模型。
1. 数据仓库技术
1.1 数据仓库技术概要 数据仓库以改进后的数据库技术作为存储数据和管理资源的基本手段，以统计分析技术作为分析数据和提取信息的有效方法，通过人工智能、神经网络、知识推理等数据挖掘方法来发现数据背后隐藏的规律，实现从“数据——信息——知识的过程，从而为企业管理阶层提供各种层次的支持”。
1.2 数据仓库在电力调度的应用特点 ①面向主题：调度部门的ems和dms是以优化事务处理的方式来构造数据结构的，对于某个主题的数据常常分布在不同的数据库中，这意味着访问某个主题的数据实际上需要访问分布在不同数据库中的数据集合。②数据集成。③数据的稳定性。④随时间变化。
2. 地区调度数据仓库模型
建立地区调度数据仓库的基本思想就是在现有ems和dms基础上，把ems和dms中的海量数据进行抽取和转化后存人数据仓库，并针对不同的主题在数据仓库中建立数据集市，然后利用oltp和数据挖掘软件对不同主题的数据进行分析处理，从而帮助调度人员做出决策。
2.1 源数据层 源数据层主要是指地区电力调度现在所拥有的数据库系统，即ems和dms。另外，由于电力调度在分析和决策时需要用外部数据，如气象资料，省域网的部分资料数据等，因此，需要使用的外部数据也包括在源数据层内。
2.2 数据提取、转换/装载层 地区电力调度系统数据库中的数据量非常巨大，并不是所有数据都是分析决策所必须的，因此，只需用专用软件提取分析决策所必须的ems、dms数据和外部数据。另外针对原数据库系统中数据不一致的情况，必须对不一致的数据进行清洗和转换，使载人数据仓库中的数据和数据格式能够保持一致，供分析决策使用。
2.3 数据仓库层
数据仓库存储 数据仓库中存储了数据和元数据，其中数据的存储方式主要有虚拟存储方式、关系表存储方式和多维结构存储方式。由于虚拟存储方式效率差，而关系数据库的使用比较普遍，故采用关系表存储方式。使用oracle作为数据仓库设施，将数据存储在oracle的表结构中，并按星型结构来组织这些关系表。
电网数据组织结构。由于ems和dms中数据量非常庞大，因此有必要对数据进行综合。在数据仓库中，数据被分成4种级别，分别是高度综合级、轻度综合级、当前细节级和早期细节级。数据总是首先进入当前细节级，然后根据应用的需求，通过预运算将数据聚合成轻度综合级和高度综合级。若系统中的一些细节数据随着时间的推移已经老化，很少会被使用，可以将这些数据导出备份到设备上。
数据的处理。数据仓库中一般存放5至10年的数据，若将全部数据放在一张表内，由于数据量太大，会降低数据访问效率，因此必须对数据表进行合理的分割。可按时间对表进行分割，在表中增加时间字段，去除与分析主题无关的纯操作型数据。
在数据仓库中，有些数据更新的较为频繁，如实时数据，而有些数据更新的时间较长，如设备信息等。因此，有必要按数据更新的频率对表进行划分，将不同变化频度的字段放在不同的表中，各表之间使用相同的“标识号”进行关联，以节省存储空间。
负荷预测是地区电力调度工作的重要环节，可分为系统负荷预测和母线负荷预测两类；而系统负荷预测按周期又分为超短期负荷预测、短期负荷预测、中期负荷预测和长期负荷预测。 系统安全稳定性评估。电力系统有五种运行状态，分别为正常运行状态、告警状态、紧急状态、危急状态和恢復状态。可利用挖掘技术挖掘海量的电力系统运行数据，获悉电力系统在何种条件下处于正常运行状态、告警状态、紧急状态、危急状态和恢復状态，并对系统的安全稳定性做出评估，从而辅助调度人员做出决策。
电力系统故障分析。地区电力调度部门已经积累了大量的故障数据。系统故障的发生既有偶然的一面，又有规律性可遵循。运用数据挖掘技术对电网故障数据进行挖掘分析，获得发生故障与气候变化和负荷变化之间的联系，从而辅助调度人员进行决策，合理安排检修计划，保证电网安全可靠运行。
电力系统规划设计。电网规划是地区供电企业规划活动的基本环节，在规划过程中，需要处理大量的信息，可利用聚类、分类、关联、总结等挖掘工具挖掘模型和数据间的关系，为辅助决策系统增加约束条件，从而更合理地规划电网。
2.4 逻辑应用层 逻辑应用层主要包括olap、数据挖掘和界面子系统。现具体分析如下：
2.4.1 olap子系统 在ems和dms中，调度人员通过联机事务处理（oltp）和sql可对数据库进行简单查询。随着时间的推移，电网规模不断扩大，ems和dms中的数据量也急剧增加，调度人员需要从多个维度来观察调度系统的运营情况，从而辅助决策。
2.4.2 数据挖掘子系统 随着计算机技术在电力系统的广泛应用，地区电力调度部门已经积累了大量的运行数据和非运行数据，这些数据记录了地区供电企业多年的运行状况，电力调度人员急需对这些歷史数据进行深入分析，以获得有价值的信息，辅助调度员进行决策，提高电网运行的可靠性。
由于数據仓库具有主要面向分析型应用，辅助企业进行分析决策的强大优势，数据仓库技术正在逐步应用于地区电力调度部门。在原有数据库基础上，建立地区电力调度数据仓库，利用olap和数据挖掘工具对数据进行深入的分析和挖掘，找出数据之间的潜在联系，从而在负荷预测、系统安全评估、电力系统故障分析、电网规划和电力用户特征分析等方面辅助调度人员进行决策，减轻调度人员的负担。然而数据仓库毕竟是一门新兴技术，其在地区电力部门的应用还处于初期阶段，很多功能还在探讨之中。随着数据仓库技术的进一步完善，数据仓库技术在地区电力调度系统中的应用也将进一步完善和发展。
[关键词]：电力 高度 技术 分析
随着电网规模的不断扩大和电力市场竞争机制的引入，ems和dms各自积累了海量的数据，如何更好地利用和管理这些日益庞大的同构和异构数据库，并挖掘出数据之间的潜在联系，帮助企业更好地分析和决策，已成为地区供电企业日益紧迫的需求。数据仓库技术可以把企业内、外部数据进行有效的集成，主要应用于分析型处理，基于此，本文提出了建立地区电力调度数据仓库的思想和应用模型。
1. 数据仓库技术
1.1 数据仓库技术概要 数据仓库以改进后的数据库技术作为存储数据和管理资源的基本手段，以统计分析技术作为分析数据和提取信息的有效方法，通过人工智能、神经网络、知识推理等数据挖掘方法来发现数据背后隐藏的规律，实现从“数据——信息——知识的过程，从而为企业管理阶层提供各种层次的支持”。
1.2 数据仓库在电力调度的应用特点 ①面向主题：调度部门的ems和dms是以优化事务处理的方式来构造数据结构的，对于某个主题的数据常常分布在不同的数据库中，这意味着访问某个主题的数据实际上需要访问分布在不同数据库中的数据集合。②数据集成。③数据的稳定性。④随时间变化。
2. 地区调度数据仓库模型
建立地区调度数据仓库的基本思想就是在现有ems和dms基础上，把ems和dms中的海量数据进行抽取和转化后存人数据仓库，并针对不同的主题在数据仓库中建立数据集市，然后利用oltp和数据挖掘软件对不同主题的数据进行分析处理，从而帮助调度人员做出决策。
2.1 源数据层 源数据层主要是指地区电力调度现在所拥有的数据库系统，即ems和dms。另外，由于电力调度在分析和决策时需要用外部数据，如气象资料，省域网的部分资料数据等，因此，需要使用的外部数据也包括在源数据层内。
2.2 数据提取、转换/装载层 地区电力调度系统数据库中的数据量非常巨大，并不是所有数据都是分析决策所必须的，因此，只需用专用软件提取分析决策所必须的ems、dms数据和外部数据。另外针对原数据库系统中数据不一致的情况，必须对不一致的数据进行清洗和转换，使载人数据仓库中的数据和数据格式能够保持一致，供分析决策使用。
2.3 数据仓库层
数据仓库存储 数据仓库中存储了数据和元数据，其中数据的存储方式主要有虚拟存储方式、关系表存储方式和多维结构存储方式。由于虚拟存储方式效率差，而关系数据库的使用比较普遍，故采用关系表存储方式。使用oracle作为数据仓库设施，将数据存储在oracle的表结构中，并按星型结构来组织这些关系表。
电网数据组织结构。由于ems和dms中数据量非常庞大，因此有必要对数据进行综合。在数据仓库中，数据被分成4种级别，分别是高度综合级、轻度综合级、当前细节级和早期细节级。数据总是首先进入当前细节级，然后根据应用的需求，通过预运算将数据聚合成轻度综合级和高度综合级。若系统中的一些细节数据随着时间的推移已经老化，很少会被使用，可以将这些数据导出备份到设备上。
数据的处理。数据仓库中一般存放5至10年的数据，若将全部数据放在一张表内，由于数据量太大，会降低数据访问效率，因此必须对数据表进行合理的分割。可按时间对表进行分割，在表中增加时间字段，去除与分析主题无关的纯操作型数据。
在数据仓库中，有些数据更新的较为频繁，如实时数据，而有些数据更新的时间较长，如设备信息等。因此，有必要按数据更新的频率对表进行划分，将不同变化频度的字段放在不同的表中，各表之间使用相同的“标识号”进行关联，以节省存储空间。
负荷预测是地区电力调度工作的重要环节，可分为系统负荷预测和母线负荷预测两类；而系统负荷预测按周期又分为超短期负荷预测、短期负荷预测、中期负荷预测和长期负荷预测。 系统安全稳定性评估。电力系统有五种运行状态，分别为正常运行状态、告警状态、紧急状态、危急状态和恢復状态。可利用挖掘技术挖掘海量的电力系统运行数据，获悉电力系统在何种条件下处于正常运行状态、告警状态、紧急状态、危急状态和恢復状态，并对系统的安全稳定性做出评估，从而辅助调度人员做出决策。
电力系统故障分析。地区电力调度部门已经积累了大量的故障数据。系统故障的发生既有偶然的一面，又有规律性可遵循。运用数据挖掘技术对电网故障数据进行挖掘分析，获得发生故障与气候变化和负荷变化之间的联系，从而辅助调度人员进行决策，合理安排检修计划，保证电网安全可靠运行。
电力系统规划设计。电网规划是地区供电企业规划活动的基本环节，在规划过程中，需要处理大量的信息，可利用聚类、分类、关联、总结等挖掘工具挖掘模型和数据间的关系，为辅助决策系统增加约束条件，从而更合理地规划电网。
2.4 逻辑应用层 逻辑应用层主要包括olap、数据挖掘和界面子系统。现具体分析如下：
2.4.1 olap子系统 在ems和dms中，调度人员通过联机事务处理（oltp）和sql可对数据库进行简单查询。随着时间的推移，电网规模不断扩大，ems和dms中的数据量也急剧增加，调度人员需要从多个维度来观察调度系统的运营情况，从而辅助决策。
2.4.2 数据挖掘子系统 随着计算机技术在电力系统的广泛应用，地区电力调度部门已经积累了大量的运行数据和非运行数据，这些数据记录了地区供电企业多年的运行状况，电力调度人员急需对这些歷史数据进行深入分析，以获得有价值的信息，辅助调度员进行决策，提高电网运行的可靠性。
由于数據仓库具有主要面向分析型应用，辅助企业进行分析决策的强大优势，数据仓库技术正在逐步应用于地区电力调度部门。在原有数据库基础上，建立地区电力调度数据仓库，利用olap和数据挖掘工具对数据进行深入的分析和挖掘，找出数据之间的潜在联系，从而在负荷预测、系统安全评估、电力系统故障分析、电网规划和电力用户特征分析等方面辅助调度人员进行决策，减轻调度人员的负担。然而数据仓库毕竟是一门新兴技术，其在地区电力部门的应用还处于初期阶段，很多功能还在探讨之中。随着数据仓库技术的进一步完善，数据仓库技术在地区电力调度系统中的应用也将进一步完善和发展。