论文部分内容阅读
摘要：随着电网企业各部门信息化、数字化的高速发展，沉淀了丰富的全域数据资源，但系统间数据未有效贯通、共享公用，企业在数据价值挖掘、数据对业务支撑、拓展新兴业务等方面有强烈需求。本文针对提出了基于大数据和数据湖技术建立企业数据中台，统一企业数据标准和存储处理，并对外提供数据高效服务，最终实现企业数据驱动决策。
关键词：数据湖;贴源数据层;数据集市层;数据服务
目前来说，电力企业在市场营销、财务管控、物资管理、工程建设等业务领域都已实现了数字化管理，企业内部沉淀数据日益增多，系统之间的交互与协同更加复杂与频繁[1]。为提高企业内部、外部数据打通和业务流程协同，需建立一个高效的企业集成平台，为企业管理数据资产并提供数据服务。
1基于数据湖的建设概要
1.1建设的必要性
企业要实现产品全生命周期数据贯通，必须通过全量数据汇聚、治理、数据共享业务能力沉淀、数据服务构建以及数据开放，要实现上述功能，企业可通过数据湖技术完成建立企业数据中台，并以建立的数据中台构建企业的数据共享服务平台[2]。
1.2建设思路
1.2.1建设原则
（1）统一的数据资源与数据架构。系统设计采用统一的软硬件大数据基础架构设计，保障三个统一：统一资源、统一存储、统一运维;通过统一的架构设计使数据应用更聚焦于业务，提高数据利用率，避免重复的数据基础设施建设。通过构建以服务为中心的数据集成架构，提供数据抽取、数据清洗、数据集成等服务，以满足现在及未来的业务要求。（2）统一数据源的接入与数据贴源层的管理。统一连接、统一配置，为ERP、PMS、MDM、SG186、OA等业务系统提供统一的接入标准，规范数据接入过程，保障数据质量。（3）面向业务的数据开发与服务能力。面向业务的数据开发模式，给应用更大的灵活性，减少业务之间的隔离性;在基础设施与统一数据层的基础上，加速应用开发过程，提供数据服务能力。
1.3数据服务建设
1.3.1数据集成
基于数据湖的数据中台实现数据贯通，包括数据集成、数据治理、数据中台、数据服务平台等软件平台是技术支撑与承载，而真正要实现数据贯通还需要通过对数据标准的梳理、数据的集成、基于数据标准的清洗、数据服务的构建以及服务目录的开放与管控等一系列的建设内容。
1.3.2数据湖建设
数据湖平台接入数据包括业务数据、采集数据、设备数据等，数据经过数据落地区和操作加工区，对数据进行全面的清洗、加工、转换和建模，最终形成组织、人员、财务、物资等数据的整合区，并对数据通过标签计算、关系计算以及模型构建，形成物资、设备、财务、人员等的关联模型，形成一个有机衔接的整体，针对前端业务二次细分构建出不同业务方向的主题库，支撑各种业务分析业务。主要包括以下几步：（1）确定数据源。（2）数据接入。（3）贴源数据层（ODS）。（4）数据明细层（DWD）。（5）数据汇总层（DWS）。（6）数据集市层。（7）数据模型。（8）数据治理。（9）数据任务。
2 基于数据湖的数据服务与共享
基于数据湖共享平台的企业信息数据是公司生产、经营、运行、管理等数据的大集中，具有全面性、完整性，为了保障数据在与其他系统流通过程的安全、及时，数据共享服务支撑平台提供以接口的方式对外进行数据服务，根据业务应用场景的不同提供不同的服务方式，可以分为共享服务、直接服务和场景服务。每种服务的方式对数据封装的要求不同，需要底层平台具备数据开发能力，如算法挖掘、多类型任务开发等，数据开发完成后，需要服务封装，如服务开发、注册、管理、统计分析等，具备数据开发及服务封装全面、有效的支撑各种数据服务。
3 数据中台建设后作用
数据中台建立后，企业将数据作为生产资料转化为数据生产力[3]。在全球数据化时代，企业只有了解用户，在数据支撑的条件下不断创新，打破数据孤岛，才能在日益激烈的竞争中长期保持优势。
3.1 洞察客户的观念和行为
在以客户为中心的时代，客户的观念和行为正在从根本上改变企业的经营方式以及企业与客户的互动方式。数据中台建设的核心目标就是以客户为中心的持续规模化创新，而数据中台的出现，将会极大提升数据的应用能力，将海量数据转化为高质量数据资产，为企业提供更深层的客户洞察，从而为客户提供更具个性化和智能化的产品和服务。
3.2 为企业管理模式的创新提供数据基础
只有依托数据和算法，将由海量数据提炼的洞察转化为行动，才能推动大规模的管理创新。数据中台在通过算法将洞察直接转化为行动、实现管理创新方面的能力，令人瞩目。同时，在快速构建服务能力、加快管理创新、提升业务适配等方面，数据中台也将会发揮重要的作用。
3.3 打破数据孤岛
面对纷繁复杂而又分散割裂的海量数据，数据中台的突出作用和意义在于能充分利用内外部数据，打破数据孤岛的现状，打造持续增值的数据资产，在此基础上，能够降低使用数据服务的门槛，繁荣数据服务的生态，实现数据“越用越多” 的价值闭环，确保竞争优势。这些服务跟企业的业务有较强的关联性，是这个企业独有且能复用的，它是企业业务和数据的沉淀，不仅能降低重复建设、减少烟囱式协作的成本，也是差异化竞争优势的所在。
结束语
数据中台的主要功能是统一标准和口径后对数据进行存储和处理，使企业能够提供更高效的服务。总之，建立数据中台的目标是节约企业成本，实现精细化运营，最终实现数据驱动决策。
参考文献
[1]李信鹏， 刘威， 杨智萍，等. 电网企业数据中台方案研究[J]. 电力信息与通信技术， 2020（2）：1-8.
[2]李志， 费晓璐， 郭振. 基于数据中台的电力企业数据资产管理方法研究[J]. 电力信息与通信技术， 2020（7）.
关键词：数据湖;贴源数据层;数据集市层;数据服务
目前来说，电力企业在市场营销、财务管控、物资管理、工程建设等业务领域都已实现了数字化管理，企业内部沉淀数据日益增多，系统之间的交互与协同更加复杂与频繁[1]。为提高企业内部、外部数据打通和业务流程协同，需建立一个高效的企业集成平台，为企业管理数据资产并提供数据服务。
1基于数据湖的建设概要
1.1建设的必要性
企业要实现产品全生命周期数据贯通，必须通过全量数据汇聚、治理、数据共享业务能力沉淀、数据服务构建以及数据开放，要实现上述功能，企业可通过数据湖技术完成建立企业数据中台，并以建立的数据中台构建企业的数据共享服务平台[2]。
1.2建设思路
1.2.1建设原则
（1）统一的数据资源与数据架构。系统设计采用统一的软硬件大数据基础架构设计，保障三个统一：统一资源、统一存储、统一运维;通过统一的架构设计使数据应用更聚焦于业务，提高数据利用率，避免重复的数据基础设施建设。通过构建以服务为中心的数据集成架构，提供数据抽取、数据清洗、数据集成等服务，以满足现在及未来的业务要求。（2）统一数据源的接入与数据贴源层的管理。统一连接、统一配置，为ERP、PMS、MDM、SG186、OA等业务系统提供统一的接入标准，规范数据接入过程，保障数据质量。（3）面向业务的数据开发与服务能力。面向业务的数据开发模式，给应用更大的灵活性，减少业务之间的隔离性;在基础设施与统一数据层的基础上，加速应用开发过程，提供数据服务能力。
1.3数据服务建设
1.3.1数据集成
基于数据湖的数据中台实现数据贯通，包括数据集成、数据治理、数据中台、数据服务平台等软件平台是技术支撑与承载，而真正要实现数据贯通还需要通过对数据标准的梳理、数据的集成、基于数据标准的清洗、数据服务的构建以及服务目录的开放与管控等一系列的建设内容。
1.3.2数据湖建设
数据湖平台接入数据包括业务数据、采集数据、设备数据等，数据经过数据落地区和操作加工区，对数据进行全面的清洗、加工、转换和建模，最终形成组织、人员、财务、物资等数据的整合区，并对数据通过标签计算、关系计算以及模型构建，形成物资、设备、财务、人员等的关联模型，形成一个有机衔接的整体，针对前端业务二次细分构建出不同业务方向的主题库，支撑各种业务分析业务。主要包括以下几步：（1）确定数据源。（2）数据接入。（3）贴源数据层（ODS）。（4）数据明细层（DWD）。（5）数据汇总层（DWS）。（6）数据集市层。（7）数据模型。（8）数据治理。（9）数据任务。
2 基于数据湖的数据服务与共享
基于数据湖共享平台的企业信息数据是公司生产、经营、运行、管理等数据的大集中，具有全面性、完整性，为了保障数据在与其他系统流通过程的安全、及时，数据共享服务支撑平台提供以接口的方式对外进行数据服务，根据业务应用场景的不同提供不同的服务方式，可以分为共享服务、直接服务和场景服务。每种服务的方式对数据封装的要求不同，需要底层平台具备数据开发能力，如算法挖掘、多类型任务开发等，数据开发完成后，需要服务封装，如服务开发、注册、管理、统计分析等，具备数据开发及服务封装全面、有效的支撑各种数据服务。
3 数据中台建设后作用
数据中台建立后，企业将数据作为生产资料转化为数据生产力[3]。在全球数据化时代，企业只有了解用户，在数据支撑的条件下不断创新，打破数据孤岛，才能在日益激烈的竞争中长期保持优势。
3.1 洞察客户的观念和行为
在以客户为中心的时代，客户的观念和行为正在从根本上改变企业的经营方式以及企业与客户的互动方式。数据中台建设的核心目标就是以客户为中心的持续规模化创新，而数据中台的出现，将会极大提升数据的应用能力，将海量数据转化为高质量数据资产，为企业提供更深层的客户洞察，从而为客户提供更具个性化和智能化的产品和服务。
3.2 为企业管理模式的创新提供数据基础
只有依托数据和算法，将由海量数据提炼的洞察转化为行动，才能推动大规模的管理创新。数据中台在通过算法将洞察直接转化为行动、实现管理创新方面的能力，令人瞩目。同时，在快速构建服务能力、加快管理创新、提升业务适配等方面，数据中台也将会发揮重要的作用。
3.3 打破数据孤岛
面对纷繁复杂而又分散割裂的海量数据，数据中台的突出作用和意义在于能充分利用内外部数据，打破数据孤岛的现状，打造持续增值的数据资产，在此基础上，能够降低使用数据服务的门槛，繁荣数据服务的生态，实现数据“越用越多” 的价值闭环，确保竞争优势。这些服务跟企业的业务有较强的关联性，是这个企业独有且能复用的，它是企业业务和数据的沉淀，不仅能降低重复建设、减少烟囱式协作的成本，也是差异化竞争优势的所在。
结束语
数据中台的主要功能是统一标准和口径后对数据进行存储和处理，使企业能够提供更高效的服务。总之，建立数据中台的目标是节约企业成本，实现精细化运营，最终实现数据驱动决策。
参考文献
[1]李信鹏， 刘威， 杨智萍，等. 电网企业数据中台方案研究[J]. 电力信息与通信技术， 2020（2）：1-8.
[2]李志， 费晓璐， 郭振. 基于数据中台的电力企业数据资产管理方法研究[J]. 电力信息与通信技术， 2020（7）.