论文部分内容阅读
摘 要: 隨着技术的不断进步,互联网+时代的到来,致使数据和信息量快速增长,与此同时人们可以以快捷低价的方式获取和存储数据,因此对数据的应用和支配变得愈加重要。对现代企业来说,数据是反映企业运作状况的主要依据,数据资产管理效果的高低影响企业的发展和目标,因此是企业管理中的一项重要课题之一。通过分析电力企业数据资产管理的关键流程,建立数据资产管理体系,梳理企业数据管理业务,为大数据应用与战略发展提供助力,推动电力企业的创新性发展。
关键词: 电力企业;数据资产;数据资产管理
中图分类号: TP391. 41 文献标识码: A DOI:10.3969/j.issn.1003-6970.2019.08.033
本文著录格式:潘鸣宇,王伟贤,张宝群,等. 电力企业数据资产管理体系研究与探索[J]. 软件,2019,40(8):139144
【Abstract】: With the continuous advancement of technology, the advent of the Internet + era has led to a rapid increase in data and information. At the same time, people can acquire and store data in a fast and low-cost manner, so the application and control of data becomes more and more important. For modern enterprises, data is the main basis for reflecting the operation of enterprises. The effect of data asset management affects the development and goals of enterprises, so it is one of the important topics in enterprise management. By analyzing the key processes of power enterprise data asset management, we can establish a data asset management system, combine the enterprise data management business, provide assistance for big data applications and strategic development, and promote the innovative development of power companies.
【Key words】: Power enterprises; Data assets; Data asset management
0 引言
数据是企业、生产、经营、战略等经营活动所依赖的、不可或缺的信息。它是组织最具有价值的资产之一,因此数据资产的管理在企业管理中变得越来越重要。数据资产管理管理是一项业务功能,用于计划、控制和提供数据和信息资产,以促进数据应用,提高数据资产的价值和业务价值。目前,电力企业数据资产管理工作每个业务条线内均开展了数据治理相关工作,但是业务部门之间存在协调与配合的问题。与此同时,数据管理工作开展的层次较浅,只包括业务环节的数据质量等问题,未涉及数据资产管理整个体系建设等深层次内容。因此,数据资产管理工作需要融合一定技术基础上,对企业自上而下的数据使用需求做到充分满足和响应,同时应该将数据、标准、技术和流程的四方面的内容作为重点内容纳入到电力企业的数据治理体系中,从而全面推动电力企业业务的和谐发展[1]。
1 数据管理的原则
1.1 综合管理原则[2]
建立集团、省、市三层级综合管理体制,制定数据资产管理规则,并协调和监管相关数据资产管理人员。
1.2 循环优化原则[2]
循环优化原则主要是针对较为重要的数据、问题及场景制定的,以不断循环不断优化为终极目标,达到从计划到过程监控再到结果提升效果的管理机制,以此提升数据质量,提高数据应用性能。
(1)建立滚动计划驱动的数据检查制度
将有问题的数据或重点关注的数据,分步骤有重点的分析、改进;进而分析数据源的采集流程,掌握资产状况,拟定数据的稽核方法,再使用业务数据验证,并审核发布。进入到日常管控过程后,可以根据问题处理的经验积累,不断完善数据的稽核方法;在阶段性总结时,通过对发生问题的整理分析,总结重点关注问题的处理效果,确定存在突出问题的数据范围,作为下一阶段管控重点的重要输入。总体上看,实现了业务与技术的循环、优化管理。建立了以数据资产计划为驱动的数据资产检查流程,包括从制定数据改进范围计划、抽样评估数据源状况、设计检查方法、验证检查方法、日常管控到阶段性总结与完善的管控环节。
(2)建立面向数据处理全过程的日常问题管控机制
数据在企业内各个业务系统间的不断流转,经历了从定义、生产、采集、处理、应用的全过程,这就要求一方面将资产管控要求融入到全过程的各个环节中;另一方面则从资产问题的发现与处理角度,建立从评估、处理、改进到总结的循环管理机制。 1.3 多角度管控原則[3]
是指建立数据管控体系,实现数据资产的多维度全方位管理。它主要包括下面内容:
(1)对数据属性、关系、含义与标准进行规范和标准化描述,形成资产评估的基础依据;
(2)应用不同的数据资产评估与管控方法对数据生命周期不同环节进行分析,提高各环节效率;
(3)加强元数据的管理与溯源,加强数据资产问题及异常的追踪。
1.4 分域推进原则[3]
在数据资产集中管控系统的基础上,根据企业不同生产过程应用域的情况,逐步实现不同业务域的监管与应用,促进数据资产管理全面化。
2 数据资产管理的方法
数据资产管理分别从问题发现、问题处理、管控效果测量与改进三个角度,形成稽核、预警和考核规则,并以此作为数据资产管控规则的基本方法[4,5]。
2.1 稽核
面向资产管理的对象,实现对其资产问题的发现和形成计量指标的方法。稽核计量属性包括及时性、准确性、完整性、一致性。稽核对象一般指数据资产管理的基本对象,包括接口、作业、实体、各类指标、数据应用及环境信息等类型。
2.2 预警
面对数据资产采集结果,对数据重要性、问题严重性分层、分级发布预警的规则。根据数据重要程度,进行预警分层,根据问题的严重程度进行分级处理。
预警规则用于建立支撑数据检查制度,包括建立数据检查机制和日常问题管控机制,数据检查制度需要滚动计划驱动,而日常问题管控制度需要对所涉及的数据进行全过程处理。
2.3 考核
考核是对数据资产及其管理工作效果的量化评估方法。数据资产考核综合考虑数据管理过程和数据管理结果,运用数据资产健康水平与数据资产管理水平进行评估,对组织责任规范体系、循环优化机制执行的效果进行衡量。
3 数据资产管理的对象和框架
3.1 数据资产管理的对象
数据资产管理的基本对象包括接口、作业、实体、指标、数据应用、环境信息等类型。
接口类是指在数据采集环节生成数据的系统接口;作业类是指数据的加工及提取;实体类是指在数据存储过程中以数据库表呈现的对象;指标类是指在数据使用过程中的具衡量意义的数据;数据应用类是指在数据使用环节所涉及的数据应用;环境信息类是指与数据资产管理密切相关的数据库、操作系统、文件系统等基础实施运行状况信息。
3.2 数据资产管理的框架[6,7]
依据数据资产管理对象的特点对数据资产管理框架进行划分,可以分为业务类、技术类和管理类三个层次。
业务类层次框架是数据资产管理的业务凭据,包括业务术语、资产需求、指标、稽核规则、业务报表等。技术类层次框架是对数据资产管理对象的监控、预警、异动问题解决、数据转换等工作的实现。管理类层次框架是对数据资产管理工作的支撑与保障,包括人员队伍建设、管理组织、管理制度、考核办法等。
数据资产管理内容框架如下图所示。
4 数据资产管理的内容
4.1 数据管理标准
企业数据资产主要包含三部分,分别是数据集成、数据加工汇总和数据应用。数据标准化的驱动力来自于数据质量[8,9]。从系统来看具体体现如图2所示。
数据标准化,是指系统之间、跨部门之间数据存在的不一致问题的解决方法。它是企业级数据标准,也是企业中不同部门之间、不同业务人员之间沟通的集中点。
(1)数据分层标准
对数据分层运用归纳总结的方法,从分层、再分主题对数据进行分类。划分数据仓库中的数据,并制定数据层次子主题,依据每个分层中各个主题的含义,将不同的数据表归属到相应主题上。数据分词定义如图3所示。
(2)数据主题标准
将数据资产按照企业业务主题划分;每个主题域的数据跨越多个层次结构。一般情况下可以划分为参与人主题、服务主题、资源主题、事件主题、账务主题、营销主题等。
(3)模型规范制定标准
模型规范制定标准包括以下几项,分别是表基本信息、表字段结构、质量规则和表的处理规则开发,其实际含义是指制定表的命名规范,字段的命名规范。
(4)数据质量标准
数据质量标准包括对质量规则的更改和对元数据对象质量规则的定义。对元数据对象质量规则的定义包括多项内容,从而实现数据标准的制定和完善。
(5)数据安全标准
数据安全标准包括流程制度管理、安全策略管理、安全策略检查、权限申请分配、安全设计等。通过数据安全标准的制定,保证数据的安全可用。
(6)数据元素字典
数据元素对应数据实体的属性。通过制定数据元素字典,明确数据基本属性,一般包括实体属性名称、定义、值域、类型、长度等。
(7)维表管理
维表管理是从每个层次、主题中提取出公共维度和其他维度的统一编码,以此了解系统数据中的关键内容,如特有维度、品牌维度, 编码标准维度等。
4.2 数据质量管理流程
数据质量管理系统的功能主要包括基础功能和关键维度一致性监控。数据质量管理流程包括规则配置管理、质量监控、质量问题处理、质量评估、质量报告、数据质量对外服务、质量信息查询、数据清洗等[10,11]。
(1)规则配置管理 在数据质量规则的基础上,对规则实现动态配置,即数据的属性、关系及历年数据,实现相关数据监控规则、阈值、维度信息等匹配,并后续进行维护。
规则的定义包括采集规则、监控规则、告警规则。采集规则是获取数据的方法,一般包括两种规则。采集代理规则可以是独立的常驻进程,也可以是基于调度的任务。而常驻进程形式的采集代理需要进行有效配置,分别是配置代理部署的IP地址、服务端接收数据的方式、服务器IP、服务端认证信息、执行采集任务的执行脚本或程序、启停参数、采集任务执行的时间和执行周期等。
监控规则是对数据进行质量稽查的规则,它是是数据质量规则的关键内容,是发现数据问题的主要依据。下表中所示的属性是信息监测的基本结构,且是必需的基本字段,但是也可以添加其他字段。
告警规则包括告警方式规则和告警订阅规则,是指在监控规则执行过程中,出现一些超出规则的特殊现象时发出警告信息所依据的准则与方法。
规则设置支持一个指标对应多个规则配置、一个指标对应多维度、波动性规则及阈值等。
(2)数据质量监控
数据质量监控是基于动态监控规则或算法和验证数据收集及数据规则,并根据审计和检查期间发现异常数据质量执行警报。
① 源接口关键数据稽核
源接口关键数据稽核主要是验证数据的差异性及波动性,主要稽核对象是源系统传输到目标源接口的文件及数据、关键表的关键字段和关键指标数据等。源接口关键数据稽核的作用在于可以尽可能早的发现数据是否存在异常,减少对经营分析等相关系统产生影响。
② 数据实体检查
实体检查是根据系统的模型约束、实体属性、实体关系和实体业务特征的角度检查数据的合理性,以此
对数据的实用性与精确性做出保障。实体检查包括主键取值合法性、外键检查、值域检查、编码规范检查、实体关键属性完整性检查、属性合法性检查等。
③ 处理过程检查
处理过程检查是在遵循一定规则的基础上对数据处理过程进行检查。数据处理过程需要注意处理过程的及时性及准确性。数据处理环节包括接口数据处理、数据仓库中的数据处理、数据集市中的数据处理及应用展现等。
(3)数据质量问题处理
数据质量问题处理是提供统一数据质量问题输入的窗口,并自动管理系统自动监控所发现的问题以及技术人员和业务人员手工提交的问题。相关人员可以进入到该入口对问题工作单进行填写和提交。
工作单由数据质量管理人员进行处理,处理流程如下图所示。
数据质量问题处理构建了一套完整的问题发现、分析追踪、处理总结的问题解决系统,界定了问题的责任源,推进数据问题快速解决。
数据质量管理员对数据质量问题进行登记和归档,问题的流转将分配给相关业务人员,而数据质量问题处理过程可以被追踪,流程透明。
(4)数据质量评估
数据质量评估包括基础数据质量评估和指标关联性分析。其中,基础数据质量评估是促进数据质量改善的重要依据,而指标关联性分析是发现潜在的数据质量问题的关键。
(5)数据质量报告
数据质量报告是对数据质量管理系统的关键数据稽核、日常监控以及数据质量评估等过程的各种信息进行梳理、汇总、统计和分析操作后形成的报告。数据质量报告集中展示数据质量状况,可以给数据质量管理人员提供参考,同时应用方法进行有效改进,提高数据质量問题的处理能力。
(6)数据质量对外服务接口
数据质量对外服务功能一般以服务接口调用方式或界面集成方式供业务系统使用。
(7)数据质量信息查询功能
数据质量信息查询可以分为以下两种:
① 数据质量问题查询:可以在某个时间段内对单个或多个对象的数据质量问题进行查询,并在当查询到质量问题时给予特别显示。
② 数据质量统计查询:可以查询某一个或几个组合维度的质量统计信息。
(8)数据清洗
数据清洗包括清洗规则库管理、清洗流程开发、清洗任务调度、清洗结果操作等。
5 数据资产管理考核办法
5.1 考核指标
数据资产考核对管理过程与管理结果进行综合性考核[12]。考核指标如下表所示。
5.2 评分办法
(1)数据资产健康水平
数据资产健康水平是基于各类数据资产情况汇总的考核指标。数据资产健康水平分别从及时性、准确性、完整性、一致性进行考核。
数据及时性主要考虑各类数据上传的及时率情况,数据准确性主要对各类数据的准确率进行评估,数据完整性主要对各类数据的完整率进行评估, 数据一致性主要对各类数据的一致率进行评价。
(2)数据资产管理水平[13]
数据资产管理水平主要针对数据问题分析及解决、数据资产管理管理机制等进行全方位考察,以此对数据资产进行评分。
数据资产管理总分为30分,主要考察数据提供方在数据资产问题分析、解决、组织机制等方面有效落实。
(3)数据资产总体水平
数据资产评分按月度与年度进行打分,其中:
月度得分=(月度数据资产健康水平)/70*100%;
年度得分=∑月度得分/正式上传数据的月数+
年度数据资产管理水平得分。
6 总结 在电力企业数据资产管理业务中,采取“综合管理”、“循环优化”、“多角度管控”、“分域推进”的原则,按照“稽核”、“预警”、“考核”的管理方法,对数据资产进行规范管理,提高数据资产健康水平和数据资产管理水平,为电力企业发展提供更高的运维效率和服务质量,更好的发挥数据资产作用提供保证。
本文通过介绍数据资产管理的流程体系,提出了数据资产管理的具体内容和考核方法,为企业提升数据资产管理能力,进一步保证数据的正确性提出可靠保障,从而为应用数据解决更多问题提供可靠基础,丰富了数据价值应用的可能,有效企业效益。
参考文献
[1] 张偲. 企业数据资产管理及利用外部数据的研究-以电力企业为例[D]. 北京: 北京邮电大学, 2017, 46-67.
[2] 闫立, 张巍. 电力系统项目实施过程中的数据管理[J]. 现代电力技术, 2011, 34(15): 214-218.
[3] 孙添资, 刘世民, 朱继阳. 电力企业数据资产管理系统的架构与实现[J]. 计算机应用, 2018, 37(3): 50-54
[4] 孟小峰, 李玉坤, 张相於. 数据空间:一种新的数据管理技术[J]. 计算机通讯, 2007, 8(4):67-69
[5] 于婧阳, 曹芸, 李卫骏等. 数据管理对电力企业建设的重要性探索[J]. 《企业改革与管理》, 2018, (7): 15-16.
[6] 巨克真, 魏珍珍. 电力企业级数据治理体系的研究[J]. 技术研究, 2014, 12(1): 7-11.
[7] 张一鸣. 数据治理过程浅析[J]. 中国信息界, 2012, (9): 15-17.
[8] 黄莺, 李建阳. 元数据质量評估研究现状剖析[J]. 中国电子商务, 2013, (4): 164-165.
[9] 李玉杰, 高建勇, 王栋等. 省级电力企业数据资产管理与数据化运营[J]. 中国科技纵横, 2016, (21): 148.
[10] 蒋乐, 朱林, 冯明等. 国网技术学院培训数据资产管理体系的研究与应用探索[J]. 国网技术学院学报, 2015, 18(5): 94-96
[11] 李谦, 白晓明, 张林等. 供电企业数据资产管理与数据化运营[J]. 华北电力, 2014, 42(3): 487-490.
[12] 郝春红, 安小米, 钱澄等. 数字科研档案资产管理研究-英国数据资产框架案例分析及借鉴[J]. 北京档案, 2014, (1): 13-16.
[13] 苏博, 陈溯, 唐成功. ERP数据质量评估与数据治理方法研究[J]. 信息系统工程, 2012, (8): 140-144.
关键词: 电力企业;数据资产;数据资产管理
中图分类号: TP391. 41 文献标识码: A DOI:10.3969/j.issn.1003-6970.2019.08.033
本文著录格式:潘鸣宇,王伟贤,张宝群,等. 电力企业数据资产管理体系研究与探索[J]. 软件,2019,40(8):139144
【Abstract】: With the continuous advancement of technology, the advent of the Internet + era has led to a rapid increase in data and information. At the same time, people can acquire and store data in a fast and low-cost manner, so the application and control of data becomes more and more important. For modern enterprises, data is the main basis for reflecting the operation of enterprises. The effect of data asset management affects the development and goals of enterprises, so it is one of the important topics in enterprise management. By analyzing the key processes of power enterprise data asset management, we can establish a data asset management system, combine the enterprise data management business, provide assistance for big data applications and strategic development, and promote the innovative development of power companies.
【Key words】: Power enterprises; Data assets; Data asset management
0 引言
数据是企业、生产、经营、战略等经营活动所依赖的、不可或缺的信息。它是组织最具有价值的资产之一,因此数据资产的管理在企业管理中变得越来越重要。数据资产管理管理是一项业务功能,用于计划、控制和提供数据和信息资产,以促进数据应用,提高数据资产的价值和业务价值。目前,电力企业数据资产管理工作每个业务条线内均开展了数据治理相关工作,但是业务部门之间存在协调与配合的问题。与此同时,数据管理工作开展的层次较浅,只包括业务环节的数据质量等问题,未涉及数据资产管理整个体系建设等深层次内容。因此,数据资产管理工作需要融合一定技术基础上,对企业自上而下的数据使用需求做到充分满足和响应,同时应该将数据、标准、技术和流程的四方面的内容作为重点内容纳入到电力企业的数据治理体系中,从而全面推动电力企业业务的和谐发展[1]。
1 数据管理的原则
1.1 综合管理原则[2]
建立集团、省、市三层级综合管理体制,制定数据资产管理规则,并协调和监管相关数据资产管理人员。
1.2 循环优化原则[2]
循环优化原则主要是针对较为重要的数据、问题及场景制定的,以不断循环不断优化为终极目标,达到从计划到过程监控再到结果提升效果的管理机制,以此提升数据质量,提高数据应用性能。
(1)建立滚动计划驱动的数据检查制度
将有问题的数据或重点关注的数据,分步骤有重点的分析、改进;进而分析数据源的采集流程,掌握资产状况,拟定数据的稽核方法,再使用业务数据验证,并审核发布。进入到日常管控过程后,可以根据问题处理的经验积累,不断完善数据的稽核方法;在阶段性总结时,通过对发生问题的整理分析,总结重点关注问题的处理效果,确定存在突出问题的数据范围,作为下一阶段管控重点的重要输入。总体上看,实现了业务与技术的循环、优化管理。建立了以数据资产计划为驱动的数据资产检查流程,包括从制定数据改进范围计划、抽样评估数据源状况、设计检查方法、验证检查方法、日常管控到阶段性总结与完善的管控环节。
(2)建立面向数据处理全过程的日常问题管控机制
数据在企业内各个业务系统间的不断流转,经历了从定义、生产、采集、处理、应用的全过程,这就要求一方面将资产管控要求融入到全过程的各个环节中;另一方面则从资产问题的发现与处理角度,建立从评估、处理、改进到总结的循环管理机制。 1.3 多角度管控原則[3]
是指建立数据管控体系,实现数据资产的多维度全方位管理。它主要包括下面内容:
(1)对数据属性、关系、含义与标准进行规范和标准化描述,形成资产评估的基础依据;
(2)应用不同的数据资产评估与管控方法对数据生命周期不同环节进行分析,提高各环节效率;
(3)加强元数据的管理与溯源,加强数据资产问题及异常的追踪。
1.4 分域推进原则[3]
在数据资产集中管控系统的基础上,根据企业不同生产过程应用域的情况,逐步实现不同业务域的监管与应用,促进数据资产管理全面化。
2 数据资产管理的方法
数据资产管理分别从问题发现、问题处理、管控效果测量与改进三个角度,形成稽核、预警和考核规则,并以此作为数据资产管控规则的基本方法[4,5]。
2.1 稽核
面向资产管理的对象,实现对其资产问题的发现和形成计量指标的方法。稽核计量属性包括及时性、准确性、完整性、一致性。稽核对象一般指数据资产管理的基本对象,包括接口、作业、实体、各类指标、数据应用及环境信息等类型。
2.2 预警
面对数据资产采集结果,对数据重要性、问题严重性分层、分级发布预警的规则。根据数据重要程度,进行预警分层,根据问题的严重程度进行分级处理。
预警规则用于建立支撑数据检查制度,包括建立数据检查机制和日常问题管控机制,数据检查制度需要滚动计划驱动,而日常问题管控制度需要对所涉及的数据进行全过程处理。
2.3 考核
考核是对数据资产及其管理工作效果的量化评估方法。数据资产考核综合考虑数据管理过程和数据管理结果,运用数据资产健康水平与数据资产管理水平进行评估,对组织责任规范体系、循环优化机制执行的效果进行衡量。
3 数据资产管理的对象和框架
3.1 数据资产管理的对象
数据资产管理的基本对象包括接口、作业、实体、指标、数据应用、环境信息等类型。
接口类是指在数据采集环节生成数据的系统接口;作业类是指数据的加工及提取;实体类是指在数据存储过程中以数据库表呈现的对象;指标类是指在数据使用过程中的具衡量意义的数据;数据应用类是指在数据使用环节所涉及的数据应用;环境信息类是指与数据资产管理密切相关的数据库、操作系统、文件系统等基础实施运行状况信息。
3.2 数据资产管理的框架[6,7]
依据数据资产管理对象的特点对数据资产管理框架进行划分,可以分为业务类、技术类和管理类三个层次。
业务类层次框架是数据资产管理的业务凭据,包括业务术语、资产需求、指标、稽核规则、业务报表等。技术类层次框架是对数据资产管理对象的监控、预警、异动问题解决、数据转换等工作的实现。管理类层次框架是对数据资产管理工作的支撑与保障,包括人员队伍建设、管理组织、管理制度、考核办法等。
数据资产管理内容框架如下图所示。
4 数据资产管理的内容
4.1 数据管理标准
企业数据资产主要包含三部分,分别是数据集成、数据加工汇总和数据应用。数据标准化的驱动力来自于数据质量[8,9]。从系统来看具体体现如图2所示。
数据标准化,是指系统之间、跨部门之间数据存在的不一致问题的解决方法。它是企业级数据标准,也是企业中不同部门之间、不同业务人员之间沟通的集中点。
(1)数据分层标准
对数据分层运用归纳总结的方法,从分层、再分主题对数据进行分类。划分数据仓库中的数据,并制定数据层次子主题,依据每个分层中各个主题的含义,将不同的数据表归属到相应主题上。数据分词定义如图3所示。
(2)数据主题标准
将数据资产按照企业业务主题划分;每个主题域的数据跨越多个层次结构。一般情况下可以划分为参与人主题、服务主题、资源主题、事件主题、账务主题、营销主题等。
(3)模型规范制定标准
模型规范制定标准包括以下几项,分别是表基本信息、表字段结构、质量规则和表的处理规则开发,其实际含义是指制定表的命名规范,字段的命名规范。
(4)数据质量标准
数据质量标准包括对质量规则的更改和对元数据对象质量规则的定义。对元数据对象质量规则的定义包括多项内容,从而实现数据标准的制定和完善。
(5)数据安全标准
数据安全标准包括流程制度管理、安全策略管理、安全策略检查、权限申请分配、安全设计等。通过数据安全标准的制定,保证数据的安全可用。
(6)数据元素字典
数据元素对应数据实体的属性。通过制定数据元素字典,明确数据基本属性,一般包括实体属性名称、定义、值域、类型、长度等。
(7)维表管理
维表管理是从每个层次、主题中提取出公共维度和其他维度的统一编码,以此了解系统数据中的关键内容,如特有维度、品牌维度, 编码标准维度等。
4.2 数据质量管理流程
数据质量管理系统的功能主要包括基础功能和关键维度一致性监控。数据质量管理流程包括规则配置管理、质量监控、质量问题处理、质量评估、质量报告、数据质量对外服务、质量信息查询、数据清洗等[10,11]。
(1)规则配置管理 在数据质量规则的基础上,对规则实现动态配置,即数据的属性、关系及历年数据,实现相关数据监控规则、阈值、维度信息等匹配,并后续进行维护。
规则的定义包括采集规则、监控规则、告警规则。采集规则是获取数据的方法,一般包括两种规则。采集代理规则可以是独立的常驻进程,也可以是基于调度的任务。而常驻进程形式的采集代理需要进行有效配置,分别是配置代理部署的IP地址、服务端接收数据的方式、服务器IP、服务端认证信息、执行采集任务的执行脚本或程序、启停参数、采集任务执行的时间和执行周期等。
监控规则是对数据进行质量稽查的规则,它是是数据质量规则的关键内容,是发现数据问题的主要依据。下表中所示的属性是信息监测的基本结构,且是必需的基本字段,但是也可以添加其他字段。
告警规则包括告警方式规则和告警订阅规则,是指在监控规则执行过程中,出现一些超出规则的特殊现象时发出警告信息所依据的准则与方法。
规则设置支持一个指标对应多个规则配置、一个指标对应多维度、波动性规则及阈值等。
(2)数据质量监控
数据质量监控是基于动态监控规则或算法和验证数据收集及数据规则,并根据审计和检查期间发现异常数据质量执行警报。
① 源接口关键数据稽核
源接口关键数据稽核主要是验证数据的差异性及波动性,主要稽核对象是源系统传输到目标源接口的文件及数据、关键表的关键字段和关键指标数据等。源接口关键数据稽核的作用在于可以尽可能早的发现数据是否存在异常,减少对经营分析等相关系统产生影响。
② 数据实体检查
实体检查是根据系统的模型约束、实体属性、实体关系和实体业务特征的角度检查数据的合理性,以此
对数据的实用性与精确性做出保障。实体检查包括主键取值合法性、外键检查、值域检查、编码规范检查、实体关键属性完整性检查、属性合法性检查等。
③ 处理过程检查
处理过程检查是在遵循一定规则的基础上对数据处理过程进行检查。数据处理过程需要注意处理过程的及时性及准确性。数据处理环节包括接口数据处理、数据仓库中的数据处理、数据集市中的数据处理及应用展现等。
(3)数据质量问题处理
数据质量问题处理是提供统一数据质量问题输入的窗口,并自动管理系统自动监控所发现的问题以及技术人员和业务人员手工提交的问题。相关人员可以进入到该入口对问题工作单进行填写和提交。
工作单由数据质量管理人员进行处理,处理流程如下图所示。
数据质量问题处理构建了一套完整的问题发现、分析追踪、处理总结的问题解决系统,界定了问题的责任源,推进数据问题快速解决。
数据质量管理员对数据质量问题进行登记和归档,问题的流转将分配给相关业务人员,而数据质量问题处理过程可以被追踪,流程透明。
(4)数据质量评估
数据质量评估包括基础数据质量评估和指标关联性分析。其中,基础数据质量评估是促进数据质量改善的重要依据,而指标关联性分析是发现潜在的数据质量问题的关键。
(5)数据质量报告
数据质量报告是对数据质量管理系统的关键数据稽核、日常监控以及数据质量评估等过程的各种信息进行梳理、汇总、统计和分析操作后形成的报告。数据质量报告集中展示数据质量状况,可以给数据质量管理人员提供参考,同时应用方法进行有效改进,提高数据质量問题的处理能力。
(6)数据质量对外服务接口
数据质量对外服务功能一般以服务接口调用方式或界面集成方式供业务系统使用。
(7)数据质量信息查询功能
数据质量信息查询可以分为以下两种:
① 数据质量问题查询:可以在某个时间段内对单个或多个对象的数据质量问题进行查询,并在当查询到质量问题时给予特别显示。
② 数据质量统计查询:可以查询某一个或几个组合维度的质量统计信息。
(8)数据清洗
数据清洗包括清洗规则库管理、清洗流程开发、清洗任务调度、清洗结果操作等。
5 数据资产管理考核办法
5.1 考核指标
数据资产考核对管理过程与管理结果进行综合性考核[12]。考核指标如下表所示。
5.2 评分办法
(1)数据资产健康水平
数据资产健康水平是基于各类数据资产情况汇总的考核指标。数据资产健康水平分别从及时性、准确性、完整性、一致性进行考核。
数据及时性主要考虑各类数据上传的及时率情况,数据准确性主要对各类数据的准确率进行评估,数据完整性主要对各类数据的完整率进行评估, 数据一致性主要对各类数据的一致率进行评价。
(2)数据资产管理水平[13]
数据资产管理水平主要针对数据问题分析及解决、数据资产管理管理机制等进行全方位考察,以此对数据资产进行评分。
数据资产管理总分为30分,主要考察数据提供方在数据资产问题分析、解决、组织机制等方面有效落实。
(3)数据资产总体水平
数据资产评分按月度与年度进行打分,其中:
月度得分=(月度数据资产健康水平)/70*100%;
年度得分=∑月度得分/正式上传数据的月数+
年度数据资产管理水平得分。
6 总结 在电力企业数据资产管理业务中,采取“综合管理”、“循环优化”、“多角度管控”、“分域推进”的原则,按照“稽核”、“预警”、“考核”的管理方法,对数据资产进行规范管理,提高数据资产健康水平和数据资产管理水平,为电力企业发展提供更高的运维效率和服务质量,更好的发挥数据资产作用提供保证。
本文通过介绍数据资产管理的流程体系,提出了数据资产管理的具体内容和考核方法,为企业提升数据资产管理能力,进一步保证数据的正确性提出可靠保障,从而为应用数据解决更多问题提供可靠基础,丰富了数据价值应用的可能,有效企业效益。
参考文献
[1] 张偲. 企业数据资产管理及利用外部数据的研究-以电力企业为例[D]. 北京: 北京邮电大学, 2017, 46-67.
[2] 闫立, 张巍. 电力系统项目实施过程中的数据管理[J]. 现代电力技术, 2011, 34(15): 214-218.
[3] 孙添资, 刘世民, 朱继阳. 电力企业数据资产管理系统的架构与实现[J]. 计算机应用, 2018, 37(3): 50-54
[4] 孟小峰, 李玉坤, 张相於. 数据空间:一种新的数据管理技术[J]. 计算机通讯, 2007, 8(4):67-69
[5] 于婧阳, 曹芸, 李卫骏等. 数据管理对电力企业建设的重要性探索[J]. 《企业改革与管理》, 2018, (7): 15-16.
[6] 巨克真, 魏珍珍. 电力企业级数据治理体系的研究[J]. 技术研究, 2014, 12(1): 7-11.
[7] 张一鸣. 数据治理过程浅析[J]. 中国信息界, 2012, (9): 15-17.
[8] 黄莺, 李建阳. 元数据质量評估研究现状剖析[J]. 中国电子商务, 2013, (4): 164-165.
[9] 李玉杰, 高建勇, 王栋等. 省级电力企业数据资产管理与数据化运营[J]. 中国科技纵横, 2016, (21): 148.
[10] 蒋乐, 朱林, 冯明等. 国网技术学院培训数据资产管理体系的研究与应用探索[J]. 国网技术学院学报, 2015, 18(5): 94-96
[11] 李谦, 白晓明, 张林等. 供电企业数据资产管理与数据化运营[J]. 华北电力, 2014, 42(3): 487-490.
[12] 郝春红, 安小米, 钱澄等. 数字科研档案资产管理研究-英国数据资产框架案例分析及借鉴[J]. 北京档案, 2014, (1): 13-16.
[13] 苏博, 陈溯, 唐成功. ERP数据质量评估与数据治理方法研究[J]. 信息系统工程, 2012, (8): 140-144.