论文部分内容阅读
摘要：电网设备台帐数据是电网生产运营分析必不可少的一部分，而且数据质量水平直接影响了数据分析结果的准确度和对策的合理性。现以广东电网有限责任公司中山供电局的设备台账数据质量为例来研究，通过总结分析设备台帐数据的质量现状，探究影响数据质量准确性的技术、管理等原因，比较不同的检查方法并重点分析基于数据分析的检查方法，利用数据挖掘技术对文本信息进行文本矫正。并提出能针對具体的数据质量来改善管理措施和技术措施，为提升信息系统数据质量提供了支撑。
关键词：数据质量现状；准确性；检查方法；文本矫正
中图分类号：TP311.13文献标识码：A 文章编号：1674-098X（2017）12（a）-0000-00
虽然每年网、省公司都会投资大量的资金人力来提升数据质量，但是目前的数据准确性依旧不够。因为目前数据质量提升的手段相对比较单一，并且都是通过已经制定好的检查系统的规则或者算法来进行检查，而这种制定好的规则更多是针对填写的规范性或者结构性问题来筛选，比如判断必填项是否填写、参数范围是否在枚举范围内等，这种检查规则并不能检查出数据准确性问题，另外检查规则的涉及范围十分有限，所以数据质量的提升达不到理想效果。
一、设备台帐数据质量现状
近几年来，信息系统不断完善提高，但还是存在数据缺失，数据质量准确性低下等问题。目前广东电网有限责任公司中山供电局设备台账数据质量的主要问题是数据准确性差，数据不完整，包括部分设备台账缺少数据，设备参数不准确及设备类别不准确等问题。设备参数不准确包括馈线长度不合理、生产厂家不合理，设备型号不准确，变压器额定电流不准确等；设备类别不准确具体包括开关类型不准确，配变类别不准确等问题。这些问题会影响账、卡、物的一致，比如不能有效支持业务应用，不能满足数据分析应用要求，同时不能有效支持基于台账数据质量的分析应用，不能很好地发挥数据价值。
二、设备台帐数据质量的检查方法
2.1传统检查方法
传统的检查方法就是基于已设定的规则检查，由业务专家梳理规则，系统固化规则，主要是检查必填项的填写和枚举值的参数范围。
传统检查方法很难检查出数据准确性问题，比如某些字段的筛选要求不够严谨，规则检测的数据基本全部通过，但实际有效的数据仍存在数据精准度不高等问题。如主变容量，按照规则只要填下下面任何一个都算正确，但实际上，不同电压等级变压器取值会有区别，如500kV变压器容量不可能只有800kV，110kV变压器容量也不会是1000000kV。另外杆塔档距要求是大于0的数字就行，但实际上还是有一个合理范围，与杆塔高度等都有关系。
2.2.基于数据分析的检查方法
这一种检查方法是采用数据挖掘技术，根据数据的分布特点，建立数据分析模型，进行数据质量的自识别，重点发现数据的准确性问题。由于主配网设备台账涉及三千多个设备类别，共计五千多个技术参数，无法对每一个参数单独建立分析模型。本方案总体思路是开发一套数据质量治理组建，针对数值型参数采用离群点检测组件，对于文本型参数采用文本矫正组件。
2.2.1杆塔呼称高、全高分析
2.2.1.1截尾方法
从上图可以明显看出，图中存在几个异常点，这些点与多数值比较极大，采用截尾方法处理，按照从小到大排序，截取99%以内的数据，剩下1%的数据为疑似可能值，将数据标记。
2.2.1.2基于密度的聚类
根据业务知识可知呼称高和全高存在一定的相关性，可能存在呼称高和全高在一定均在正常范围内，而呼称高和全高差距较大。利用基于密度的聚类实现异常点的检测。
3.文本矫正的样例分析
文本矫正主要是利用数据挖掘技术，建立标准库，通过文本挖掘计算矫正文本和标准库中的文本信息的相似度，进一步矫正文本信息，规范文本信息的填写。如设备生产厂家、型号等字段可采用此种方法进行检测，具体见样例分析中的文本矫正。
3.1 设备厂家文本矫正整体思路
① 首先建立标准厂家库，标准厂家库主要从数据库中提取和业务人员整理。
② 对历史厂家字段（或新输入厂家字段），利用文本挖掘手段在标准厂家库中匹配搜索。
③ 将标准中厂家名称推荐给用户。
3.2样例说明
四、提高设备台账数据质量的建议和措施
由分析现有的数据质量现状得出，提出以同时加强管理和技术手段的方式来保证数据的准确性。具体措施如下：
4.1建立设备台账管理制度
按月设定业务管理部门的数据考核标准，完善登记使用系统，提高使用者的责任心，确保每个部门都能执行设备台账管理制度。建立数据审核管理制度，记录每一个有问题的数据，具体到时间、人员、缺陷问题描述等。定期检查数据的消缺率和及时率，做到时刻监督。并且要对已经发现和处理的数据质量问题进行总结归类，比如数据质量的监控点设置、参考解决方案、实际解决方案、解决结果反馈等。并且为了跟进信息的发展和提高业务人员的水平，完善信息系统的功能结构，有必要对相关业务人员展开系统的培训。
4.2规范系统使用过程
有关部分要切合实际，制定可行的信息系统使用规范，在信息系统中实现数据的录入、分析、整理和汇总，真正提高数据的准确性。充分利用现有的信息资源，组建专门的培训队伍，培训系统的操作方法以及注意事项。比如组建以信息技术为主导的审查人员，形成一套数据审查规范，确保审查人员经过专门的培训并合理分配到每个业务部门，加强业务部门的操作规范。
4.3完善业务模型，优化系统设计
为了及时更新完善业务模型，需要对系统的设计进行优化。比如在业务部门设立专门的电话联络人员，及时更新用户和信息系统程序员之间的联系，电话联络人员可以对业务模型和数据范围进行监督，必要时候可以提供技术上的帮助。
4.4完善数据质量检测规则
为了有效应对不同类型数据，要提取相关的有效数据并结合数据挖掘技术来对不同的数据惊醒分析汇总，并且建立系统的检测方法和制定完善的检测规则。
4.5对历史问题进行数据清理
为了对历史数据进行有效的清理，应建立专门的清理组织，制定系统的工作方案，有序地进行历史数据的清理。由上级管理部门组织，各个业务部门共同参与配合，对资产设备进行统一的盘点并和数据目录进行核对。核对结束之后检查整理并及时更新设备台账，保证数据的准确性和完整度。
五、总结：
通过以上分析得出，提高设备台账数据质量准确性的具体措施。不仅对整个电网行业如何进行数据质量的提高和信息系统的完善有了较强的意识，同时也对企业合理利用数据系统开展业务分析，对企业决策起到参考作用。
参考文献：
[1]杨浩，徐晖，萧展辉等。广东电网公司生产信息系统使用化评价研究[J]。广东电力，2010，23（4）：29-34
[2]陈孟婕。数据质量管理与数据清洗技术的研究与应用[D].北京：北京邮电大学，2013
[3]党芳芳。电网企业业务数据质量管控技术的研究[D].北京：华北电力大学，2014
关键词：数据质量现状；准确性；检查方法；文本矫正
中图分类号：TP311.13文献标识码：A 文章编号：1674-098X（2017）12（a）-0000-00
虽然每年网、省公司都会投资大量的资金人力来提升数据质量，但是目前的数据准确性依旧不够。因为目前数据质量提升的手段相对比较单一，并且都是通过已经制定好的检查系统的规则或者算法来进行检查，而这种制定好的规则更多是针对填写的规范性或者结构性问题来筛选，比如判断必填项是否填写、参数范围是否在枚举范围内等，这种检查规则并不能检查出数据准确性问题，另外检查规则的涉及范围十分有限，所以数据质量的提升达不到理想效果。
一、设备台帐数据质量现状
近几年来，信息系统不断完善提高，但还是存在数据缺失，数据质量准确性低下等问题。目前广东电网有限责任公司中山供电局设备台账数据质量的主要问题是数据准确性差，数据不完整，包括部分设备台账缺少数据，设备参数不准确及设备类别不准确等问题。设备参数不准确包括馈线长度不合理、生产厂家不合理，设备型号不准确，变压器额定电流不准确等；设备类别不准确具体包括开关类型不准确，配变类别不准确等问题。这些问题会影响账、卡、物的一致，比如不能有效支持业务应用，不能满足数据分析应用要求，同时不能有效支持基于台账数据质量的分析应用，不能很好地发挥数据价值。
二、设备台帐数据质量的检查方法
2.1传统检查方法
传统的检查方法就是基于已设定的规则检查，由业务专家梳理规则，系统固化规则，主要是检查必填项的填写和枚举值的参数范围。
传统检查方法很难检查出数据准确性问题，比如某些字段的筛选要求不够严谨，规则检测的数据基本全部通过，但实际有效的数据仍存在数据精准度不高等问题。如主变容量，按照规则只要填下下面任何一个都算正确，但实际上，不同电压等级变压器取值会有区别，如500kV变压器容量不可能只有800kV，110kV变压器容量也不会是1000000kV。另外杆塔档距要求是大于0的数字就行，但实际上还是有一个合理范围，与杆塔高度等都有关系。
2.2.基于数据分析的检查方法
这一种检查方法是采用数据挖掘技术，根据数据的分布特点，建立数据分析模型，进行数据质量的自识别，重点发现数据的准确性问题。由于主配网设备台账涉及三千多个设备类别，共计五千多个技术参数，无法对每一个参数单独建立分析模型。本方案总体思路是开发一套数据质量治理组建，针对数值型参数采用离群点检测组件，对于文本型参数采用文本矫正组件。
2.2.1杆塔呼称高、全高分析
2.2.1.1截尾方法
从上图可以明显看出，图中存在几个异常点，这些点与多数值比较极大，采用截尾方法处理，按照从小到大排序，截取99%以内的数据，剩下1%的数据为疑似可能值，将数据标记。
2.2.1.2基于密度的聚类
根据业务知识可知呼称高和全高存在一定的相关性，可能存在呼称高和全高在一定均在正常范围内，而呼称高和全高差距较大。利用基于密度的聚类实现异常点的检测。
3.文本矫正的样例分析
文本矫正主要是利用数据挖掘技术，建立标准库，通过文本挖掘计算矫正文本和标准库中的文本信息的相似度，进一步矫正文本信息，规范文本信息的填写。如设备生产厂家、型号等字段可采用此种方法进行检测，具体见样例分析中的文本矫正。
3.1 设备厂家文本矫正整体思路
① 首先建立标准厂家库，标准厂家库主要从数据库中提取和业务人员整理。
② 对历史厂家字段（或新输入厂家字段），利用文本挖掘手段在标准厂家库中匹配搜索。
③ 将标准中厂家名称推荐给用户。
3.2样例说明
四、提高设备台账数据质量的建议和措施
由分析现有的数据质量现状得出，提出以同时加强管理和技术手段的方式来保证数据的准确性。具体措施如下：
4.1建立设备台账管理制度
按月设定业务管理部门的数据考核标准，完善登记使用系统，提高使用者的责任心，确保每个部门都能执行设备台账管理制度。建立数据审核管理制度，记录每一个有问题的数据，具体到时间、人员、缺陷问题描述等。定期检查数据的消缺率和及时率，做到时刻监督。并且要对已经发现和处理的数据质量问题进行总结归类，比如数据质量的监控点设置、参考解决方案、实际解决方案、解决结果反馈等。并且为了跟进信息的发展和提高业务人员的水平，完善信息系统的功能结构，有必要对相关业务人员展开系统的培训。
4.2规范系统使用过程
有关部分要切合实际，制定可行的信息系统使用规范，在信息系统中实现数据的录入、分析、整理和汇总，真正提高数据的准确性。充分利用现有的信息资源，组建专门的培训队伍，培训系统的操作方法以及注意事项。比如组建以信息技术为主导的审查人员，形成一套数据审查规范，确保审查人员经过专门的培训并合理分配到每个业务部门，加强业务部门的操作规范。
4.3完善业务模型，优化系统设计
为了及时更新完善业务模型，需要对系统的设计进行优化。比如在业务部门设立专门的电话联络人员，及时更新用户和信息系统程序员之间的联系，电话联络人员可以对业务模型和数据范围进行监督，必要时候可以提供技术上的帮助。
4.4完善数据质量检测规则
为了有效应对不同类型数据，要提取相关的有效数据并结合数据挖掘技术来对不同的数据惊醒分析汇总，并且建立系统的检测方法和制定完善的检测规则。
4.5对历史问题进行数据清理
为了对历史数据进行有效的清理，应建立专门的清理组织，制定系统的工作方案，有序地进行历史数据的清理。由上级管理部门组织，各个业务部门共同参与配合，对资产设备进行统一的盘点并和数据目录进行核对。核对结束之后检查整理并及时更新设备台账，保证数据的准确性和完整度。
五、总结：
通过以上分析得出，提高设备台账数据质量准确性的具体措施。不仅对整个电网行业如何进行数据质量的提高和信息系统的完善有了较强的意识，同时也对企业合理利用数据系统开展业务分析，对企业决策起到参考作用。
参考文献：
[1]杨浩，徐晖，萧展辉等。广东电网公司生产信息系统使用化评价研究[J]。广东电力，2010，23（4）：29-34
[2]陈孟婕。数据质量管理与数据清洗技术的研究与应用[D].北京：北京邮电大学，2013
[3]党芳芳。电网企业业务数据质量管控技术的研究[D].北京：华北电力大学，2014