论文部分内容阅读
当前,随着人类进入到信息社会,人们对信息系统的依赖程度也越来越深。当信息系统中的数据量以指数级别增长的同时,数据的质量却没有得到足够的重视。尤其是近几年在经济全球化的影响下,产品和服务的竞争变得空前激烈,从而对数据提出了更高的质量要求。虽然数据的质量问题已经给人类的生产和生活造成了重大的影响,但是该领域的研究目前尚处于萌芽状态,一个完整的理论体系架构尚未建立起来。在诸如“什么是数据质量”这样最基本的问题上,研究者们尚未取得共识。本研究便是在这样的背景下,结合实践中遇到的几个方面的具体问题,作了一定程度的探讨。
按照国际上目前通用的分类方法,数据质量分析可以分为两类,即背景相关和背景无关的数据质量分析。前者指的是,根据数据所应该满足的业务规则,对数据的质量情况进行分析;后者则是在相关的业务规则无法获得时,对数据的质量情况进行分析。本文的研究为了解决企业数据所面临的具体问题,在背景相关和背景无关两种类型的分析方面均有所涉及,其内容主要包括如下几个方面:
一、背景相关的数据质量分析研究
数据质量分析标准在税务行业中的应用:选择了一些被广泛接受的数据质量评价标准,并依照每条标准的定义,对某税务局的数据质量情况进行了具体的分析。针对分析过程中发现的问题,并提出了相应的解决方案。
二、背景无关的数据质量分析研究
1.中文环境下的错误短语识别:对于数据集中的字符型数据,特别是含有中文的短语中所蕴含的错误进行识别。针对两类主要的中文输入法,拼音输入法和笔画输入法的特点,对可能产生的错误类型进行了分析。为了发现与输入法无关的其它类型的错误,采用了计算编辑距离的技术进行探测。
2.利用统计特征探索数据表之间的关系:数据表之间的相互关系在数据迁移过程中有着重要的作用。而实践中这样的约束关系常常没有在数据库中显式地进行定义,从而容易导致数据不一致的问题。本研究探讨了如何在数据质量不高的情况下,通过分析数据的统计特征,找出数据表之间可能存在的相互关系。研究中特别运用了统计学中的极端反应检验理论。
3.基于模式识别的数据质量分析:分布模式反映了数据的本质属性。研究首先探讨了如何对数据符合的模式进行识别;在此基础上,根据数据与模式的偏离程度甄别出可疑数据项;根据对可疑数据项的进一步分析,识别出错误数据。
本研究是以一个具体的数据质量分析项目为研究背景,对分析过程中所运用的若干技术进行了较为全面的阐述。实践证明,上述技术的综合运用对于协助企业发现数据问题,提高数据质量,起到了重要的作用。