基于动态可配置规则的数据清洗方法

来源 :计算机应用 | 被引量 : 0次 | 上传用户:zzs0901
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对传统数据清洗方法通过硬编码方法来实现业务逻辑而导致系统的可重用性、可扩展性与灵活性较差等问题,提出了一种基于动态可配置规则的数据清洗方法——DRDCM。该方法支持多种类型规则间的复杂逻辑运算,并支持多种脏数据修复行为,集数据检测、数据修复与数据转换于一体,具有跨领域、可重用、可配置、可扩展等特点。首先,对DRDCM方法中的数据检测和数据修复的概念、实现步骤以及实现算法进行描述;其次,阐述了DRDCM方法中支持的多种规则类型以及规则配置;最后,对DRDCM方法进行实现,并通过实际项目数据集验证了该实现系统在脏数据修复中,丢弃修复行为具有很高的准确率,尤其是对需遵守法定编码规则的属性(例如身份证号码)处理时其准确率可达100%。实验结果表明,DRDCM实现系统可以将动态可配置规则无缝集成于多个数据源和多种不同应用领域且该系统的性能并不会随着规则条数增加而极速降低,这也进一步验证了DRDCM方法在真实环境中的切实可行性。
其他文献
"卓越医师教育培养计划"的提出对我国医学人才的培养提出新要求。经过我国高等医学教育管理体制近20年的改革与发展,培养高素质医学人才已成为综合性大学发展的必然要求,大学
目的应用两种评分方法对409名肝硬化及重型肝炎患者进行评估比较,对两种评估结果及有关的上消化道出血及死亡等因素进行相关性分析。方法统计409名肝硬化及重型肝炎患者的相
<正>地道五谷杂粮、新鲜瓜果蔬菜......种类以百千计的特色农产品在第六届山西省科普惠农特色优质农产品展销会精彩亮相。本次展销会是省科协等单位贯彻落实党的十九大、中央
目的了解天津市疾病预防控制(以下简称疾控)机构人力资源的现况,为人力资源的合理配置提供参考依据。方法收集2011年天津市、区县两级19家疾控中心人力资源的资料,采用Excel
目的探讨热毒宁注射液治疗医院获得性肺炎前、后的外周血NLR和CRP的相关性。方法入选的HAP患者共计100例,在治疗前、后行外周血全血细胞计数及分类检测和C反应蛋白(C-reactiv
《伤寒论》和“温病学”所讨论的内容皆属于中医外感病的苑畴。后世常以《伤寒论》论风寒性外感病 ,“温病学”论温热性外感病 ,使两者对峙起来 ,故一直困扰着中医外感病学的
农村留守儿童问题是近年来社会关注的一个热点。由于各种原因,这一问题一直没有得到有效解决。新农村社区建设为解决这一问题提供了新契机。但目前农村社区建设在解决留守儿
软土地基上建造上承式连拱拱桥,结构对基础的要求相对较高。以浙江省某21孔半圆孔连拱拱桥为例,针对桥址段软土地基的特点,对拱桥的基础进行了重点设计与计算,提出了设计中需
扁平化设计风格代表了全新设计时代的来临,它以超越于拟物化设计的思维方式,为欣赏者和用户群体提供了全新的审美体验,从而丰富和完善了拟物化设计中存在的不足和缺陷。扁平
2001年6月30日,广西柳州中医院决定把药房交给三九医药集团管理,首开全国医院药房托管之先河。此后的5年间,广西、湖北、青海、广东、上海、河北、山东、四川、江苏、北京等