基于规则的交互式数据清洗技术

被引量 : 0次 | 上传用户:fengliufeng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对现有数据清洗工具存在的交互性差、不易扩展和元数据管理不完善等问题,提出了一种新的基于规则的交互式数据清洗体系结构,解决了这些不足,提高了数据清洗的效率。并给出了其中若干关键技术的解决方案。采用形式化语言表示清洗规则和领域知识,为实现自动化数据清洗奠定了基础。提出了一种新的交互式规则定义技术,即在样本数据上迭代定义清洗规则,既保证了所定义规则的质量,也提高了用户定义清洗规则的速度。并且阐述了清洗规则的实现方法。将数据清洗与已有的SEUETL工具相结合,使它们的转换功能和清洗功能相互补,既有强大的转换功能,也有很好的清洗能力。以往数据分析和转换清洗采用不同的软件,是两个独立的步骤,导致数据分析和转换清洗脱钩,给用户带来很多的不便。本框架将数据分析功能集成到数据清洗中,增强了清洗工具的功能。对数据分析和相似重复记录处理这两个模块,均采用基于专家系统的处理框架,以方便业务规则的表示和应用,并给出各自的推理算法。并使用改进的SNM算法作为相似重复记录处理的匹配算法和合并算法。另外,本文还就清洗工具所不可少的一部分——元数据管理,讨论了基于CWM标准的元数据管理模块的功能框架。
其他文献
目的分析无症状脑梗死患者的颈动脉超声特点及应用价值。方法选取2015-12—2016-11于我院接受治疗的无症状脑梗死患者40例(观察组),症状性脑梗死40例(症状组),另选取健康体检
中国当代女性写作经历了从“人的自觉”向“女性的自觉”的转变过程,80年代以后女性写作开始从整体的文学潮流中分离出来,王安忆的文学创作在这其中起到了关键的作用。本文对王
心理惩罚教育——一种隐性的学校教育病理现象田汉族当理想的教育价值受到不理想的教育效应的无情批判时,国外有的学者开始对教育理论和教育实践进行理性反思,他们认为:“因为几
实践教学是地理科学专业教学的重要组成部分,是培养学生职业素养与实践能力的基础。不同民族的学生实践能力的优劣直接影响着民族地区地理教学质量的好坏。本文运用问卷调查
优质商铺的空间分布特征可以衡量一定区域内商业发展水平,其高效合理的规划对于促进地区商业经济发展和满足居民生活需求从而提高生活便捷度具有重要的作用。与此同时,优质商铺与当地居民生活密切相关,进而影响人居环境质量。如何合理规划优质商铺在区域内的空间布局,既能确保优质商业资源在区域内的均衡性,又能提高人居环境质量,是当今城市化快速发展背景下亟需解决的重要问题。辽宁省作为中国重要的老工业基地和较早实施对外
随着《建设项目环境风险评价技术导则》的颁布,环境风险评价已经成为环境影响评价中的一个重要部分。对泄漏事故进行合理、可信的风险数值预测,并将结果进行直观的可视化表达是
职业能力是职业教育人才培养的主要目标,也是教育研究的热点领域。从职业能力的文献分析入手,对比了当前有代表性的几种职业能力测试方案,提出SOLO分类理论融合了要素观和实体观
在不能犯危险的认定标准上,主要存在抽象危险说、具体危险说等学说。抽象危险说从行为者的意思的危险中寻找未遂犯的可罚性根据。抽象危险说过于注重行为者的主观意思之危险
2.6牙膏抗牙结石功效评价2.6.1体外试验2.6.1.1菌斑生长与矿化模型通过模拟口腔中菌斑生长钙化过程,测定用牙膏处理后的菌斑钙化水平,以验证牙膏抑制牙结石生长的效果。该法
服装行业为提高产品的附加值和企业的竞争力,其发展趋势倾向于培育自主品牌,强化创新设计。服装设计人才的培养须适应行业的新形势,注重专业技能的需求变化,加强专业教学对学