面向数据质量的ETL框架的设计与实现

来源 :计算机工程与设计 | 被引量 : 0次 | 上传用户:editzhang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对传统抽取-转换-装载(ETL)架构在数据质量控制方面的不足,提出一种面向数据质量管理的ETL架构。根据ETL过程的特点,设计多数据源接口模块、ETL元数据描述模块、ETL任务描述模块和数据质量控制模块等。该架构以数据质量为核心,通过建立数据分析模型,利用规则推导引擎对数据分析结果生成数据清洗方案,从而有效地对数据流进行质量评估和管理。基于该设计思想开发一个ETL工具-DQETL。DQETL采用统一建模语言进行设计,并提供友好界面对ETL过程进行集中管理。最后,结合实例阐述了在该框架下进行数据质量管理的一般步骤。
其他文献
1.临床资料:65例,年龄43~75岁,主要表现外阴瘙痒或灼热感,阴道分泌物增多,呈黄水状。阴道检查可见阴道皱襞消失,上皮菲薄,阴道粘膜充血,有小出血点,重者可见有浅表性溃疡。疗
在对砝码进行检定过程,要科学的分析造成砝码检定误差的因素,以此才能有效提高砝码检定水平。本文基于工作实践,深入总结了砝码计量检定误差原因及控制措施,作为研究人员,应
阐明了海洋文化的传承是塑造滨海城市特色景观的关键因素之一,通过对城市滨海景观基本构成要素和设计原则的分析,从海洋文化的角度出发,探讨了泉州滨海城市景观特色的塑造方
针对飞机动力系统的性能检测还是传统的人工检测手段,以工程应用需求及其提供的试验数据为依据,结合Sa-ber仿真软件的特点,利用基于实验数据、基于原理图等建模方法,并依据不
为解决彩色图像中目标难以准确分割的问题,提出了基于HSV综合显著性的彩色图像分割方法。该方法将原始RGB图像转换为HSV图像,从中分离出H通道、S通道和V通道,将其中的H通道和
<正>从立项到筹建,北大国际医院历经国家两轮医疗体制改革,在国家鼓励社会资本办医的政策红利推动下,走出一条社会资本创办非营利医院的不寻常之路2014年的最后一个月,北京大
韩国农业经营主体在农业现代化、工业化、城市化经历着变迁发展,家庭农场数量减少,经营规模在不断扩大,农场主老龄化加深;农业企业数量在增加,农协(合作社)在农业体系中发挥
目的:通过检测过敏性紫癜患儿外周血中IL-21、TGF-b1的变化探讨犀角地黄汤的体内免疫调节作用。方法:45例急性期过敏性紫癜患儿随机分为对照组23例与治疗组22例,并取正常组22
一直以来,煤化工产业在化工行业处于一个相对劣势的地位,但是随着近年来国际国内油价的飞速上涨,煤化工这一传统企业重新焕发出新的生机,并且在促进经济发展方面也发挥出非常
在明确粮食安全概念的基础上,分析了世界人口发展态势、人均粮食消费情况相关统计数据,参考了美国、印度等国的实际情况得知,贫困问题的解决、人口迅速增长、膳食结构改变、