构建基于工作流引擎和元数据驱动的数据仓库ETL工具

被引量 : 0次 | 上传用户:commander_ocean
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互连网和数据库技术的不断发展,经济全球化带来的企业竞争不断加剧,越来越多的企业想构建自己的数据仓库系统,对企业大量分散和异构的数据进行整合,期望从中获得更多有用的信息,来提升企业的竞争力。但是,手工编码实现的ETL使构建数据仓库系统的周期拉长,数据仓库的数据质量不高,针对这种情况,本文提出了构建基于工作流引擎和元数据驱动的数据仓库ETL工具的解决方案。这种解决方案大大缩短了数据仓库系统的开发周期,确保了数据仓库的数据质量,使新的业务数据自动的源源不断的进入数据仓库。这种基于工作流引擎和元数据驱动的数据仓库ETL工具是由工作流引擎负责抽取任务的管理、抽取任务的指派、抽取任务的依赖和约束关系检查,这样解决了抽取任务之间的复杂调度关系。而且,该ETL工具把所有跟数据抽取有关的数据以元数据的形式保存在元数据库,以元数据驱动数据抽取,实现了具体抽取程序跟具体业务的分离,使抽取程序灵活的适应具体业务逻辑的变化,不会因为具体的业务发生变化而改变抽取程序。本文首先在分析数据仓库的概念、特点及体系架构的基础上,指出了构建数据仓库ETL工具的必要性。接着对工作流和元数据技术进行介绍和分析,并在对数据仓库ETL工具分析的基础上提出了构建基于工作流引擎和元数据驱动的数据仓库ETL工具的解决方案。然后,对该ETL工具的整体框架进行了设计,并在该设计框架下,用Java实现了该ETL工具并进行了测试。最后对该ETL工具进行了总结,并对构建数据仓库ETL工具的下一步工作进行了说明和展望。
其他文献
在石油消费量和进口量不断增加的形势下,大力开展以煤代油和以煤造油技术,保证能源安全,是我国一项重要而紧迫的任务。在这一精神的指导下,1997年神华集团提出建设煤炭液化项目的
在总结梨树病毒病的主要危害和特点的基础上,综述了国内外梨树病毒种类,梨树病毒病防治,梨树病毒检测,茎尖脱病毒和脱病毒种苗快繁等研究进展,并探讨了我国梨树脱病毒技术研
“统筹城乡经济社会发展,建设现代农业,发展农村经济,增加农民收入,是全面建设小康社会的重大任务。”这是党的十六大赋予新世纪新阶段农业、农村、农民问题的新内涵。“三农”问
【正】 教育部高等学校教育类教材编选计划讨论会,于四月五日至十日在华中师范学院召开。这次会议是教育部文科教材办公室召开的,邀请了全国二十所高等师范院校和综合大学的
改革开放以来,我国国民经济的持续高速发展和人民生活水平的显著提高,导致建材业的增长速度持续超过国内生产总值的增长速度。新型墙材作为一类新型的建材,在我国整个建材行业中
树脂旧砂不经再生就不能重复使用。大量旧砂作为固体废弃物被扔掉,不仅是对优质硅砂资源的巨大浪费,而且还会对环境及地下水造成污染,因此,树脂砂旧砂进行再生利用,对于保护环境,保
传统戏曲的表演,很注重演员首次上场的亮相,其目的是为了让这首次印象能“抓”住观众,给人以鲜明突出的印象.这亮相留给观众的记忆就是首次强烈印象记忆.我们在新授中如注意
过量的施用化学肥料,对维持生态平衡和保护环境不利,微生物肥料具有长效、无毒、无污染、节约能源、成本低等特点,可弥补化学肥料的缺点和不足。开发和利用微生物肥料的一个关键
本学位论文工作主要围绕半导体激光器的热特性及封装技术两方面展开,以1.3μm InAsP/InGaAsP脊波导多量子阱激光器和InAlAs/InGaAs/InP中红外量子级联激光器为研究对象,针对半导体
对空间运动物体状态的测量是在工程中常见的问题普遍,线加速度、线速度和距离是描述运动目标状态的重要参数。对通常的线加速度值的测量可通过惯性加速度计获得,但对飞行中的线