ETL工作流的建模及优化

被引量 : 0次 | 上传用户:okdangdang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
ETL(抽取、转换、装载)过程的开发是数据仓库开发的重要组成部分。目前大型企业数据仓库(EDW)的实施中,需要处理的数据量非常庞大,逻辑关系复杂,所以ETL工作流的执行需要消耗大量的时间,经常无法在规定的时间内完成数据的集成,造成大量的文件堆积。为了减少这样的问题出现,本文提出一个ETL工作流建模及优化的方案。本文首先对ETL活动的通用模型进行了改进,然后利用建立的ETL活动模型对工作流进行建模,将每个ETL工作流看成一个状态,利用交换、因式分解等转换来构建状态空间,最后采用状态空间搜索的方法实现对ETL工作流的优化,从而减少ETL工作流的执行时间。ETL工作流的执行时间无法预计,会影响ETL开发部门与客户之间服务协议(SLA)的制定与实施,这是目前ETL开发工作中存在的又一问题。针对这个问题,本文提出一个时间成本模型。首先,在对ETL活动进行建模的过程中,引入一元线性回归方法,用来分析ETL活动的执行时间与数据量之间的关系。然后在此基础上,采用关键路径的思想,估算出整个ETL工作流的执行时间,为ETL过程的实施和控制提供参考数据。为了检验ETL工作流优化方案的有效性,本文实现了ETL工作流优化方案中的主要算法,并对算法进行了测试。实验证明,当工作流中包含的活动数目在一定范围内时,ETL工作流的优化方案执行效率较高,并能够有效地优化ETL工作流,减少其执行时间。
其他文献
<正>编前语:根据路遥原著小说改编的同名电视剧《平凡的世界》在北京卫视和东方卫视首播,掀起了新一轮的收视热潮。在收获"茅盾文学奖皇冠上的明珠""中国当代文学名著""影响
目的探讨以家庭为中心的产科护理对产褥期产妇产后抑郁的预防效果,减轻产妇自然分娩的负担,减少产妇产后抑郁的机会。方法选取2011年7月—2012年7月哈尔滨医科大学附属第一医
<正> 非对称空袭作战,是指充分发挥己方空袭兵器的作战效能,限制敌反空袭兵器效能的发挥,以单向打击的方式袭击敌目标的空袭行动。从近期发生的几场局部战争看,非对称空袭已
目的观察加味生地六味汤治疗早期糖尿病肾病的临床疗效。方法 113例早期糖尿病肾病患者分为研究组65例和对照组48例。2组患者都采用糖尿病饮食和运动疗法以及基础西药治疗,研
在过去的一个世纪中,外语教学目标己经从“语言能力”扩展到“交际能力”,又扩展到“跨文化交际能力”。我国英语语言理论工作者和广大英语教师在过去的20多年中,逐步认识到
目的 考察社区中老年人的慢性病患病现状及其对社区卫生服务的需求。方法 采用结构式访谈法对某社区 5 5岁以上中老年人进行入户调查 ,考察该社区中老年人慢性病患病率和卫
严格地讲,实际的控制系统可以说几乎全部都是非线性系统,或者说,在实际问题中遇到的系统,大多数是非线性系统。当控制系统的非线性环节很近似于线性特性时,用线性理论来分析
会计信息失真问题一直以来都是备受关注的焦点,虽然政府等有关部门为此采取了很多措施,但会计信息失真问题仍很突出。基于博弈论的基本原理,通过分析会计信息提供者和不同使
潘岳与陆机二人同为太康文学的代表人物,历代诗话中,各代论家对二人的评价各执一词,不尽相同。有人认为陆机宏博而潘岳浅近,亦有人认为潘诗清净而陆诗繁芜。不过他们的诗歌,
对外汉语教学是以培养交际能力为最终目标的,修辞是其中不可或缺的一部分。我们既要在对外汉语教学的不同阶段确定相应的修辞教学内容,循序渐进而又系统地进行修辞教学,同时