基于数据仓库的ETL优化与实现

被引量 : 0次 | 上传用户:taishengqi_1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据仓库为企业的决策支持提供强有力的依据,而ETL (Extraction. Transformation、Loading)过程是构建一个高数据质量数据仓库最重要的组成部分。它需要处理海量数据,及时刷新数据仓库的数据,如何快速处理海量数据并且得到高质量数据是一个非常值得研究的问题。ETL工具在商业领域应用广泛,且开发的效率比较高。但是运行效率却不尽如人意,而且在实现ETL之前并没有专门去设计ETL工作流。为了提高ETL的执行速度,优化项目中的ETL,本文采用ETL状态空间搜索的方式来优化ETL,即将ETL看成一个状态,它的所有等价状态即为状态空间,从状态空间中搜索得到一个最优的ETL工作流。首先针对项目具体问题,设计了UML类图,提出了基于前接节点的模式产生算法,研究分析了状态转换的条件,采用线性回归分析方法预测状态执行时间,使用JAVA语言实现了UML类图、相关的转换算法。并对比分析了常规模式产生和基于前接节点的模式产生算法的性能、穷举搜索算法和启发式搜索算法的性能;最后将优化方案应用到了工程项目中,将ETL初始状态输入算法从而得到最优ETL工作流。实验结果分析表明,设计的UML类图和基于前接节点的模式产生算法能明显提高搜索的效率、提高ETL的执行速度,并且能实际应用到实际的工程项目。
其他文献
我国是大蒜主要生产国,其产量占世界大蒜总产量四分之三。大蒜已成为我国部分地区出口创汇、农民增收的重要支柱性产业。但目前我国大蒜主要以原料和初级加工产品面向国内和
中华教育文化基金董事会是20世纪20年代用美国第二次退还的庚款建立起来的一个民间文教机构,简称为“中基会”,由中美双方共15名人士组成,负责所退庚款的管理与分配。中基会
磁悬浮隔振是一种新型的电磁力控制主动式隔振技术,在介绍磁悬浮隔振平台的基本原理基础上,分析了磁悬浮隔振的机理和特性,推导了其动态模型,论述了磁悬浮隔振控制策略,进行
针对葡萄大棚种植栽培的需要,本文提出了一种基于可编程片上系统的葡萄大棚智能管理系统。该系统中工作节点与数据汇聚节点都基于可编程片上系统实现,并可根据具体使用需求灵活
只有当目标位于图像导引头的瞬时视场之中时, 才有可能识别并捕获目标, 但由于图像导引头通常只有较小的瞬时视场, 这并不容易做到。为增大目标捕获概率, 本文提出了一种具有一维
<正>2009年1月1日,武汉药店分级管理制度正式实施。对于武汉的药店来说,分级制会是一道较为痛苦的门槛,但对于江城的执业药师们来说,分级制倒像是一盏明灯,把并不宽广的职业
目的探讨人附睾蛋白4(HE4)和糖链抗原125(CA125)联合检测在女性上皮性癌诊断和鉴别诊断中的应用价值。方法于2011年3月至2012年4月,对58例上皮性癌和64例良性病变女性患者进
目的探讨重庆地区不同年龄段健康体检女性血清人附睾蛋白4(HE4)的水平分布,为验证本地区的女性血清HE4水平参考区间提供参考。方法选取2013年1~12月在重庆某三甲医院进行健康
中国零售银行业在过去的十年中经历了飞速的发展。从2000年到2010年,零售存款和贷款规模分别增长了4.5倍和17倍,并且仍在快速提高。预计到2020年,行业总收入将达到1.5万亿人
经济全球化的趋势加上全球性的信息化浪潮的席卷,对各国高等教育的发展产生了巨大的冲击,也使得国际化信息人才成为紧缺人才,对我国国际化信息人才的培养提出了新的要求。因