基于元数据控制的ETL系统应用研究

被引量 : 0次 | 上传用户:zyf20011027
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的飞速发展,企业内部产生了越来越多的数据,但这些数据并没有产生应有的信息,这就出现了“数据爆炸,知识贫乏”的局面,数据仓库技术应运而生。数据仓库是一个面向主题的、集成的、不断更新的且随时间不断变化的数据集合,数据仓库是支持企业决策分析的核心技术。数据仓库的目的是为了建立一种体系化的数据存储环境,将分析决策所需的大量数据从传统的操作环境中分离出来,使分散、不一致的操作数据转换为集成、统一的信息。然而,这个过程并非易事,这里所谓的传统的操作环境,是指企业在不同时期、在不同的背景下开发出来的事务处理系统,这些业务系统的建立,也往往是面向不同的应用、由不同的开发商来完成的,其数据的存储结构、存储平台和系统平台具有很大的异构性。如何将这些异构的数据有效地集成到数据仓库中,是企业所面临的一个难题。企业需要一个全面的解决方案来解决数据的一致性和集成化问题,使我们能够从所有传统平台和环境中采集数据,并利用一个单一的解决方案对其进行高效的转换,这个解决方案就是ETL。 ETL(Extract、Transform、Load),数据抽取转换装载系统,一般把它简称为数据抽取系统。ETL包括三个方面:首先是抽取,将数据从各种原始的业务系统中提取出来,这是所有工作的前提;其次是转换,按照预先设计好的规则对抽取的数据进行转换,使得本来异构的数据格式能够统一起来;最后就是加载,将转换好的数据按计划增量或者全部导入到数据仓库中。 可以说,ETL在传统的业务系统和数据仓库之间架立起了一座桥梁,确保新的数据能够源源不断地进入数据仓库。从整体的角度来看,ETL的主要作用在于其屏蔽了复杂的业务逻辑,从而为各种基于数据仓库的分析和应用提供了统一的数据接口。虽然ETL的技术含量相对来讲不算高,但其涉及到大量的业务逻辑和异构环境,因此在一般的数据仓库项目中,ETL部分往往是牵扯精力最多的。随着银行业务的不断增多,系统的数据量也迅速膨胀,年业务数据量往往是以G为单位,一些比较大的银行,年业务数据量甚至达到了几十G,乃至上百G。如此海量的数据,对ETL的运行效率提出了新的要求。 在传统的数据仓库建设中,往往强调数据仓库本身的建模和前端数据展示,而对ETL的设计和建模关心不足,使ETL过程反复进行,甚至导致项目实施的失败。从国内外众多的实践得到普遍的共识是ETL设计与实施的工作量要占到整个数据仓库项目时间的60%-50%o ETL在数据仓库建设的重要地位越来越得到人们的关注。 本文以某商业银行稽核系统为平台,在以下两个方面进行了深入研究:ETL架构设计和ETL任务模型设计。ETL架构设计属于ETL过程的物理结构,类似于工厂中的设备;而ETL任务模型设计属于ETL过程的逻辑结构,类似于工厂生产的调度、指挥等等。可以说,这两
其他文献
研究目的:研究当代大学毕业生求职面试中会采用哪些印象管理策略以及印象管理风格和交流恐惧对这些策略运用的影响。研究方法:采用深度访谈和问卷调查相结合的方法,并以SPSS11.5
伪造型犯罪是以行为方式进行归类的一类罪,不是一个具体的罪名,而是具有共同特征的一类罪。本文对伪造型犯罪的共同本质属性进行了一些初步的探析,同时也借签了外国,特别是德、日
中医药临床疗效评价是支持中医药发展的重要研究领域。鉴于当前中医药疗效评价研究已有的积累和面临的形势,立足国际高度,以合理客观评价中医药临床疗效与安全性为根本,为提
一.河北省抚宁县广播电视台发布违法保健食品、药品广告案当事人违法发布“唐通5.0”“好身板暖甲”“康谷丹舒筋活络丸”“古霸王大风丸”“追骨宁舒筋活络丸”等广告。广告利
处暑节气一般在公历8月22日或23日。意思是炎热的夏天即将过去。《月令七十二候集解》关于处暑说:处,去也,暑气至此而止矣。古代将处暑分为三候:一候鹰乃祭鸟;二候天地始肃;三候禾
期刊
根据上海市保障性安居工程建设模式和运行特点,分析了影响保障性安居工程质量的主要原因,总结了上海在保障性安居工程建设中全程质量管理现状和经验,借以进一步探讨提高保障性安
超细纤维的研制与发展是差别化涤纶长丝的一个主流方向,使用POY-DTY常规路线加工比其它生产方式具备多方面的优势,存在丰厚的经济利益空间。 本课题通过直接纺、切片纺两种
随着市场经济的快速发展,互联网技术深入到国企的生存发展中,传统的资金管理模式已经无法跟上时代发展的步伐,越来越多的国企运用计算机网络技术来提高资金管理水平,优化财务
在当前的新课标下,自主、合作、探究等新的学习方式受到重视和得到应用,阅读教学回归阅读的本原,多元化阅读和个性化阅读受到重视,而传统的目标制定方式以及所制定的教学目标一成
五年制高职教育作为高等职业技术教育的一种形式,与其它类型的高职教育相比有自己的办学特色与发展优势,因此受到了我国政府有关部门的重视并为之进行了积极地探索,且试图推进这