ETL的优化设计

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:wosee_2008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数字化网络系统作为一种信息共享平台被应用到信息化建设中,数据信息的日益复杂和管理对象的繁多也越来越成为信息管理所面临的一个问题,ETL(Extraction-Transformation-Loading)的引入为共享平台提供了一个统一的接口,方便了对数据的操作和管理。一个良好的ETL处理过程可以很好的为数字化网络系统服务,目前的大部分ETL技术工具在处理少量数据时效率比较好,但是在处理海量数据的时候,经常会花费大量时间,在整个数据处理过程中还时常发生假死现象,因此在效率和可靠性方面还有待提高。本文主要针对ETL的设计进行了分析和对该处理过程的优化进行了研究。通过对ETL操作的各个过程进行了分析,并做出了效率提高,尤其是在数据转换这个关键阶段加入了临时数据库作为缓冲池,并且对数据进行批量提取,减少了外存向内存写入数据的时间开销,在多花费少量空间的情况下提高了效率,节约了大量的时间。经过大量数据的测试比较,优化的ETL流程方案在时间花费比传统的ETL操作过程减少了50%以上,效率得到了很好的提高。
其他文献
人耳听力具有较强的自适应调整能力,其中对发音人语速的快慢、音量的大小和基频的高低的自适应调整能力是非常高的。目前的语音识别系统(本文中主要是指IBM的ViaVoice语音识别
在分布式实时系统中,如果任务到来不均衡地分布到结点上,那么有些结点可能过载,而另外一些结点处于空载或轻载状态,这时,即使整个系统完全有能力完成所有任务,也有些任务不能在截止
随着网络的宽带化和综合化,人们在ATM交换结构的设计上越来越倾向于易于硬件实现的输入排队交换结构。作为前期“人力优先”和“空间优先”研究的接续,本论文主要报告采用“时
该文先分析了目前界面生成相关研究的现状,对比了当前用户界面设计方法和工具的优势和缺陷,并从用户的角度出发,研究了用户界面设计的需求和界面自动生成的理论依据.然后在现
该课题重点结合目前IP电话在世界上的发展状况和发展方向,从传统电话和IP电话的区别和结合入手,重点针对IP电话利用分组网络传输的特点,详尽分析了在穿透IP网络时,为了保证话
在论文的前几个章节,我们介绍了两个相关的理论:实例隐藏理论和计算复杂性理论.其中给出了实例隐藏的概念和主要结论,以及确定性计算的时间和宽间层次定理.在对这两个理论讨论
CORBA是目前分布式对象技术中主流的分布对象体系结构之一,它将对象技术引入到分布计算中,极大的便利了面向对象的分布式应用的开发。而CORBA构件模型的提出,促进了软件开发的可
该文首先对"IEEEStandardSignalingMethodforaBidirectionalParallelPeripheralInterfaceforPersonalComputers"(简称IEEE1284-1994标准)进行了分析,然后采用美国WarpNineEng
电子邮件是Internet的重要应用,电子邮件服务深刻影响着互联网的商业,教育,科研等活动。随着Internet的不断发展,传统单机上实现的电子邮件系统越来越难以满足应用的增长需要,传统
身份认证是网络安全的基石,是网络通信双方在通信时验证对方身份的技术。Kerberos是基于可信第三方KDC使用对称密钥加密算法的认证协议,适合在一个物理网络并不安全的环境下使