增量ETL过程中对删除数据实现装载的设计

来源 :计算机时代 | 被引量 : 0次 | 上传用户:hurusato09
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘要:使用ETL过程将数据源数据装载到数据仓库,大多数时候是向数据仓库中追加数据,但有时也需要删除一些数据,以维持数据仓库中数据的正确性。文章结合Oracle ETL工具的装载特点提出了一种对增量数据进行预处理的方法,以实现有删除数据的ETL装载,并给出了具体的设计。
  关键词:增量ETL;增量数据;数据仓库;增量维护算法
  
  0 引言
  
  数据仓库中的ETL(Extract,Transform,Load)过程通过数据的抽取、清洗、转换、整合、传输、加载等操作,将业务系统数据库和外部数据源的数据,按照数据仓库模型整合到数据仓库中,是数据仓库的一个关键环节。ETL可划分为全量ETL和增量ETL两种过程方式。全量ETL方式主要用于数据仓库初始化,即数据的第一次载入,而增量ETL方式则用于数据仓库的数据追加和更新等维护。从效率和性能方面,增量ETL方式比全量ETL方式更适合数据仓库的日常维护。





其他文献
摘要:海量信息在网络上的出现,使搜索网站应运而生,越来越多的搜索工具受到关注。Nutch是一个开源Java实现的搜索引擎,扩展性较好,是人们研究的热点。现今出现的NUtch-0.8.1较好地处理了英文分词,但没有对中文分词进行处理。文章介绍了在NUtch-0.8.1中实现索引及检索的二分法,指出在中文分词上它比原Nutch-0.8.1有了明显的改善。  关键词:NUtch-0.8.1;二分法;索引
期刊
摘要:由于设计缺陷,ARP协议在使用过程中会出现IP地址盗用和ARP欺骗等安全问题。ARP协议欺骗是网络欺骗行为之一,攻击者可以利用ARP协议的特点重定向一个以太网段上的IP数据报以取得目标主机的信任。文章分析了ARP攻击的基本原理,并提出相关的防范ARP攻击的解决方案。  关键词:ARP欺骗;网络协议;网络安全;ARP协议    0 引言    ARP欺骗病毒及其各种变种直接影响到局域网络的正常
期刊
摘要:Network Address Translation(NAT)技术能够解决公网IP地址紧缺的问题,确保网络安全,但也阻隔了不同子网内peer之间的直接通信。文章介绍了基于User Datagram Protocol(UDP)的UDP Hole Punching技术实现NAT的穿越,并提出在完全P2P环境下内网中的P2P节点加入P2P网络并实现了NAT穿透的Friend Select Nod
期刊
摘要:为更好地保证计算机局域网内部数据资源不被泄密和偷盗,一方面要完善局域网内的信息安全管理;另一方面须采用先进网络技术对送出网络的信息进行监控,使信息不被泄密。后者的基本思路是拦截输出网络的信息,对这些信息进行安全检查,只有通过安全检查的信息才允许传输到外面的网络。  关键词:网络嗅探器;信息安全;数据包截获    0 引言    随着计算机网络技术的飞速发展,计算机网络已经显示出广域分布、体系
期刊
摘要:在当今主流的嵌入式系统安全解决方案中,存在着运行效率、安全性、可移植性和跨平台性等问题。文章针对这些问题,在“和欣”操作系统下,应用XML-Glue设计模式及面向构件技术,提出了开发具有跨平台、可定制等特性的自适应安全构件。安全构件既能运行在不同的嵌入式系统平台上,又能运行在传统的桌面计算平台上。文中介绍了安全构件的设计理念,并给出了其总体架构和详细设计。  关键词:“和欣”操作系统;构件技
期刊
摘要:依据基于列插合成模式的自由立体显示的基本原理,结合3DMAX插件体系,阐述以插件的形式创建立体摄像机实个现3DMAX的立体显示功能,详细说明了立体摄像机创建过程,并分析了影响立体摄像机的内部参数与立体深度之间的关系,最后讨论了实现效果及应用前景。  关键词:自由立体显示;3DMAX插件;立体摄像机;位差    0 引言    所谓自由立体显示是一种区别于需要通过佩戴偏振眼镜或者液晶眼睛等辅助
期刊
摘要:USSD是在GSM短消息系统基础上开发的数据交互技术,采用面向连接,提供透明通道的交互式会话方式,具有比短消息服务更高的传输速率和更强的交互性。文章首先介绍了中国移动通讯USSD应用接口协议的基本原理;为了更好地解决企业级消息交互中的问题,依据功能分层思想,提出了一种USSD应用接口协议的分层解决方案,根据该方案给出了各层的具体实现;并以发送USSD Submit包的流程为例,对协议的核心实
期刊
摘要:使用Linux进行嵌入式产品开发有一个很大的优势,就是开发资源丰富,且成本低廉。但是,技术路线复杂多样,专业人才相对匮乏是Linux嵌入式系统开发面临的一个难题。文章描述了嵌入式系统的特色,分析了嵌入式系统设计的过程,并从实际应用的角度,讨论了如何在S3C2410开发板上移植嵌入式Linux 2.6.11.7内核系统,用于构建H.264多媒体系统。  关键词:嵌入式系统;Linux;内核;文
期刊
摘要:早期国内开发的数控设备没有考虑到与常用CAD/CAM软件的结合,通用性和标准性不是很好,没有相应的后置处理软件与之配套,难以实现计算机辅助编程实验。而对于复杂的曲面,数控程序更难于人工编写。随着CAD/CAM软件的普及,计算机辅助设计与计算机辅助制造已在企业里广泛应用,需要让学生及时掌握企业里数控机床实际应用的有关知识,特别是计算机对复杂零件及曲面的特征提取、自动生成刀具进刀程序等内容。文章
期刊
摘要:远程教育中,很多学生由于缺少交流产生孤独感,从而导致辍学。网络化班级管理系统主要是为远程教育学生提供感情归属的目的而设计的。系统分前台和后台两部分,前台为学生提供温馨的网上班级环境和协同学习环境,并提供人性化的管理和服务功能;后台为班主任提供班级事务管理平台,使班主任工作从手工化转向信息化、自动化。  关键词:班级管理;远程教育;虚拟集体;网络化管理    0 引言    在远程教育中,对学
期刊