钻井数据仓库ETL工具研究与实现

被引量 : 0次 | 上传用户:bailong08
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
计算机及网络技术的快速发展与应用使企业在各种应用系统下积累了大量的数据资源,它们构成了企业的宝贵财富。今天,越来越多的企业正在构建数据仓库来满足其战略决策需要,因此就必须将这些异构的数据源进行集成。所以,提供一种好的ETL工具是非常有益的工作。利用ETL工具可以对异构数据源中的业务数据.抽取和转换,并将其转载到数据仓库中,为基于数据仓库的决策分析应用提供高质量的数据。本文首先对ETL过程和数据仓库进行了研究,ETL过程包括数据抽取、转换、清洗和加载几个阶段。接着还对ETL过程中很重要的数据映射关系进行了分析研究。然后对传统的ETL工具体系结构进行了分析,针对其开放性差和二次开发不足,提出了基于元数据的三层体系结构,使得ETL过程更加高效、通用和灵活。在对数据追加技术的研究中,分析了目前比较流行的几种追加技术并分析了它们的优缺点,如:基于快照差分算法的数据追加技术、基于日志分析的数据追加技术、基于触发器的数据追加技术、基于时间戳的数据追加技术。通过对数据转换技术的研究,本文提出了一种基于元数据的数据转换方法。将数据的转换阶段单独分离出来,同时提供数据转换重用机制,将那些可以重用的规则保存下来以便于日常增量数据的定时抽取、转换及加载;用户也可以根据自己的需求重新定义数据转换规则,通过这种方式增加了ETL过程的灵活性。最后本文结合钻井数据仓库的实际需求,利用前面的理论研究成果,设计并实现了本钻井数据仓库ETL工具。它为基于元数据的三层体系结构,使用基于元数据的数据转换方法实现了把钻井数据源数据导入到钻井数据仓库里。该工具包括五大模块:元数据管理模块、任务管理模块、数据访问模块、数据追加模块和数据转换加载模块。用户可以利用程序提供的任务配置界面配置数据抽取转换任务,并把它们存储在元数据库中,然后定时调度这些抽取转换任务,利用时间戳数据追加技术实现同常增量数据的加载;如果任务需要变更的时候,用户还可以重新配置该任务。所以,该工具在实现了其专用目的的同时也具有一定的灵活性。
其他文献
本文根据林太乙《林语堂传》中提供的情况,对林语堂创作长篇《赖伯英》的显在心理动机和潜在无意识愿望进行了探索,分析出林语堂的恋乡情绪和恋陈情绪在长篇中怎样得到艺术的
在过去的20多年中,司法改革在刑事司法转轨过程中的不俗表现,一直令中外法学家为之着迷,作为其背后重要新生力量的恢复性司法更是倍受关注。恢复性司法在传统的报应性刑事司法中
《查泰莱夫人的情人》是劳伦斯最后一部长篇小说,也是现代英国小说史上最有争议的作品之一。受争议最主要的原因就在于小说里面有大量的性描写。正是由于这个原因,该小说先后在
根据马克主义理论,价值澄清理论,教师主导、学生主体教育理论,提出价值澄清引导教育法,并探索其在大学生恋爱观教育中的具体应用步骤、方法和策略。
"虎钮錞于"是古代巴人广泛使用的一门古老乐器,主要用于祭祀、宴乐、节日和战争。"虎钮錞于"大部分出土于我国西南部,尤其是湘、鄂、川黔边界古代巴人集聚的地方。历史考证"虎钮錞
期刊
钢结构住宅作为一种新型的结构体系,有着广阔的应用前景,但对于钢结构住宅的围护体系目前研究甚少。本文利用工业废料煤矸石作为钢结构住宅中的墙体材料,开发和推广新型墙体材料
宋代碑铭《劝慎刑文》(并序)和《慎刑箴》是两篇难得的中国古代法律史文献,现存于陕西碑林博物馆。两文反映了慎刑的法律思想,与宋初的重刑思想相对立,因此,值得刑法学界关注
为了顺应电子组装件产品无铅化的趋势,B客户推行了产品无铅工艺流程,生产之无铅产品在导入市场后却发现无铅BGA枕形焊点(HIP)失真引起的功能失效。尽管无铅化在同行业内已经开始
随着信息技术的不断发展,用户希望在任何时间,任何地点都能获得多媒体的信息服务,手机电视/移动多媒体设备应运而生,陆地移动多媒体广播(Terrestrial Mobile Multimedia Broa
通过对供应链信息共享相关文献分析,对国内外供应链信息共享价值评价的研究进行了分析总结,强调了对供应链中信息共享价值评价的研究意义,指出研究中存在的问题,并就进一步研