企业数据仓库建设中ETL方案设计与实现

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:ma_1001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文结合北京朝批商贸有限公司数据仓库项目的实例,从应用角度分析并解决了企业数据仓库从需求分析、建模到实施的关键技术。同时阐述了如何设计并实现一个灵活且具有较强通用性ETL(Extract、Transform and Load,数据提取、转换和装载)工具来完成数据仓库的数据增量装载任务。 通过对业务需求的深入调查,全面准确的总结了朝批企业数据仓库建设的需求,即要满足各级员工对企业的财务、推销、销售、库存、外欠等大量运营指标的多角度的分析需求。合理而完备的数据模型是用户业务需求的体现,是数据仓库成败的核心技术因素。论述了数据仓库的建模方法,重点阐述了如何采用实视图与虚视图结合的方式设计事实表,达到查询效率与系统性能的兼顾;同时提出了通过建立对照表和编码表的关联,来实现数据在不同维层次和维路径上的汇总查询。 设计并实现了一个通用的ETI工具,着重论述了其体现宏替换思想的SQL参数传递机制和具有创造性的能自动实现数据的增量更新的数据处理机制。 最后,针对ETL实施环节,分别针对数据的抽取,转换和装载问题,提出了一套行之有效的实施策略,重点分析了如何运用上述的ETL工具,进行数据转换逻辑和聚集计算逻辑的设计。 朝批数据仓库实施近一年,取得了令人满意的应用效果。ETL工具担负了每天自动增量装载数据仓库数据的任务,运行良好。企业数据仓库的建立为企业各级人员提供了全面准确的分析数据,在企业的业绩分析、员工的绩效考核和物流成本核算方面已经发挥了不可替代的作用。
其他文献
近年来,随着微博的快速发展,面向微博的情感分析吸引了越来越多研究者的关注。广大的网民会在微博上表达自己对社会热点事件的观点、电影的观感、产品的使用感受等。对微博进行
防火墙是网络安全的一个重要元素。然而,对于防火墙规则的管理,尤其对于多防火墙系统的企业网来说,已经变成一项既复杂又容易出错的工作。防火墙的过滤规则按照一定的顺序,小心的
随着海洋开发、灾害预防、环境保护等方面发展的需要,浅水波方程的数值求解越来越受到人们的重视,已成为国内外计算数学、计算流体力学的热门课题。现今,人们求解浅水方程的所使
无线体域网络(BAN),作为无线医疗保健传感网络的重要组成部分,通过分布在人体上或人体内的传感器,用一跳或多跳的方式将感知到的数据传送到BAN网关节点,对被监护者提供生理数
人脸检测与识别技术是模式识别、计算机视觉领域内最有理论价值和应用前景,且极具挑战性的研究课题之一。其目的是使计算机像人一样具有从一幅图像中发现是否存在人脸,以及对
随着电子商务的迅速发展,网络安全问题变得越来越严重。现在,全球每年关于网络安全问题的损失是巨大的,为解决网络安全问题而投入的资金也越来越多,所以关于网络安全的需求也不断
随着IT产业的迅猛发展,各行各业对IT都有了更深的依赖性。事实上,企业的收益和客户的忠诚依赖于IT服务的高可用性,可靠性,安全性以及性能,这将直接反映出IT管理是否成熟。IT作为支
生物电阻抗成像技术是一种新型的、非接触式的无创成像技术,已成为当今生物医学工程领域重要研究课题之一,也在工业监控、无损检测等行业引起了极大关注。组织的电特性是细胞
分片逼近问题是函数逼近论的重要组成部分,它不仅是应用数学所关心的一类问题,在计算机图形学领域也有许多应用。本文聚焦于在二维区域上利用多项式构建逼近函数来处理分片逼近
本文旨在维护地图质量的前提下,提高矢量地图数据网络发布的效率。基于此目的,本文重点研究了矢量地图数据渐进传输的关键技术、渐进式传输系统的设计与实现。主要内容包括:介绍