论文部分内容阅读
本文结合北京朝批商贸有限公司数据仓库项目的实例,从应用角度分析并解决了企业数据仓库从需求分析、建模到实施的关键技术。同时阐述了如何设计并实现一个灵活且具有较强通用性ETL(Extract、Transform and Load,数据提取、转换和装载)工具来完成数据仓库的数据增量装载任务。
通过对业务需求的深入调查,全面准确的总结了朝批企业数据仓库建设的需求,即要满足各级员工对企业的财务、推销、销售、库存、外欠等大量运营指标的多角度的分析需求。合理而完备的数据模型是用户业务需求的体现,是数据仓库成败的核心技术因素。论述了数据仓库的建模方法,重点阐述了如何采用实视图与虚视图结合的方式设计事实表,达到查询效率与系统性能的兼顾;同时提出了通过建立对照表和编码表的关联,来实现数据在不同维层次和维路径上的汇总查询。
设计并实现了一个通用的ETI工具,着重论述了其体现宏替换思想的SQL参数传递机制和具有创造性的能自动实现数据的增量更新的数据处理机制。
最后,针对ETL实施环节,分别针对数据的抽取,转换和装载问题,提出了一套行之有效的实施策略,重点分析了如何运用上述的ETL工具,进行数据转换逻辑和聚集计算逻辑的设计。
朝批数据仓库实施近一年,取得了令人满意的应用效果。ETL工具担负了每天自动增量装载数据仓库数据的任务,运行良好。企业数据仓库的建立为企业各级人员提供了全面准确的分析数据,在企业的业绩分析、员工的绩效考核和物流成本核算方面已经发挥了不可替代的作用。