论文部分内容阅读
面对激烈竞争的市场,商业银行如何在了解和掌握自身经营状况的同时,对不断变化的市场快速做出反应,采取适合银行自身风险承受能力和管理水平的经营决策,需要一个数据仓库系统的支持,将与银行监控、经营管理、各种决策所需要的数据统一管理起来,方便日后使用。同时当前银行业面临着业务持续创新的压力,借助于数据仓库和数据挖掘技术的业务创新成为一种必然选择。本文主要研究一个商业银行经营管理数据仓库系统的设计与实现。整个数据仓库平台构建参考了IBM商业智能参考架构以及当前主流的数据仓库架构体系,采用了Inmon、Kimball两位大师的理论,基本是以业务为驱动,从架构、模型、ETL相关等核心的技术出发来实现数据仓库的开发。数据仓库的架构的设计还借鉴了IBMADS(Architecture Description Standard)2.0标准。其中ODS系统采用贴源设计,根据源系统业务数据分析的结果,将需要加载的业务数据贴源加载到ODS层。EDW层数据的抽取,转换,加载策略采用了三层架构,包含10JOB,20JOB,30JOB三个层次。10JOB负责将DataMirror吐出的增量文件生成日粒度的增量DS文件,20Job完成代理键转换、数据类型转换。30JOB将20JOB生成的DATASET数据根据MAPPING RULE处理成可供Load程序加载的文本文件。然后将转换完成的DS文件装载到数据暂存区SSA中。基于性能的考虑,使用DB2的Load命令来完成此操作。数据最终要存储在EDW数据仓库的系统记录区SOR中。数据在加载到SSA中后,就可启动该操作,将数据应用到SOR中。这部分功能是通过AP SQL来实现的。同样的,在AP SQL处理过程中,也加入了容错机制。对于历史表的加载加入了同日分批次处理支持。基于这个数据仓库整体解决方案,为商业银行的数据库平台建设提供了从底层数据抽取、整理、转换到数据仓库管理、数据集市、负载管理、安全控制、前端展现及Web应用部署运行的端到端解决方案。同时从源数据的抓取到数据的ETL处理到数据集市数据分发,及最终经营管理报表的生成提供决策支持,都由一个统一的调度平台完成日常跑批调度。