数据仓库的架构大体可以分为三部分:后台是数据存储和计算引擎,前端是数据展现分析的用户界面,还有一个重要的部分就是ETL.ETL所完成的工作主要包括三方面:首先,在数据仓库和业务系统之间搭建起一座桥梁,确保新的业务数据源源不断地进入数据仓库;其次,用户的分析和应用也能反映出最新的业务动态,虽然ETL在数据仓库架构的三部分中技术含量并不算高,但其涉及到大量的业务逻辑和异构环境,因此在一般的数据仓库项目中ETL部分往往也是牵扯精力最多的;第三,如果从整体角度来看,ETL主要作用在于屏蔽了复杂的业务逻辑,从而为各种基于数据仓库的分析和应用提供了统一的数据接口,这也是构建数据仓库最重要的意义所在.ETL的过程分为抽取、转换、装载三个步骤.数据抽取、转换是根据新旧系统数据库的映射关系进行的,而数据差异分析是建立映射关系的前提,这其中还包括对代码数据的差异分析.转换步骤一般还要包含清洗的过程,数据清洗主要是针对源数据库中,对出现二义性、重复、不完整、违反业务或逻辑规则等问题的数据进行相应的清洗操作.在数据清洗之前需要进行数据质量分析,以找出存在问题的数据,否则数据清洗将无从谈起.数据质量分析是ETL过程的一个重要组成部分,数据装载是通过装载工具或自行编写的SQL程序将抽取、转换后的结果数据加载到目标数据库中.该文详细分析了ETL技术的相关内容,结合Ascential Datastage研究了ETL技术在银行信用系统项目中的应用,其中重点研究了数据清理方法、数据质量分析过程和数据质量分析方法,根据实际项目的应用提出了数据质量分析和方法和数据质量分析的管理过程.