论文部分内容阅读
构建数据仓库和数据集成应用都需要使用ETL工具，要求ETL工具能支持多种数据转换源和目标、软件易于部署和使用以及转换手段多样化。市场上现有的ETL工具都不能完全满足数据仓库和数据集成要求。 本文结合对自行研制的ETL工具——SEU_ETL的改进和技术预研，研究了ETL工具实现的关键技术。针对SEU_ETL工具的不足，我们使用了CWM来描述ETL过程。构建了统一数据模型描述物理数据源对应的数据存储模型，屏蔽不同数据模型中描述的差异；构建了转换元模型来描述ETL转换的逻辑过程，屏蔽ETL转换具体实现的差异；构建了运行调度元模型，描述ETL过程的运行实现，屏蔽不同软件部署方式的差异。在元数据管理中，引入了动态属性概念，提高了ETL过程设计的灵活性和设计效率，较好的解决了遗留系统的业务数据处理。在ETL转换中引入了脚本转换，并对SQL进行了扩展以适合ETL的需要，实现了对UDF的支持，增加了可使用的转换手段。实现了和数据转换相融合的数据清洗框架，定义的数据清洗规则可以自动执行。对ETL过程的运行调度作了一定研究，实现了ETL转换的粒度控制。 通过这些改进，SEU_ETL已经能够满足构建数据仓库和数据集成的要求，实现现有的转换类型，并为用户提供了一个友好的设计-调试界面。