数据仓库包含了从各种独立自治的数据源中抽取的信息,当源数据发生变化时,为反映这种变化,通常利用ETL过程更新数据仓库中的数据。当采用完全重载的方法时,由于源数据集较大,大大增加了业务系统的负荷,刷新数据处理时间也较长,因此无法保证刷新速度,降低了数据仓库对数据变化的反应灵敏度。本文从减少ETL过程处理数据集规模和提高单位时间内ETL过程数据处理能力两个角度入手对ETL工具进行改进。文中解决了触发器属性抽取和级联死锁判断问题,结合触发器和变更数据存储表(Delta表)概念引入了增量数据源,并将增量数据源纳入到统一数据模型中进行管理。同时分析了完全ETL刷新变为增量刷新时遇到的异常,使用预处理、补偿等手段保证增量刷新过程的逻辑正确性。并行化包含了SPMD并行(Single Program Multiply Data)和流水线并行,将数据平衡分布到各个ETL处理实例,并在各处理实例内施行流水线并行。论文讨论了并行化涉及的逻辑等价性、负载均衡、分片策略、并行优化等内容,使得ETL过程可以充分利用计算机系统资源,提高了执行效率。