随着信息化建设在各行各业的深入开展,亟需在各个分散的应用之间提供横向数据贯通的通道,实现灵活的数据交换与信息共享。论文基于ETL技术设计与实现了一个数据集成与交换系统,对ETL增量交换任务模型、ETL任务调度方法等关键技术进行了研究,并在实际应用项目中进行了验证。论文主要工作和贡献包括:1)设计基于ETL的数据集成及交换系统架构,包括逻辑架构、物理架构,并对总体架构的各个模块进行详细设计。针对ETL增量数据交换过程中异常导致任务失败的情况,设计时间窗口数据去重方法,实现ETL时间窗口增量交换任务模型,减少异常对数据交换效率的影响。2)提出ETL任务集群调度方法,优化ETL调度分配与执行过程,提高计算资源利用率。该方法把ETL任务的调度与执行进行分离,并根据ETL任务参数对任务进行批量自动分配,在执行阶段动态调整任务的优先级优化执行。对比ETL任务单机执行,ETL任务集群调度扩展了 ETL的执行能力。3)基于本系统设计、实现了面向公安局作战指挥平台的ETL交换任务业务流程并进行部署运行。目前已稳定上线运行半年多,应用中有100多个ETL任务按数据量大小均匀分配到ETL任务集群执行器,保证了每个任务能获得机会运行,保证了时间戳增量抽取数据流程的可靠性,提高了数据抽取效率。初步验证了系统的有效性。