随着全球化的发展,各行各业都将业务拓展到全球,全球信息化成为未来的发展趋势。为了满足当地的各项政策法律以及新市场的要求等,需要有新的信息系统提供支持。这就形成了各个信息系统之间的交互鸿沟,即所谓的“信息孤岛”。针对“信息孤岛”,有很多种方式让信息系统之间能够交互,与之相比,数据集成则是更棘手的问题。由于各信息系统是异构的分布式数据源系统,因此数据集成需要将分布在各地异构数据源的各种类型数据如类似于文本文件的非结构化数据,XML等半结构化数据,以及数据库的结构化数据等转换成统一的数据视图,供下游系统统一使用。目前这种数据集成需求随着业务全球化的发展而不断加强。然而,当今数据集成仍面临若干关键问题需要解决:1)如何从异构的分布式信息系统中读取数据,并且高效地将异构数据转换为统一的数据视图;2)如何进行数据清洗完成数据在业务层上的转换;3)如何拓展数据集成的驱动模式提高实时性。针对这种分布式异构数据源的集成需求,本文提出了一个基于ETL(Extract-Transform-Load)即数据抽取、转换和加载的集成过程模型。本过程模型采用数据提供者读取数据,通过元数据映射方式完成异构数据向统一数据视图的转换;针对转换之后的数据,通过简单规则引擎执行对客户系统定制的业务规则来完成数据在业务层面上的转换。同时将传统的数据集成的驱动模式——任务调度,拓展为同时支持任务调度和按需实时性事件的双驱动模式。本文在解决上述问题的过程中同时考虑了数据集成的性能,本过程模型通过增量式的数据集成和在数据库端运行的基于存储过程的规则引擎减少了数据传输的网络开销,提高了数据集成的性能。