论文部分内容阅读
ODS作为一种企业数据共享的统一数据视图,可以满足企业集成的、即时性的、操作性的数据的需求,有效地解决企业内部数据共享、系统协同等问题。ETL作为操作型业务源系统与ODS的桥梁,是提高操作型业务源系统与ODS数据同步实时性的核心与关键。因此,研究并实现高效、合理的ETL策略和架构,进一步提高ETL性能对ODS提供准实时性业务数据支持尤为重要。
论文结合CSP理论研究了增量ETL工作流并发调度策略,设计并实现了基于消息驱动的ETL机制,解决了ODS准实时数据同步问题。论文首先结合CSP理论建立了一种基于CSP的并行增量ETL过程模型,并利用CSP描述模型分析了增量ETL过程执行的时序和逻辑关系,研究了增量ETL过程执行的相关逻辑状态,给出了一种增量ETL过程调度算法,解决了增量ETL工作流的并发调度策略及调度时产生的死锁等问题;其次在ETL数据整合方案中引入了消息驱动的思想,研究并实现了基于消息驱动的ETL,给出了消息体系和基于消息驱动的数据同步方法的具体实现,解决了跨系统间操作型业务源系统、ETL和ODS之间跨系统消息交互和数据同步的过程;最后结合某省电信ODS平台中数据同步处理的具体需求,给出了系统具体的架构设计以及功能设计,设计并实现了基于CSP的增量ETL调度策略和基于消息驱动的ETL机制的电信ODS平台数据同步框架。
实践证明,基于CSP的增量ETL调度策略和基于消息驱动的ETL机制具有源系统负载小,数据的实时性高等特点。在电信ODS平台的实际应用中,基于CSP的增量ETL调度策略和基于消息驱动的ETL机制不但能够较好地满足ODS数据同步处理的功能要求,并且在数据的完整性和实时性上达到了较好效果。