电信ODS中ETL技术研究与应用

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:xiao959907530
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
ODS作为一种企业数据共享的统一数据视图,可以满足企业集成的、即时性的、操作性的数据的需求,有效地解决企业内部数据共享、系统协同等问题。ETL作为操作型业务源系统与ODS的桥梁,是提高操作型业务源系统与ODS数据同步实时性的核心与关键。因此,研究并实现高效、合理的ETL策略和架构,进一步提高ETL性能对ODS提供准实时性业务数据支持尤为重要。   论文结合CSP理论研究了增量ETL工作流并发调度策略,设计并实现了基于消息驱动的ETL机制,解决了ODS准实时数据同步问题。论文首先结合CSP理论建立了一种基于CSP的并行增量ETL过程模型,并利用CSP描述模型分析了增量ETL过程执行的时序和逻辑关系,研究了增量ETL过程执行的相关逻辑状态,给出了一种增量ETL过程调度算法,解决了增量ETL工作流的并发调度策略及调度时产生的死锁等问题;其次在ETL数据整合方案中引入了消息驱动的思想,研究并实现了基于消息驱动的ETL,给出了消息体系和基于消息驱动的数据同步方法的具体实现,解决了跨系统间操作型业务源系统、ETL和ODS之间跨系统消息交互和数据同步的过程;最后结合某省电信ODS平台中数据同步处理的具体需求,给出了系统具体的架构设计以及功能设计,设计并实现了基于CSP的增量ETL调度策略和基于消息驱动的ETL机制的电信ODS平台数据同步框架。   实践证明,基于CSP的增量ETL调度策略和基于消息驱动的ETL机制具有源系统负载小,数据的实时性高等特点。在电信ODS平台的实际应用中,基于CSP的增量ETL调度策略和基于消息驱动的ETL机制不但能够较好地满足ODS数据同步处理的功能要求,并且在数据的完整性和实时性上达到了较好效果。
其他文献
图形处理器GPU善于处理大规模密集型数据和并行数据,通用并行架构CUDA让GPU在通用计算领域越来越普及。由于GPU集群的高性价比,高性能计算领域中GPU集群的使用越来越普遍,但GPU
作为云计算的核心基础设施,数据中心网络是一个连接了数万级、十万级甚至百万级的大规模服务器群来进行大型分布式计算的桥梁,因此更成为了互联网研究热点中的热点。随着网络
人脸识别是一个融合了数字图像处理,计算机图形学,特征提取,模式识别等多门技术的学科。由于人脸识别技术只需要用户的少量配合,具有非接触性的优点,已广泛使用在国家安全,银
Web技术的进步,使得社会网络(比如facebook(facebook.com)、 twitter(Twitter. com)、myspace(myspace.com)、hi5(hi5.com)等)得到了快速的发展,社会网络的快速发展也给人们
研究了二维矩形packing这一类NP难度问题。在黄文奇等人提出的拟人型穴度算法的基础之上,提出了基于动作空间的拟人型穴度算法,通过定义动作空间来简化对不同放入动作的评价,使
重复数据删除系统中面临着严重降低其性能的重复数据查询硬盘瓶颈。基于相似性的方案利用文件的相似性归类文件只在相似文件集中查找重复数据,减少数据块查找的硬盘访问至每个
随着计算机硬件和传感器网络的发展,数据流作为一种新型的数据形态广泛的存在于各个领域。由于数据流具有不同于传统静态数据的特点,传统的数据挖掘方法不再适合于数据流挖掘
随着互联网中信息量的急剧增长,人们在海量信息中快速获得自己感兴趣的信息变得越来越困难。如电子商务、社交媒体、音乐、视频、问答等站点,信息量越来越庞大,而用户所关心与关
Web服务作为开放网络环境下资源封装与共享的一种抽象形式,得到了广泛关注。在面向服务计算环境下,把各种挖掘算法和挖掘模型封装成Web服务,屏蔽算法和模型的内在复杂性,构成一个
随着无线网络的进一步发展,在自动化领域,人们越来越热衷于对工业无线技术的研究。与此同时国内外也正同步研究、开发应用于工业生产现场的相关网络技术和与其配套的通信协议