实时数据流集群处理系统可靠备份方案的研究与实现

来源 :电子科技大学 | 被引量 : 1次 | 上传用户:laoye1111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,数据以大容量,连续的流的形式出现在应用程序中引起了人们极大的关注,这些应用程序包括金融市场监控、网络监控、移动对象跟踪、资产跟踪、入侵检测和生态系统监测等,由于它们监控的都是实时事件,结果值随着时间推移而迅速发生改变,因此,低延迟处理是一个关键的要求。数据流处理系统能够高效的实现上述应用。目前,很多数据流处理系统都采用面向集群处理,这是因为很多应用本身就涉及到地理上分散的数据源,并且应用中使用更多的服务器能够更好的提高系统处理能力。但是越多的服务器和通信资源,导致更高的失效机率。在流处理系统中,失效或故障将产生处理延迟,更糟的是,失效可能会导致产生正确结果的至关重要的数据丢失。因此,数据流集群处理系统的可靠备份问题是目前数据流系统研究的热点和难点,同时也是一个富有挑战性的课题。本文主要研究并设计了一种新型的基于检查点的高可靠备份方案,通过并行恢复方法满足了数据流集群处理系统高可靠的需求。本文首先研究了主流的三种备份恢复方法,同时从恢复速度、CPU和带宽利用率以及它们相互之间的关系进行了比较。然后,在集群处理系统中采用并行恢复模式,提出优先基于操作盒负载的检查点单元形成策略和备份重新分配算法,从系统全局的角度将每台服务器上的检查点单元均衡地备份在多台服务器上,执行并行恢复。最后,在系统运行时阶段,提出基于检查点任务拆分与绑定策略的动态自适应调度算法,通过合理正确的调度算法,最小化系统恢复时间,减少故障造成的处理延迟,提高系统性能。综上所述,针对数据流集群处理系统中可靠备份方案的关键问题,本文在现有解决方案的基础上提出了更加行之有效的方案,全面且细致的分析了备份恢复的策略以及开销问题,对数据流系统可靠备份的研究,有一定的理论推动意义和实际应用价值。
其他文献
本文介绍了目前主要存在的一些网络安全问题及相应的防范措施,并重点介绍了防火墙技术。讨论了防火墙的基本概念、类型及其结构体系,对几种防火墙技术进行了分析比较。在此基础
二十一世纪是知识经济的世纪,是网络化的世纪,我国教育的发展迎来了新的机遇和挑战。通过采纳高效的计算机技术、先进的网络技术和丰富的应用软件,并且结合教育信息化的理念,数字
作为面向对象技术的标准语言,UML具有界面友好、易于表达、功能强大且普遍适用的特征,但是UML不是形式化的建模语言,缺乏精确的语义描述,因此难以在UML模型设计的早期阶段对模型
随着计算机网络技术的发展,网络日益深入人类社会各方面,网络安全日趋重要.人们对网络安全的认识不断加深.以防火墙为代表的传统的网络安全手段已经不能满足要求,动态防护的
随着计算机的普及,CAD软件在很多行业得到广泛的应用,尤其是建筑和机械行业。对这些行业而言,已有的CAD图档不仅是设计责任认定的重要依据,还是企业的知识财富和技术积累;已有的CA
随着Internet和信息技术的迅猛发展,给现代企业带来了一种新的挑战。那就是面对越来越多的各种类型的信息、资料、文件和档案,如何有效的保护和利用它们并为企业提高生产力和竞
以IEEE 802.11协议为代表的无线接入网络为Internet和Intranet的接入提供了价廉物美的解决方案,当前得到了迅猛的发展.由于无线链路具有的共享介质、低带宽、高延迟和高误码
随着计算机技术和网络通信技术的不断进步,网络教育也得到了蓬蓬勃勃的发展。网络教育具有跨越时空的特点,它为更多的人提供了学习的机会,逐渐走进了人们的生活。网络学习环境(
网络技术和信息数字化的快速发展对存储服务器提出了新的要求。存储服务器主要用于存储用户数据和响应网络请求,其性能主要由磁盘I/O和网络传输控制决定。磁盘I/O性能可以通
现在越来越多的应用和组件创建和部署在J2EE架构的应用服务平台上,为了满足大规模应用开发和企业级管理、监控和配置的需要,Java Management Extensions(JMX)作为J2EE应用和