分布式流处理系统中的容错机制和负载管理策略的研究

来源 :桂林理工大学 | 被引量 : 0次 | 上传用户:suishi2001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,信息处理技术的应用领域得到了很大的拓展,如金融应用、电子商务、网络监控和实时分析等。在这些应用中,静态的关系数据已经不能满足人们的需要。在处理现实世界的实时事件中,如何实现连续、快速、稳定和低延时的数据流处理成为目前的研究热点之一。而作为分布式系统关键技术的容错机制和负载管理技术,对分布式数据流处理系统的性能起着十分重要的作用。因此,本文重点研究了分布式流处理系统中的关键技术:(1)容错机制,(2)负载管理技术。   为了改进现有的分布式数据流处理系统中的容错机制,本文设计了一种基于自适应修复和节点复制的方法(Self-Recovery and Replication—based Backup,简称SRRB),来实现快速、稳定的数据流处理。基于SRRB修复机制的数据流处理系统通过使用节点复制机制,利用对等节点并行向下游节点发送数据,使下游节点能够使用最先到达该节点的输入数据,来提高数据流的传输速度。同时,SRRB通过使用自适应修复机制,实现了操作算子之间的通信稳定和提高了系统的容错性能。其次为了平衡网络开销和低延时保障,提出用中心节点算法选择后备节点。   为了改进现有的分布式数据流处理系统中的负载平衡技术,本文首先设计了一种基于装箱模型的经济型操作算子分布策略(Economical Operator Distribution,简称EOD),在考虑服务器的CPU处理能力的同时引入带宽约束条件,并将它们转化为数学模型中的优化问题来求解。其次设计了超操作算子(Super Operator,简称SO),解决系统在初始化时实现多级操作算子的负载平衡,提高了分布式数据流处理系统整体的稳定性。再次提出了基于染色装箱模型的染色超操作算子(ColorSuper-Operator,简称CSO)方法,把“同级”操作算子分配在不同的服务器上,增强系统的容错处理能力。同时充分利用基于超操作算子和染色装箱模型的降载技术,避免输入数据流突变或波动对系统造成的影响,保证了高质量的查询结果。   最后综合上述方案设计了一种经济型容错负载平衡策略(Economical andFault-Tolerant Load Balancing Strategy,简称EFTLBS),在不移动服务器上的操作算子或任务的基础上,保证了连续、快速、稳定、低延时和高可用的数据流应用。   通过在网络仿真器NS-3平台上的模拟,验证了本文提出的SRRB容错机制和EFTLBS负载平衡方法具有更好的连续、快速、稳定和高可用性。  
其他文献
随着网络技术的飞速发展,网络攻击方法与手段日趋复杂多变,使得防火墙、入侵检测系统、杀毒软件等安全技术和产品层出不穷,虽然都能保障信息的安全性,但都因其具有高度的针对
现代社会中信息安全的重要性日益凸显,密码技术作为信息安全的基础和核心,受到了广泛关注和高度重视。作为密码学的一个重要分支,分组密码被广泛应用于各种安全应用和网络协
随着互联网技术(特别是Internet)的发展以及多媒体信息技术的广泛使用,数字信息(包括数字音频、数字视频、数字图像等)的使用变得更加频繁和广泛.随之而来的就是人们对于数字
随着嵌入式技术的发展,嵌入式系统得到了广泛应用。低端微处理器由于成本较低,仍然是许多嵌入式系统的首选目标。目前,基于低端微处理器的应用,主要采用前/后台系统的方式进
本体是一种能够在语义和知识层次上对信息系统进行描述的概念模型,主要应用在对知识的组织、表示和管理等方面。本体已经在信息系统的诸多领域中得到了广泛的应用,例如知识管
90年代以来随着信息存储技术和通讯技术的发展,大量的信息爆炸式增长,信息自动分类已经成为人们获取有用信息不可或缺的工具。文本分类是中文信息处理的一个重要的研究领域,
无线传感器网络路由协议在整个无线传感网体系中起着关键的作用,路由协议的好坏直接决定了网络的性能、生存期、健壮性等指标。本文主要针对无线传感网中的路由协议,分析比对
多目标优化问题(Multi-objective Optimization Problems, MOPs)广泛存在于工程实践和科学研究领域。多目标优化问题主要研究如何在多个彼此间相互冲突的目标中得到最优解,该
随着我国电信行业的再次重组与3G牌照的发放,国内电信业的竞争日益加剧,而激烈的竞争也迫使国内各电信运营商不得不考虑寻求新的盈利模式,以及如何提升自身的核心竞争力。作
计算机通信和网络技术的普及和发展,使信息的处理方式发生了根本性的变化。由原来传统的集中式处理转变成分布式处理方式。分布在不同的地点、基于不同的平台与环境的多个计算