基于ZooKeeper的分布式处理框架的研究与实现

被引量 : 71次 | 上传用户:hljhrbsccd
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如何对海量信息做高效的分析和有价值的处理从而最终提取出对用户有用的信息是一个亟待解决的问题。目前对海量数据的处理方法主要是采用分布式计算,然而目前主流的分布式计算方式都存在这样一个问题,他们并不是为了追求并行计算、提供高效快捷和灵活的计算方式而设计的,更多的是一个分布式文件系统,提供文件数据的存储和查询,它们的计算方式更有利于进行文件数据的查询。本文设计实现了一个侧重于计算的分布式处理框架,采用一种管理链式的计算结构简化分布式计算,提供一种更高效的分布式计算方法。其中包括分布式计算系统和文件系统两部分。计算系统采用一种链式计算的方式来简化分布式计算,能够通俗易懂和深入地控制整个计算过程,对于存在多个环节的分布式计算,各个环节之间是串行关系,这时可以为每个环节设置一个管理节点,每个管理节点负责其相对应的环节,管理节点内部并行执行,多个管理节点之间串行执行,即下一个管理节点要等上一个管理节点执行完毕再执行,而每个管理节点下的计算节点则是并行执行任务的;文件系统为分布式计算提供必要的io支持,提供对集群内文件的基本操作。通过实验证明,本处理框架在数据源已经分发好的情况下,使用自身提供的高速文件系统可以高效地处理大数据量的文件,通过实验对比,本计算框架对Wordcount等问题的处理时间相对与主流的分布式框架有明显缩短,但是本计算框架没有提供容错功能,当集群中某些节点发生异常时不能及时处理。
其他文献
受通信时间、存储能力等因素的限制,量子通信中通信双方传输的脉冲数只能是有限个,因此分析量子密钥分发协议的有限密钥安全性成为实现量子通信的重要前提。在实际的量子通信
在以IP业务为代表的分组业务量井喷式增长和新型业务不断涌现所导致的巨大带宽需求的刺激下,光网络技术迅速发展并不断演变。同时,光网络技术的迅速发展又推动了宽带流媒体应
对于矿山企业特别是资源矿山企业而言,选矿设备占了矿山机械的较大比重,具有资产价值高、设备种类复杂、使用寿命较长、工作环境恶劣等特点。而选矿设备在矿山生产中基本上为
在移动通信领域,随着宽带无线接入技术和移动终端技术的飞速发展,人们迫切希望能够随时随地乃至在移动过程中都能方便地从互联网获取信息和服务,于是移动互联网应运而生并迅
数据挖掘是数据库研究、开发和应用最活跃的分支之一,是计算机科学领域最有发展前景的一门技术,在从海量数据中挖掘可用知识的需求的推动下诞生。数据挖掘是从大型数据集中,
目前,移动互联网的发展愈发迅速,各种产品和技术层出不穷。搜索作为传统互联网时代的一项重要服务,在移动互联网时代展现出丰富的多样性。作为广大网民最常使用的网络服务之
僵尸网络,一种大规模协同攻击网络,具有演变迅速,隐蔽性强,难以清除、危害巨大的特点,已经成为当今互联网最大威胁之一。如何有效对抗僵尸网络是学术界一直研究的热点和难点
会计准则改革的经济后果是一个重要且复杂的主题,这方面的研究无论对会计准则制定机构还是对利益相关者理解上市公司行为均具有重要价值。本文结合新会计准则的实施与上市公
第二外语教学如何适应外语教学改革,提高学生的综合语言应用能力,培育出符合社会需求的人才,是目前英语专业第二外语课堂教学中需要解决的问题。本文以英语专业的学生为研究
PTN作为未来接入层多业务接入与传送的最有前途的技术,提供了通用的交换技术以及多层次的QOS支持功能;在核心层OTN提供了大颗粒的交叉能力,具有较为丰富的开销,能够保证大容量