云平台下HDFS HA的研究与实现

来源 :西北大学 | 被引量 : 0次 | 上传用户:hquyuer
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算的快速发展,全球数据日益增长,海量数据的存储与计算将使企业的IT投资很难跟上这一节奏。这也进一步迫使企业需要一种成本更低,效率更高,稳定可靠的解决方案,而开源技术Hadoop的出现无疑在技术上提供了这样一种可能。作为一个开源的软件框架,Hadoop能够运用在大数据量的分布式处理中,整体上由一些独立的模块组合而成,主要包括了一个分布式文件系统HDFS和一个分布式数据处理模型MapReduce。其架构采用了主/从(Master/Slave)模式,包括一个NameNode节点和多个DataNode节点,由于整个系统中只有一个NameNode节点,这将会造成系统的单点失效问题,一旦NameNode无法正常运行,则将导致整个HDFS无法对外提供服务。目前,虽然很多企业都已经部署有自己的云平台,但如何将Hadoop系统移植到现有的云平台中以开发企业自己的云架构体系还存在很多有待解决的问题。本文针对上述存在的问题,进行了深入的研究。详细分析了NameNode单点故障的原因,并研究了现有方案的设计思想,同时对将Hadoop移植到现有云平台中的可行性进行了分析,提出了基于虚拟化平台下NameNode的高可用性方案。该方案从两个方面保证了NameNode的高可用性。一方面,实现了一种基于NameNode宿主机负载的迁移策略,当宿主机的负载过大时,该策略实现将NameNode实时迁移到一个合适的宿主机上,保证了NameNode提供不间断的服务。另一方面,对于NameNode的单点问题,通过添加一个备用的NameNode (Standby NameNode),实现了一种自动切换机制,当NameNode宕机时,该机制实现备用节点的自动切换,由该节点继续对外提供服务。最后,通过部署实验环境,模拟宿主机超负荷运行及NameNode单点故障,验证了该方案的可行性,并对性能进行了评估。
其他文献
目的 探讨重症支气管哮喘的护理体会。方法 对我院 1999年 1月~ 2 0 0 3年 12月收治的 4 8例重症支气管哮喘患者进行回顾性分析。结果  4 8例重症支气管哮喘患者显效 36例
通过正交法进行小槽试验和HullCell试验,研究了三价铬电镀工艺中的pH值、温度、搅拌、电流密度等工艺条件和参数对镀层的影响。在各不同镀液组成和工艺条件下,充分地分析了镀
目的探讨宫角妊娠的临床特点及处理。方法回顾性分析我院1996年8月~2006年8月35例宫角妊娠的临床表现、诊断及处理。结果宫角妊娠占异位妊娠1.6%。病史中有关高危因素达27例
<正>京政发[2011]42号各区、县人民政府,市政府各委、办、局,各市属机构:现将《北京市"十二五"时期节能降耗及应对气候变化规划》印发给你们,请认真贯彻实施。附件:北京市"十
目的减少和杜绝介入手术室的护理安全隐患。方法针对2008年12月—2010年12月2 123例次介入患者手术中出现的关于患者、护士两方面的安全问题导致不良事件的原因进行分析,采取
M2M技术提供了实时数据在系统之间、远程设备之间、或与个人之间建立无线连接的简单手段,综合了数据采集、远程监控、电信等信息技术,日益受到人们的广泛关注。随着现代科技
通过对18例单纯性肥胖儿童脂肪肝患儿治疗期间及恢复过程的观察,得出结论我们从心理护理、饮食指导、运动指导、药物指导,以及出院指导这几方面对患者及其家属进行合理的健康
目的探讨运用静脉留置针行静脉输液在临床急危重患者抢救过程中的优越性,增强抢救效率,提高护理质量。方法使用由Vialom生物制成的Y型留置针对133例急危重患者建立静脉通道,
目的观察心理干预对胃镜检查患者的效果。方法选择胃镜检查93例病人,随机分为观察组46例和对照组47例,观察组实施心理干预,对照组按常规护理。观察两组病人心率、血压、焦虑
本文是以油画创作对现代水墨画的借鉴为研究切入点,是站在对现代水墨画的一些梳理与理解的基础之上,研究出适合当下油画创作的可借鉴之处,并站在对现代水墨画的特性分析、理