私有云环境下的容灾系统中一致性算法的应用研究

来源 :兰州交通大学 | 被引量 : 2次 | 上传用户:fudxing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算的发展为大数据处理提供了新的思路,但云环境的应用成本也给中小型企业带来了很大的负担。于是开源分布式框架Hadoop成为首选,该框架由两个主要部分构成:HDFS和MapReduce。其中HDFS是一个单中心结点的分布式文件系统。为了降低因为单点故障而带来的损失,各个公司都有自己的HDFS HA方案,虽然实施方案不同但它们的核心思想都是采用备机方案。这些方案虽然可以减少HDFS发生单点失效时的损失,但耗时长,同时存在数据丢失的可能。本文在双机热备的基础上提出了一种新的容灾系统,解决了存在的单点问题,同时通过一致性算法保证了数据的完整性,弥补了采用备机方案造成数据丢失的不足。具体而言,论文的主要工作如下:(1)介绍云计算的相关概念、特性和实现方案等,同时详细介绍了开源的分布式系统框架Hadoop和其基本组成部分:HDFS和MapReduce。(2)研究了几种当前流行的HDFS高可用性方案,这些方案中分热备和冷备两种。结合中心服务器Namenode在HDFS中的地位与作用,提出了新的双机热备、三机协同的HDFS架构。(3)通过对一致性算法Paxos进行研究分析,设计出适用于三机架构的Paxos算法;并且根据该算法设计出了三机数据同步框架。这样保证即使出现结点失效的情况,系统依然可以有效的对外提供读写访问服务。`(4)通过对HDFS源码进行研究、剖析,修改了其中部分的代码结构,满足同步框架规范,实现了双中心结点架构,保证了对外服务。(5)搭建仿真平台,对新容灾系统下双中心服务器的HDFS文件系统的可行性和有效性进行了验证。本论文为HDFS HA方案提供了新的思路,以双机热备为基础,设计出的三机Paxos架构和数据同步框架具有一定的理论意义和应用价值。
其他文献
以中医脉象理论为基础的脉象诊断,俗称切脉、把脉。中医脉诊历史悠久、内容丰富,是我国传统医学中最具特色的一项诊断方法,是中医“整体观念”、“辨证论治”基本精神的体现和应
机器人足球比赛是一个有趣且复杂的新兴人工智能研究领域,它融合了实时视觉系统、机器人控制、无线通讯、多机器人控制等多个领域的高技术对抗活动。机器人足球比赛将过去的
电力系统是国民经济的基础支柱,电力企业的安全正常生产关系到国家安全、社会稳定和人民生命财产安全。建设应急指挥系统,把各种信息集成起来,迅速传递到一个指挥中心,并辅助进行科学决策,进行联动处置,可以有效和快速地处理各种突发事件,最大程度地减少各种电力突发事件造成的影响和损失。论文首先分析了现阶段电力应急指挥系统的研究现状,探讨了电力应急指挥系统的功能特性,研究了知识管理的相关技术、知识库的构建及知识
随着信息技术的飞速发展,工程精度需求的进一步提高,需要存储和表现在用户面前的工程数据量也不断增长,在海量的信息中提取有用的关键信息并经过可视化处理后提供给应用人员,对提
我们称有价值和版权的数字内容为数字作品,Internet的发展和普及正在极大的改变着人们生产、发布、消费数字作品的方式,但是随之而来的数字作品与知识产权保护相关的控制管理机
Web服务技术是异构平台应用集成的有效解决方案,而现有的众多Web服务因服务粒度过小的问题而导致应用范围大大受限。如何利用这些现有的Web服务来创建新的、更有价值的复合Web
论文介绍了密码技术在信息安全中的研究背景、国内外研究的现状、意义,以及在信息安全领域的应用和未来发展方向。本文分析了椭圆曲线公钥密码体制、对称密码体制、门限秘密共
VPN技术是利用有关密码学知识在开放的公共网络上建立虚拟专用网络的技术。随着应用服务模式从C/S结构向Web的迁移,企业必须面对一个新的挑战,即不影响最终用户使用的前提下,实现
科技的发展对计算能力提出了更高更新的要求,传统的高性能计算机在性价比上、对程序员的要求上以及适应性上很难满足各行各业、各个层次的需求。随着网络技术的迅速发展以及PC
随着P2P技术的迅猛发展,带给我们的不仅仅是机遇,还有挑战。由于P2P网络缺乏集中控制,在P2P网络中出现的各种攻击成为威胁网络正常运行的主要因素,而这都是因为有恶意节点的