一种用于广域文件系统的主从副本协同策略

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:yyttuuabc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在全球数据量爆发式增长的大数据时代,将数据异地存储是存储大量数据的有效方法,而将数据异地备份能够达到容灾的目的。为了解决异地数据共享和同步的问题,广域存储系统便应需而生。由于广域网的网络不稳定,延迟高和带宽低等特点,副本策略便成为提高广域存储系统可用性和可靠性的有效方法。在使用副本策略的系统中,如何保证副本间正确且高效的协同工作是需要解决的关键问题。  广域文件系统GeoFS是一个用于广域数据共享与备份的存储系统。在可靠性和可用性方面,GeoFS采用站点级副本技术,提供容忍单站点故障的数据可靠性,以避免因电力或通讯等故障造成的应用数据访问中断。  然而,GeoFS的副本策略不能支持网络分区。当出现网络分区时,系统可能会产生“脑裂”,从而造成副本间数据不一致和数据丢失的后果。由于网络分区在广域网中是不可避免的现象,所以设计并实现一种适用于广域网的主从副本协同策略,实现主节点选择,对提升广域文件系统的可用性和可靠性具有关键的意义。  本文针对广域文件系统GeoFS的主从副本策略存在的问题,展开了深入研究,并调研了存储系统领域的副本管理技术。通过设计一种基于锁和授权机制的高可用主节点选择策略,有效地解决了广域文件系统GeoFS的主从副本策略存在的问题。  在功能方面,基于锁的主节点选择策略能够保证GeoFS系统不会出现“脑裂”。在性能方面,不同情况下,主节点切换时间消耗与不同因素有关。主副本成为主节点的情况中,若主从副本间不需要数据的同步,则时间消耗主要由获得锁的时耗决定,而获得锁的时耗主要与网络往返时延有关,在网络往返时延为20毫秒到50毫秒之间时,GeoFS的主从副本通常能够在几百毫秒以内完成主节点切换,若主从副本间需要数据的同步,则时间消耗主要由数据同步时耗决定;主副本故障,从副本接替成为主节点的情况中,主节点切换时耗则主要由锁的授权时间决定。  基于锁的主节点选择策略中,设计了独立的锁服务器模块-lock server,为了避免单点故障,lock server也采用了副本技术,lock server模块的副本管理方案基于paxos算法,实现了系统运行期间集群成员的添加和删除,保证了lock server的高可用性和高可靠性。
其他文献
资源分配问题在经济、管理等许多领域都占有非常重要的地位。如何充分利用有限的资源以最大化利润(Revenue)或者社会效益(Social Welfare)一直以来都是各个领域的资源提供者
类脑计算成为学术界和产业界热议话题,脑机融合及其一体化成为智能科学、人工智能发展的一个重要趋势。研究生物智能与机器智能深度融合并协同工作的新型智能系统,是当前人工智
消息传输服务协议栈在网络通信协议层与消息管理层中增加一个消息传输服务层,定义了基于XML的协议规范.消息传输服务层由端点层、解析层、管道层和查询层组成.端点层负责包装
需求工程是软件工程中不可缺少的一环,是保证软件质量、提高软件可靠性的关键。UML是面向对象技术一个重要应用,也是近代软件工程环境中对象分析和设计的重要工具。本文首先讨
该文借鉴了关系数据库中关系模式设计的一些优秀思想,提出了在XML应用中进行模式设计的一套解决思路.把XML模式设计的工作分成概念设计和逻辑设计两个阶段进行,在概念设计阶
国际互联网的快速发展导致了IPSEC技术和NAT技术的广泛应用.IPSEC技术能够为IP报文提供数据源身份验证,数据完整性检查和数据保密功能.NAT技术能有效的缓解目前国际互联网地
从上世纪末数字水印技术出现以来,大量的水印算法不断涌现,为了检验水印的性能,研究者还设计出了各种攻击算法.在对目前一些常用水印算法作了详细分析和评价之后,作者对其取
目前,网络自媒体在我国已广泛普及。据2016年微博用户发展报告统计,微博月活跃人数已达2.97亿,微博内容遍及社会生活的各个领域。因此,自媒体数据已成为网络舆情系统重要的数据来
在深入分析SCEP(SimpleCertificateEnrollmentProtocol,简单证书登记协议)的基础上,提出了实现SCEP协议的两种模型:基于浏览器模型和基子应用程序的模型,并在Windows环境下实
近几年来,移动通信[1]取得了突飞猛进的发展.但传统的话音业务已经增长缓慢,非话音业务成为移动通信发展中一个新的增长点.另一方面,移动智能网[1][2]以交换功能和控制功能相