分布式文件系统副本管理机制研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:liongliong425
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来随着信息化程度的不断提高,人们对计算存储资源的需求呈现出高速增长的趋势。而本地文件系统由于其性能、容量、可扩展性等诸多方面的限制,已经无法满足人们日益增长的存储需求,在此背景下,分布式文件系统应运而生。  在大规模分布式文件系统中,数据的安全性和可靠性是非常重要的。为了保证分布式文件系统能够迅速和有效地恢复损坏的数据,一种可靠的解决方法就是在集群环境中存储服务设备的不同节点上保存数据的副本。一般而言,副本数越多数据的可靠性越高,然而过多的副本对存储资源是极大的浪费而且对网络带宽的开销也非常大。为了维护系统多个副本之间的一致性,在修改副本以及恢复副本时,必须要更新所有的副本,这将产生很大的带宽开销。不仅如此,由于存放文件的节点分布范围比较广,读取以及修改数据的延迟会很大,若副本的放置不合理将会严重的影响I/O效率,降低系统性能。对于副本中这些可靠性、高效性、一致性、负载均衡等问题,以往的副本机制大都只能顾及到其中的某一个方面。  通过对特定文件系统布局方式的分析,设计了基于对象和一致性哈希的副本管理方法,在提高系统可靠性的同时保证了系统的整体性能,实现了节点间的负载均衡以及副本恢复的一致性。对于副本布局,在对象级别采用一致性哈希的方法。通过将文件分条,不同条带单元构成对象,以对象副本的方式分布到不同的存储节点,从而提高副本访问的并行性,维护了系统性能。一致性哈希的算法使得副本均匀的散列在存储节点上,保证了节点间的负载均衡。针对数据恢复,在分布式文件系统Cappella上进行了实现和优化,使得系统在存储节点失效时能够降级读写,通过多线程流水线的方式加快对象副本恢复速率,提高系统的可靠性。  对比测试表明Cappella的副本布局策略写操作性能得到保障,节点间的负载均衡性得到了有效的保证。在有节点失效的情况下可以正常的读写,数据恢复的性能也得到了一定的提升。
其他文献
随着计算机网络技术,数据库技术的飞速发展,实时数据库系统(RTDBS)的应用领域也越来越广,如科研、工业、军事、通讯和金融等领域。新的领域应用对RTDBS的性能提出了更高的要求。
芯片集成度的快速增长,使得集成电路工业进入SOC时代。既包括软件,又包括硬件的复杂的混合系统可以被集成到一块芯片上。提高设计的抽象层次,可以大大降低建模复杂度。传输级
在分布式并发系统构造过程中,基于进程代数的并发系统模型检测是一种行之有效的减少设计错误、提高系统可靠性的重要途径。但并发系统本身随着规模增大其状态呈指数剧增,产生
移动视频流系统的一个重要特点是在进行高复杂度解码计算的同时,还要进行大数据量的收发,能耗相对较高。这与移动设备相对有限的电池能量极不匹配。传统节能方法通常对网卡和CP
随着计算技术的发展,从偏微分方程、线性规划、网络分析、结构和非结构问题的有限元分析等领域中提出了求解大型稀疏线性方程组的问题。 本文就是针对大型线性代数方程组的
随着计算机网络技术的不断发展和网络应用的迅速增加,计算机网络的规模也越来越大,结构也越来越复杂。连入网络的各种设备如主机、集线器、路由器、交换机种类繁多,网络上的信息
网络存储系统近来有大量的研究,其中大部分是集中在网络存储架构和性能方面。随着云存储成为信息领域的一个研究热点,已经有越来越多的研究开始考虑基于云存储的网络存储系统架
今天是一个信息爆炸的时代,各种信息指数级地快速增长,可用的数据资源种类也越来越多,这些数据分散在各个站点、文件系统、数据库系统和一些应用系统等中。由于各行业、部门
随着Internet的高速发展,产生了海量的Web信息,其中动态网页占了很大的部分。然而动态内容比静态内容需要更大的资源需求,并且给Web服务器带来了一个很大的问题,就是伸缩性。
XML正迅速成为Web上数据表示和数据交换的标准。作为自描述的标记语言,XML能够根据具体应用灵活地表现异构数据源中的各种信息,包括应用程序之间的数据交换、结构化和半结构化