多错条带内的本地优先解码算法的设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:jacychang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在现代数据中心往往需要配置上万存储节点。在此大规模环境下,节点失效将成为常态,因此需要采用数据冗余技术来保证数据的可靠性。在传统模式下,往往采用多副本技术以保障数据可靠性。其实现方便,管理简单,而缺点是存储空间开销大。纠删码也是一种重要的数据冗余方案,在相同容错度情况下比副本存储空间开销要小,但其解码过程复杂,对失效数据的一次访问可能带来较大的网络传输及计算开销,造成性能上的影响。  针对此问题,首先提出了一种高效的本地优先解码算法LDF(Local Decoding First)。其主要思想是利用存储节点的计算能力及解码过程中的异或运算的可结合性,将一部分解码工作放到存储节点上进行,以减少访问失效数据带来的额外网络传输,改善存储系统的读性能;其次,在Hadoop底层文件系统HDFS上通过引入文件级校验组机制和I/O过程的条带化处理,实现了基于纠删码存储架构的原型系统;最后,在原型系统上实现了LDF方法,完成存储节点间的分布式校验计算过程,并比较了LDF算法优化前后的系统性能。  为了验证LDF的有效性,在一个40台机器的集群上对原型系统进行了测试。原型采用了两种常用的XOR编码作为基准,并使用五种典型工作流进行验证。测试结果表明,在多数情况下,LDF优化算法能大幅减少数据传输,进而提升系统的吞吐率及平均响应时间:LDF能够减少38%~56%的数据传输总量,提高38%~116%的系统吞吐率,并降低28.2%~52.3%的平均访问延迟。
其他文献
随着云计算时代的到来,在数据中心中进行存储和处理的数据量急剧增加。在大型数据中心,服务器的能耗问题变得尤为突出。存储系统作为大型数据中心的关键组件,它的能耗限制了整个
随着现代信息化技术的深入发展,数字信息呈爆炸式增长,给数据备份系统带来了巨大挑战。数据去重作为一种数据缩减技术,能够有效地删除数据流中的重复数据、提高存储利用率和节省
随着电子商务和电子政务的普及应用,用户对这些信息服务的安全需求也越来越高。PKI (Public Key Infrastructure公钥基础设施)是一种能够满足这一需求的身份授权与鉴定机制。
旅游资源三维可视化平台为旅游景区的科学规划与管理提供强有力的手段,为游客提供有关旅游景观的全方位立体信息,具有广泛的应用前景。目前,对旅游资源三维可视化的实现有三
工作流技术是进入90年代以后计算机应用领域的一个新的研究热点。工作流的概念起源于生产组织和办公自动化领域。它是针对工作中具有固定程序的常规活动而提出的一个概念。工
近年来,无线网络中音频视频等实时多媒体流应用需求不断增长,这些应用一般都是基于UDP传输协议的,UDP没有拥塞控制机制,这些应用的大量涌入将引起带宽的不公平分配甚至引起拥塞崩
Peer to Peer(P2P)技术是近年兴起的一种新的网络模型。和传统的C/S模式的网络模型相比,P2P网络能够很好地实现计算机资源和服务的共享,提高资源和服务的利用率,有利于资源和服务
在过去的二十年里,VME总线被广泛的应用于全球的工业、商业及军用嵌入式计算机,主要包括交通控制系统、武器控制系统、电信交换系统、数据捕获、视频成像和机器人等领域。但
电子商务正作为一种新型的商务模式在全球范围内迅猛地发展。然而,从整个电子商务域来看,一些小的企业因为资源不足导致电子商务活动长时间停滞不前,而一些实力雄厚的大企业
随着信息时代数据的爆炸性增长,传统的以太网络与存储网络相分离的网络架构需要服务器拥有以太网卡和光纤通道适配器来连接各自的网络,给数据中心布线、扩容以及功耗管理带来了