基于再生码的分布式容错存储优化技术研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:itolbaxk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,大规模数据存储成为大数据的关键技术之一。分布式存储系统大多部署在廉价的商用机器上,节点失效已经成为一种常态。因此,如何构建面向海量数据的可靠存储机制成为相关技术研究的热点。传统基于多副本的容错策略存在存储开销过高和容错性差等问题,使其成为影响系统可扩展能力的瓶颈。近年来,业界开始提出使用纠删码策略作为存储系统的容错机制,但纠删码策略存在数据修复带宽消耗过大问题。为此,学界转向对基于网络编码的再生码存储策略开展研究。再生码在修复时能达到最优带宽开销,但再生码计算开销巨大等问题阻碍了其被广泛应用。另外,大多数存储系统只使用固定的单一的编码方法作为容错策略,忽视所存储文件本身的差异性,使得性能优化还存在缺陷。  针对上述问题,论文以构建低冗余、高可用、高可靠的分布式存储系统为目标,以基于HDFS的编码存储系统Cumulus为平台,对基于再生码的容错分布式存储及其性能优化机制开展研究。主要工作包括以下两个方面:  1)针对现有编码方法的不足,结合存储效率、访问延迟、修复带宽、计算复杂性等多维因素,提出了基于简单再生码的分布式容错存储方案,在此基础上进一步对简单再生码的退化读修复机制进行优化设计,并在Cumulus系统中实现了基于简单再生码的容错存储策略。实验结果表明,简单再生码在增加少量存储开销的基础上,有效减少了修复开销。  2)针对存储系统中的文件加入生命周期和访问频率特征对文件访问性能的影响问题,结合文件状态和系统状态,提出了基于文件动态属性的自适应编码机制。论文设计并实现了基于简单再生码的自适应编码模型。实验结果表明,基于文件动态属性的自适应编码机制可有效提高分布式存储系统的整体存储效率,并降低修复代价。
其他文献
该文首先介绍了目前的防火墙技术,分析了包过滤、应用网关、代理服务、电路层网关、状态检测、自适应代理技术和防火墙的配置,通过对TCP/IP协议系统的分析,在常见的Win9X和以
本课题的目的是研究过程工业监测系统的三层模型结构设计和内置脚本设计。 过程工业监测系统是涉及企业生产现场、生产调度和生产管理等企业各个部门的网络系统。为了使生
随着互联网技术的快速发展,电子邮件的使用越来越广泛,已经成为互联网上最常用的功能之一。但是,目前收发电子邮件的工具,仍是以计算机为主(包括掌上电脑等范畴),其价格昂贵,操作较复
该文通过对空中交通管制程序、陆空通话模式、机场管理方式等的分析综合,提出并拟定了基于图形工作站实现塔台管制模拟器的总体方案.在此基础上,讨论了三维真实感图形实现的
随着网络特别是Internet的迅猛发展,网络并行计算成了并行计算新的研究方向.我们改进了WebParallel网络并行计算模型.WebParallel模型采用了客户/服务器模式,以浏览器为计算
真实应用中的复杂对象语义丰富、表示复杂,如:包含文字、语音和图像的多媒体数据以及用于身份识别的面部和指纹特征等,这些从不同角度刻画或描述同一事物的数据被业界称为多模
支撑平台是开发大型应用软件系统的关键技术之一.该文从电力系统的SCADA/EMS/DMS应用的角度出发,对面向对象SCADA/EMS/DMS可视化平台的理论和方法进行了深入的研究和实践.论
该文开发的JavaWeb数据库应用服务器,简称JWDAS,是一个用纯Java实现的、集WEB服务器和数据库应用服务器于一体的、构筑Intranet应用的开发平台.Servlet——服务器端的小服务
本文论述了基于面向对象方法进行3D模型转换程序的设计与实现,并在此基础上结合实际工程项目,实现了3D仿真模拟训练系统模型生成与交互部分的软件。本文较详细地介绍了3D模型转
多媒体相册系统为多媒体家用软件产品提供了标准结构框架。本系统的设计是建立在组件对象模型(COM)架构基础上的,使用ActiveX控件技术设计其功能模块。图像处理控件是系统的关键