提高存储系统服务质量的纠删码应用技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:wxhxfb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的不断突破和快速发展,现代社会产生的各种信息数据呈指数级增长。在大数据时代来临之际,人们对存储系统的要求也越来越高,希望系统能够提供高性能、低能耗、高可靠性以及高空间利用率的存储支持,网络间的数据交互还需要在低带宽消耗的情况下完成。近年来,纠删码技术作为提高存储系统性能、可靠性、存储效率以及降低能耗、数据传输和维护成本的关键技术,越来越受到重视,已成为存储学术界和工业界的研究热点。  论文重新定义了存储系统服务质量的含义,其内容包括性能、可靠性、带宽消耗、成本(包括能耗成本和存储空间成本)。全文围绕基于纠删码在存储系统中的不同应用开展研究,目标是提高存储系统的服务质量。研究内容具体包括:提高系统性能、降低能耗并提供可靠性保证的纠删码研究,提高存储空间利用率的纠删码研究,节省修复带宽的纠删码研究。对每个方面的研究都通过系统的实验和分析来验证所提方法的有效性。  在提高系统性能、降低能耗并提供可靠性保证的纠删码研究方面,提出了一种高性能、低能耗、高可靠性的架构PERAID,系统在主存储区分出一部分空间,建立纠删码的缓存区域来接收新的写请求同时保证写数据的可靠性。纠删码的缓存区域提供多容错的能力,因此整个系统的可靠性和多副本系统的可靠性相当。提出了写缓存算法ECW和倒盘算法MCFD来提高系统的写性能和倒盘性能,另外在用户请求较少的情况下,可以关闭镜像盘来降低能耗。实验数据表明,PERAID在提高系统性能和降低能耗方面优于目前的解决方案。  在提高存储空间利用率的纠删码研究方面,提出了基于CRS编码改进的ICRS编码,利用其编解码速度快的优势来提高系统编解码性能。同时提出了一种面向大数据备份存储机制,提高了存储空间利用率。对系统的整体架构和软件模块进行了分析设计,系统将节点分成若干微型节点并且能够同时操作,从而能够提高系统的性能并使得系统负载更加均衡。测试结果证明系统能更快的完成编解码工作,编码速度上ICRS码优于CRS码和RS码,最高达到34.2%和56.5%,解码速度上ICRS码优于CRS码和RS码,最高达到18.1%和31.1%。  在节省修复带宽的纠删码研究方面,提出了一种基于纠删码的精确修复算法ECode,并提出具有低修复带宽和低维护代价的云存储架构BMCloud。该架构综合利用了功能修复和精确修复,因而兼有两种修复的优点。同时,提出JUDGE_STYLE算法来判断采用何种修复方式:对小规模数据失效采用精确修复方式修复,修复计算消耗和带宽消耗都较小,而且修复方式灵活多变,能够在较快时间内迅速修复系统;对于大规模的数据失效,功能修复能够重新生成功能性数据块,保证系统正常运行。仿真结果表明,在使用精确修复的时候能明显降低系统的响应时间,避免了反复功能修复对系统带来的计算负担和一致性的潜在威胁。在测试精确修复512MB文件时,BMCloud的修复时间要少于传统RAID6编码,最高达到53.9%。
其他文献
为了集成分布式应用,开发者需要对异构网络环境下的应用提供有效的通信手段。消息中间件利用可靠高效的消息递送机制帮助分布式应用进行数据交流。Java消息服务给Java应用程
分类方法是人工智能的重要领域之一。有许多分类模型可应用于此领域,而最著名的一种就是多层前馈神经网络。众有所知,反向传播是可以区分给定输入转为期望输入的优秀分类器。传
工作流是在计算机环境下将业务过程自动化处理,它按照定义好的规则在参与者之间传递文档、信息或任务的过程,从而实现业务目标。随着信息技术的不断发展,工作流管理系统越来越受
电子商务的飞速发展,对商务活动过程的网络化要求更加迫切,要求使用电子合同的呼声也越来越高。本文从电子合同的法律效力问题开篇,指出电子合同的可靠性和安全性问题,然后针对这
计算机网络病毒大规模爆发时所带来的巨大网络流量对网络的正常运行构成了严重威胁,而且网络病毒同黑客攻击相结合将会导致更加严重的危害。现有的计算机病毒防治技术主要关注
近年来,随着便携式计算机和掌上型电脑的日益普及,以及无线通信技术的迅速发展,对“无论何时,无论何地”的个人通信提出了迫切的需求。新的网络环境和新的应用需求引起了对可及时
遥感图像分类是遥感图像处理研究领域中的一项主要内容,分类的精度直接影响遥感数据的应用水平和实用价值。如何解决多类别地物的识别并满足一定的精度,是遥感图像研究中的一个
半导体存储器是众多芯片家族之中的重要一支。现在数字设计的硅片中,近80%面积用于存储芯片。在今天高性能微处理器中一半以上的晶体管用于高速缓存(cache),并且预期这一比例
二十世纪九十年代以来,随着运动捕获技术的广泛应用,运动捕获数据可以直接得到,导致大规模运动数据库的不断建立,需要一种有效的运动捕获数据关键帧提取及检索技术对运动数据
随着计算机和网络技术的不断发展,Internet已经成为人们生产和生活中的不可缺少的组成部分。社会的各个领域都在努力利用现有技术建立网络化的应用体系,进而实现信息交互和资