论文部分内容阅读
随着信息技术的不断突破和快速发展,现代社会产生的各种信息数据呈指数级增长。在大数据时代来临之际,人们对存储系统的要求也越来越高,希望系统能够提供高性能、低能耗、高可靠性以及高空间利用率的存储支持,网络间的数据交互还需要在低带宽消耗的情况下完成。近年来,纠删码技术作为提高存储系统性能、可靠性、存储效率以及降低能耗、数据传输和维护成本的关键技术,越来越受到重视,已成为存储学术界和工业界的研究热点。 论文重新定义了存储系统服务质量的含义,其内容包括性能、可靠性、带宽消耗、成本(包括能耗成本和存储空间成本)。全文围绕基于纠删码在存储系统中的不同应用开展研究,目标是提高存储系统的服务质量。研究内容具体包括:提高系统性能、降低能耗并提供可靠性保证的纠删码研究,提高存储空间利用率的纠删码研究,节省修复带宽的纠删码研究。对每个方面的研究都通过系统的实验和分析来验证所提方法的有效性。 在提高系统性能、降低能耗并提供可靠性保证的纠删码研究方面,提出了一种高性能、低能耗、高可靠性的架构PERAID,系统在主存储区分出一部分空间,建立纠删码的缓存区域来接收新的写请求同时保证写数据的可靠性。纠删码的缓存区域提供多容错的能力,因此整个系统的可靠性和多副本系统的可靠性相当。提出了写缓存算法ECW和倒盘算法MCFD来提高系统的写性能和倒盘性能,另外在用户请求较少的情况下,可以关闭镜像盘来降低能耗。实验数据表明,PERAID在提高系统性能和降低能耗方面优于目前的解决方案。 在提高存储空间利用率的纠删码研究方面,提出了基于CRS编码改进的ICRS编码,利用其编解码速度快的优势来提高系统编解码性能。同时提出了一种面向大数据备份存储机制,提高了存储空间利用率。对系统的整体架构和软件模块进行了分析设计,系统将节点分成若干微型节点并且能够同时操作,从而能够提高系统的性能并使得系统负载更加均衡。测试结果证明系统能更快的完成编解码工作,编码速度上ICRS码优于CRS码和RS码,最高达到34.2%和56.5%,解码速度上ICRS码优于CRS码和RS码,最高达到18.1%和31.1%。 在节省修复带宽的纠删码研究方面,提出了一种基于纠删码的精确修复算法ECode,并提出具有低修复带宽和低维护代价的云存储架构BMCloud。该架构综合利用了功能修复和精确修复,因而兼有两种修复的优点。同时,提出JUDGE_STYLE算法来判断采用何种修复方式:对小规模数据失效采用精确修复方式修复,修复计算消耗和带宽消耗都较小,而且修复方式灵活多变,能够在较快时间内迅速修复系统;对于大规模的数据失效,功能修复能够重新生成功能性数据块,保证系统正常运行。仿真结果表明,在使用精确修复的时候能明显降低系统的响应时间,避免了反复功能修复对系统带来的计算负担和一致性的潜在威胁。在测试精确修复512MB文件时,BMCloud的修复时间要少于传统RAID6编码,最高达到53.9%。