多节点容错存储系统的数据与缓存组织研究

来源 :电子科技大学 | 被引量 : 14次 | 上传用户:nxf_2004_0
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息资源的爆炸性增长、云计算模式的兴起与应用,对存储系统的存储容量、数据可用性以及I/O性能等方面提出了巨大挑战。构建超大容量、高性能、高可靠性的存储系统是学术界和工业界一直追求的目标。现代存储系统往往由成百上千个存储节点组成,多个存储节点同时出现故障概率大大增加,会出现因存储节点故障导致数据丢失的灾难性后果。因此,如何设计多节点容错存储系统的数据容错方案,如何提高多节点容错存储系统的I/O性能,已是海量存储系统迫切需要解决的问题。本文以如何提高海量存储系统的可靠性和I/O性能为研究目标,对多节点容错存储系统的数据容错和缓存组织问题进行了探索性和创新性研究,主要研究内容和创新性成果如下:1、针对双节点容错存储系统的数据容错问题,提出了一种高效的数据容错方案——水平旋转码HRC。HRC是一类最小列距离为3的MDS阵列码,满足RAID-6规范,且具有最优的编译码复杂度。本文从理论上定义了HRC,证明了其纠正任意双列删除错误的能力和MDS性质,并给出纠正双列删除错误的快速译码算法。与现有的RAID-6实现方案如EVENODD和RS码比较,HRC具有编译码算法简单,实现复杂度低,易于软硬件实现等特点。2、针对三节点容错存储系统的数据容错问题,通过扩展HRC提出了两种高效的数据容错方案扇状码FSC和三星码TSC。从几何特性上看,FSC和TSC是在HRC基础上分别增加了一列斜率为-2和斜率为1的校验。TSC通过优化第三列校验的生成方式可以获得比FSC更快的译码速度。本文从理论上证明了FSC和TSC纠正任意3列删除错误的能力,并给出了各种删除错误模式下的译码算法。FSC和TSC都是最小列距离为4的MDS阵列码,编译码速度优于G-EVENODD码(r=3)和STAR码。3、针对多节点(≥4)容错存储系统的数据容错问题,提出了一种高效的数据容错方案—垂直旋转码VRC。VRC采用纠删码的图表示方法描述,是一种垂直阵列码。VRC具有较高容错能力、参数限制少、适应性高等特点,基于VRC构建的存储系统具有负载均衡、最优更新代价等优点。本文阐述了VRC的编码思想和构造方法,提出了用解线性方程组方法进行译码,从理论上证明了VRC能纠正任意q个节点删除错误。与其他能纠正任意q个存储节点删除错误的编码,如RS码、LDPC码相比,VRC具有编译码规则简单,编译码计算开销小等优点。4、针对多节点容错存储系统的缓存结构设计问题,提出了一种基于DRAM和固态硬盘的多元化存储介质缓存结构M-Cache,以及该缓存结构的高效组织和管理方法。在M-Cache中,根据访问方式的不同,主机访问数据被划分为主机读数据和主机写数据。DRAM存储器既存放主机读数据又存放主机写数据,基于Flash的固态硬盘只存放主机写数据,主机写数据在写入DRAM存储器的同时也被写入基于Flash的固态硬盘。新的缓存结构M-Cache充分利用了DRAM存储器的快速随机访问特性和基于Flash的固态硬盘掉电后长久保存数据能力,提高了缓存系统的读写性能和数据的可靠性。5、针对多节点容错存储系统的缓存置换管理问题,提出了一种写优先的缓存置换管理算法WP-LRU。WP-LRU算法基于存储系统缓存中淘汰主机写数据块的代价远大于淘汰主机读数据块的原理,根据主机访问模式的不同将缓存中的数据块划分为主机读数据块和主机写数据块,对两种不同类型的数据块实施不同的管理策略:主机读数据块使用常见的LRU算法进行管理,主机写数据块使用聚合写算法进行管理。WP-LRU算法具有良好的扩展性,在不改变缓存命中率的情况下可降低系统的平均服务时间,提高系统整体性能。
其他文献
根据当前国际和国内经济发展形势,国际金融危机席卷全球,各国的经济发展都不同程度地受到国际金融危机的冲击。为了挽救经济发展,防止经济大幅衰退,各国纷纷采取宽松的货币政
科举制度是一种以考试为核心的选士制度,起始于隋、确立于唐、发展于宋、成熟、衰亡于明清,历经六个朝代,绵延了一千三百年,对中国封建社会的教育乃至今日的教育都起着不可估
认证机构是经国家有关主管部门批准认可并按法定程序设立的具有第三方公正地位的专业机构,其所从事的认证服务属于服务的范畴。随着中国企业管理者对国际认证这个概念逐步深
汉语母语作为中华民族文化与文明传承的载体,我们的优秀前辈们用它创作出了一部又一部不朽著作:从诗词到歌赋,从小说到散文。可是,在当代大学生们的母语使用过程中却出现了令
上市公司实施并购活动是否能够有效地改善其经营绩效,一直以来是国内外研究学者关注的焦点。在实证研究过程中,由于研究方法,研究样本存在的差异,并购绩效是否提高并没有一个
商业贿赂犯罪,简言之,就是商业领域中发生的贿赂犯罪。作为犯罪的商业贿赂行为,其范围应当对应于刑法中的全部贿赂犯罪。商业贿赂犯罪是市场经济的毒瘤。近年来,我国司法机关
本文以通行的“尤、杨、范、陆”顺序论述“中兴四大家”词学。作为目录学家,尤袤在保存词籍上有自觉的文献意识,虽仅存词籍之目,实开风气之先。作为程颐的后学,他承继了二程
在分布式数据库技术应用的推动下,如何解决数据库由于地理位置的分布等因素而引发的数据不一致性问题,已成为数据库技术研究领域的热点。本文重点论述分布式数据库技术在战场
科学发展观已成为统领我国经济社会发展全局的指导思想,伴随我国城市化进程的逐步深入,城市规划理论及实践工作亟待科学发展观的落实与应用。本文分析了科学发展观与城市规划
近年来,我国汽车行业面临着前所未有的发展机遇,一方面市场需求呈现近乎爆炸式的增长,另一方面汽车工业已成为国家支柱型产业,行业前景看好;但同时也存在着诸如竞争激烈、技术