容多盘错存储系统的单点故障快速重建方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:wy85396021
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现代存储系统采用纠删码技术避免因磁盘故障导致的数据丢失,提高系统的可靠性和可用性。在以磁盘为存储介质的存储系统中,TP编码和STAR编码等纠删码,可同时容忍系统中任意三个节点损坏,可靠性超过RAID6编码,而受到越来越多的关注。但针对发生频率最高的单节点故障实现快速重建恢复数据服务,尚未得到有效解决:重建方案有多种,不用方案会影响重建性能并影响前端服务的响应时间,传统单盘重建方法不仅耗时良久而且会造成带宽的浪费。  针对传统方法单盘重建的缺点,提出一种均分机制方法EDS(Equal Division Scheme),利用处于“均分状态”的重建校验集合推理出单盘重建时所需数据量的最优解从而找出最佳重建方案,减少磁盘I/O时间,加速重建过程。测试结果表明,在以磁盘为主的存储系统中,与传统方法相比,TP编码下均分机制方法减少25%~30.6%的磁盘读数据量,STAR编码下均分机制方法减少30%~33.64%的磁盘读数据量,使重建时间显著减少;且在不同的数据块大小和不同的磁盘个数时,均分机制方法的重建性能均优于传统方法。  由于均分机制方法自身的特性,该方法的核心思想可以方便地移植到以固态盘为存储介质的系统中。分析了使用RDP编码的固态盘存储系统的单盘快速重建问题,推理出RDP编码的重建数据量的最低值。文章分析了满足最佳重建数据量且负载均衡的最佳重建路径,实验测试了最佳重建路径的性能及数据块大小和系统规模对性能的影响。测试结果表明,在全固态盘为存储系统中,与传统方法相比,RDP编码下均分机制方法减少25%的固态盘读数据量,使重建时间减少;由于固态盘的随机读取和顺序读取性能接近,在不同数据块大小和不同固态盘个数时,均分机制方法的重建性能均优于传统方法,且性能提高百分比不受数据块大小和固态盘个数的影响。
其他文献
自万维网之父Tim Berners-Lee提出了语义Web(Semantic Web)的概念以来,语义Web和Web服务成为目前万维网中发展的两个重要趋势,这两种技术的结合产生了一个新兴的研究课题,那就是
计算机网络和信息技术的快速发展,使人们日常生活及工作环境对计算机网络和信息系统的依赖越来越密切,对网络安全的要求也越来越高。当前网络安全防护技术有很多,如防火墙,访
在目前典型的虚拟机管理器中,都提供了相应的虚拟机在线迁移技术,被广泛应用在数据中心的容灾备份、负载均衡等应用中。虚拟机在线迁移一般都采用基于内存预拷贝的方式,但这种方
软件生产是一个相当复杂的过程。在计算机出现后的几十年中,探索新的软件方法和技术以提高计算机软件的生产率和质量一直是软件工程领域研究的一个焦点。在1987年前后,美国卡
电子商务、电子政务已经成为社会信息化的主要潮流和必然趋势,在军事领域,电子军务也将成为我军军队信息化建设的前提和基础,对推进我军从半机械化、机械化向信息化发展具有非常
并行分布计算是当前计算机科学的热点之一。而并行系统中的任务调度算法是影响分布式计算效率的关键因素,也是一个具有挑战性的课题。并行系统中任务调度是指把一个应用中有先
基于云计算的新型移动应用需要通过无线网络和云平台进行频繁的数据交互,而无线网络的不稳定性可能会导致数据传输能效过低,大量消耗资源受限的移动设备中宝贵的电池资源。另一
当今随着经济环境的全球化,企业面临着越来越激烈的竞争。大多数有竞争力的企业都把对业务过程的管理作为他们成功的关键。工作流管理系统将实际的业务过程转化成某种计算机化的形式表示,通过调用有关的信息资源与人力资源来协调工作流中的各个环节,使之按照一定的顺序依次进行,从而实现业务过程的自动化。它为企业和政府部门创造了良好的协同工作环境。 工作流模型是整个工作流技术的重要内容,而模型的正确性分析和性能
随着网络、多媒体技术以及大容量信息存储介质的发展,基于内容的视频检索技术日益成为目前多媒体技术的研究热点。镜头边界的检测则是基于内容视频检索的基础和重要步骤,它可以
互联网的飞速发展极大地方便了人们从网络上获取多媒体数据,同时也给版权保护这一问题提出了新的挑战。数字水印技术作为一种新的有效数字产品版权保护的技术手段,是目前国际