论文部分内容阅读
大规模存储系统出错成为常态,纠删码技术广泛应用于存储系统中,以提供低存储开销的容错能力。然而,纠删码在存储系统中的数据布局,即块与存储设备之间的映射,与容错存储系统的可扩展性、可靠性、修复性能等指标有着紧密的关联。本文从数据布局的角度出发,在扩容(块的重新映射)算法设计、提高系统可靠性方案、高效故障修复策略三个方面展开研究。主要的研究内容与贡献如下:·提出基于部署Parity Declustering数据布局的磁盘阵列存储系统的高效扩容方案PDS(Parity Declustering Scaling)。PDS利用平衡不完全区组设计(Balanced Incomplete Block Design)定义数据迁移,实现了扩容所需数据迁移量最小,扩容后仍保持Parity Declustering数据布局,以及数据块与校验块的均匀分布。实验结果表明,PDS可有效缩短扩容时间和扩容过程中用户响应时间。·提出基于PDS数据迁移的提高磁盘阵列容错能力方案,以支持PDS扩容方案提高系统可靠性。PDS通过在条带中添加校验块来提高容错能力,并利用平衡不完全区组设计定义新加块在磁盘阵列中的放置,实现了提高可靠性后仍保持Parity Declustering数据布局,以及数据块与校验块的均匀分布。实验结果表明,提高可靠性的PDS扩容方案仍可有效缩短扩容时间和扩容过程中用户响应时间。·提出基于纠删码容错的分布式存储系统中面向高效故障修复的数据布局方案D3(Deterministic Data Distribution)。D3利用正交阵列(Orthogonal Array)定义块在机架和节点之间的放置,实现了数据块与校验块的均匀分布,以及在单节点故障下修复流量的负载均衡。此外,对于可容单机架故障的数据布局,D3修复单节点故障所需跨机架修复流量最小。实验结果表明,D3可显著加快单节点故障修复过程。