论文部分内容阅读
随着数据存储量呈爆炸性增长,存储系统在大容量、高性能、高可靠和高可用保障以及高空间利用率四方面面临了巨大的挑战。如何为大规模存储系统提供高效(高性能,兼顾高空间利用率)的数据高可靠和高可用保障机制成为研究重点和难点。现有的RAID模式无法兼顾高性能和高空间利用率,采用RAID1+RAID5协作模式的RAID系统又没有高效灵活的RAID级别转化策略。针对上述问题,提出了支持文件级分布式RAID机制的BWFS-fileRAID文件系统架构。实验结果表明,BWFS-fileRAID改善了RAID5小写性能低下问题,提高了系统性能;并且BWFS-fileRAID兼顾满足了高空间利用率需求。主要贡献和创新点如下:
1.提出支持文件级分布式RAID机制的BWFS-fileRAID文件系统架构:针对目前大规模存储系统面临的挑战,设计支持文件级分布式RAID机制的BWFS-fileRAID文件系统架构。该结构的特点是,可在文件系统层以RAID方式为大规模存储系统提供数据高可靠和高可用保障机制,并且兼顾系统的高性能和高空间利用率。此外,出于功能完备性考虑,BWFS-fileRAID提供了高效的重构机制,并具备良好的在线扩容能力。
2.提出高性能的冗余管理机制:针对BWFS-fileRAID文件系统对性能的要求,提出了面向文件级分布式RAID的高性能冗余管理机制。该机制能够通过异步冗余计算方式,改进了传统RAID5机制的小写性能低下问题,从而提高系统性能。测试表明,通过高性能的冗余管理机制,带内模式下,BWFS-fileRAID可将小写性能大幅提高,峰值可达4倍以上;在带外模式下也可达到9.0~29.9%的提升。
3.提出高空间利用率的数据组织管理机制:针对BWFS-fileRAID文件系统对高空间利用率的要求,提出了面向文件级分布式RAID的高空间利用率数据组织管理机制。该机制可以降低BWFS-fileRAID文件系统冗余数据开销,提高空间利用率,从而降低系统的硬件、软件及能耗成本。以[Tanenbaum2006]提供的文件尺寸分布数据为例,冗余宽度为4(经典应用模式)时,系统冗余数据开销仅由RAID5的33.33%增加到37.67%,比RAID1的50%冗余数据开销大幅降低。
BWFS-fileRAID文件系统通过冗余管理机制和数据组织管理机制,使用RAID1+RAID5混合模式为文件系统提供数据高可靠和高可用保障;BWFS-fileRAID兼顾了RAID1的写性能优势和RAID5的高空间利用率优势,有效解决了大规模存储系统所面临的问题。