论文部分内容阅读
随着社会信息化的建设,信息变得越来越重要,甚至成为社会各领域赖以生存的基础。人们可以使用数据备份系统来安全而有效地保护这些信息数据,但是,数据爆炸式的增长导致需要使用大量的存储设备来进行数据存储,从而提高了成本。重复数据删除技术可以有效地删除数据流中的重复数据,提高存储利用率,因而成为了一个研究热点。空间利用率和数据可靠性是存储系统需要考虑的两个重要的方面。重复数据删除技术虽然提高了存储利用率,但是却牺牲了数据的可靠性。在重复数据删除系统中,少量关键数据的丢失可能导致大量文件数据无法访问,从而造成不可估量的损失。这是一个急需解决的问题。设计实现了一款具有可靠性保证的重复数据删除系统R_DS。R_DS系统使用Key-Value技术来改善指纹的检索效率,同时使用缓存技术来优化读写性能,从而大大地提高了重复数据删除的处理速度;R_DS系统使用Erasure-Codes技术,通过合理地设计编码格式,在较少影响存储利用率的情况下,提供高的数据可靠性,并可以在容错范围内,快速重建丢失数据。综合测试表明:R_DS系统具有非常高的备份和恢复效率,同时具有可观的重复数据删除率;R_DS系统可以实现满足需求的可靠性,可以同时重建多个设备的数据,并且具有很高的数据重建速度。