重复数据删除系统的存储管理及其可靠性研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:guipian110
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社会信息化的建设,信息变得越来越重要,甚至成为社会各领域赖以生存的基础。人们可以使用数据备份系统来安全而有效地保护这些信息数据,但是,数据爆炸式的增长导致需要使用大量的存储设备来进行数据存储,从而提高了成本。重复数据删除技术可以有效地删除数据流中的重复数据,提高存储利用率,因而成为了一个研究热点。空间利用率和数据可靠性是存储系统需要考虑的两个重要的方面。重复数据删除技术虽然提高了存储利用率,但是却牺牲了数据的可靠性。在重复数据删除系统中,少量关键数据的丢失可能导致大量文件数据无法访问,从而造成不可估量的损失。这是一个急需解决的问题。设计实现了一款具有可靠性保证的重复数据删除系统R_DS。R_DS系统使用Key-Value技术来改善指纹的检索效率,同时使用缓存技术来优化读写性能,从而大大地提高了重复数据删除的处理速度;R_DS系统使用Erasure-Codes技术,通过合理地设计编码格式,在较少影响存储利用率的情况下,提供高的数据可靠性,并可以在容错范围内,快速重建丢失数据。综合测试表明:R_DS系统具有非常高的备份和恢复效率,同时具有可观的重复数据删除率;R_DS系统可以实现满足需求的可靠性,可以同时重建多个设备的数据,并且具有很高的数据重建速度。
其他文献
二维不规则零件排样问题在玻璃加工、金属切割、服装等行业都有着广泛的应用,排样的目的是将一系列形状各异的零件排放在给定的材料上,找出零件的最优布局,让材料的利用率最大化
伴随着数字时代各种事物的数字化进程,信息量正以前所未有的速度急剧的增长,对存储系统容量的需求也在同步增加,存储系统逐渐成为信息系统里的一大瓶颈。而传统磁盘是信息的最主
现今网络技术高度发展,一种或多种用户需要的功能都可以抽象成Web服务,服务提供者将其业务封装为Web服务并对外发布,用户根据自身业务需求,查找满足自身需求的服务并进行消费
光纤通道具有高速、低延迟、高可靠、传输距离远、可扩展性好等特点,其成为目前存储区域网络(SAN,Storage Area Network)的最主要的互联技术。在存储网络的数据访问过程中,RDMA(Rem
近年来,随着数字化技术的飞速发展,多媒体资源的应用也越来越多,其中视频数据具有蕴含信息量大、直观和表达能力强等优点,渐渐地受到人们的青睐,已经成为日常生活中最重要的
人脸检测是计算机视觉和模式识别领域的研究热点,随着20世纪90年代,人脸检测作为一门单独的领域被研究,至今人脸检测技术已渐趋成熟。但是,人脸作为一个三维刚体,随着人脸角度、摄
随着企业信息化的深入,IT在企业业务发展中扮演着越来越重要的角色。在一些大规模的企业里,IT本身已经成为一个非常庞大复杂的系统。数量庞大的IT资产的管理;快速变化和发展
光盘信道检测技术是光盘读通道研究的核心技术。光盘信道检测技术对于红光高清光盘(Next-GenerationVersatileDisc)伺服系统设计和误码率测试具有重要意义。信道检测技术研究
随着云计算时代的到来,存储系统数据量的增长越来越快,数据管理变得非常困难。如何有效地从大规模存储系统中检索数据,如何有效地对海量数据实施差异性的分层存储将直接影响存储
随着移动设备的普及和无线通讯技术的进步,地理相关服务(LBS)引起了广泛的关注,然而当前基于LBS的应用中普遍缺乏地理位置上的实时信息。近年来微博迅速成为网络中传播信息的