基于数据去重的备份系统性能优化

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:net130130
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着现代信息化技术的深入发展,数字信息呈爆炸式增长,给数据备份系统带来了巨大挑战。数据去重作为一种数据缩减技术,能够有效地删除数据流中的重复数据、提高存储利用率和节省网络带宽,被广泛应用于数据备份系统中。但是,基于数据去重的数据备份系统在高性能提升方面仍存在很多问题。  一方面,大幅度提升数据备份系统的备份吞吐率至关重要,但现有的数据去重方法都是通过加快指纹索引这一局部方法来提高备份吞吐率,并没有从数据去重的全局过程考虑,故对备份性能的提升存在局限性,针对此问题提出一种流水并行化数据去重方法,将数据去重过程划分为合理的流水段,使多个阶段并行运作,大幅度提高了数据备份吞吐率且不会影响数据去重率。另一方面,数据恢复是备份的最终目的,提升恢复性能具有重大意义。然而,在备份系统中使用数据去重技术使得文件分散地存储,导致后续版本的恢复性能降低,而现有算法是通过碎片重写来换取恢复性能,牺牲了过多的数据去重率,针对此问题提出了一种基于缓存感知的碎片重写方法,在数据备份过程中预先模拟恢复缓存的行为来避免在缓存中能够命中的数据碎片的重写,从而提高了后续版本的数据恢复性能,同时大大降低了对数据去重率的影响。  实验结果表明,流水并行化数据去重方法从整体上提高了备份系统的备份性能,使备份系统具有更高的备份吞吐率;基于缓存感知的碎片重写方法与现有算法相比,不仅提高了数据恢复性能,而且提高了数据去重率。
其他文献
软件生产是一个相当复杂的过程。在计算机出现后的几十年中,探索新的软件方法和技术以提高计算机软件的生产率和质量一直是软件工程领域研究的一个焦点。在1987年前后,美国卡
电子商务、电子政务已经成为社会信息化的主要潮流和必然趋势,在军事领域,电子军务也将成为我军军队信息化建设的前提和基础,对推进我军从半机械化、机械化向信息化发展具有非常
并行分布计算是当前计算机科学的热点之一。而并行系统中的任务调度算法是影响分布式计算效率的关键因素,也是一个具有挑战性的课题。并行系统中任务调度是指把一个应用中有先
基于云计算的新型移动应用需要通过无线网络和云平台进行频繁的数据交互,而无线网络的不稳定性可能会导致数据传输能效过低,大量消耗资源受限的移动设备中宝贵的电池资源。另一
当今随着经济环境的全球化,企业面临着越来越激烈的竞争。大多数有竞争力的企业都把对业务过程的管理作为他们成功的关键。工作流管理系统将实际的业务过程转化成某种计算机化的形式表示,通过调用有关的信息资源与人力资源来协调工作流中的各个环节,使之按照一定的顺序依次进行,从而实现业务过程的自动化。它为企业和政府部门创造了良好的协同工作环境。 工作流模型是整个工作流技术的重要内容,而模型的正确性分析和性能
随着网络、多媒体技术以及大容量信息存储介质的发展,基于内容的视频检索技术日益成为目前多媒体技术的研究热点。镜头边界的检测则是基于内容视频检索的基础和重要步骤,它可以
互联网的飞速发展极大地方便了人们从网络上获取多媒体数据,同时也给版权保护这一问题提出了新的挑战。数字水印技术作为一种新的有效数字产品版权保护的技术手段,是目前国际
现代存储系统采用纠删码技术避免因磁盘故障导致的数据丢失,提高系统的可靠性和可用性。在以磁盘为存储介质的存储系统中,TP编码和STAR编码等纠删码,可同时容忍系统中任意三个节
目前,重复数据删除技术主要应用于备份和归档系统中,该技术能够降低存储成本并提高系统吞吐量。近年来,在主存储系统中应用去重技术成为了一个热点研究方向。然而,目前最先进的适
随着云计算时代的到来,在数据中心中进行存储和处理的数据量急剧增加。在大型数据中心,服务器的能耗问题变得尤为突出。存储系统作为大型数据中心的关键组件,它的能耗限制了整个