基于文件访问模式的重复数据删除方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:josenhu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动互联网设备的日益普及,移动设备间的数据同步、保护和信息分享的需求越来越迫切。因此最近几年各大公司纷纷推出个人云存储服务。在实际应用中,同步速度越快,用户数据实际存储的空间越小,就越容易让用户满意。因此存储容量优化有着非常重要的作用,对于用户能减少上传的数据量,加快同步速度。对于服务提供商,可以减少存储空间,降低成本。但传统的存储容量优化技术比如:传统的无损压缩算法、delta压缩算法都有自己的局限性,不能提供很高的压缩比例。能够获得更高压缩比例的重复数据删除技术是一种新型的存储容量优化技术,它通过指纹识别内容相同的数据块,最终只存储一份,将其它相同块替换为空间更节省的索引。但是重复数据删除会给系统带来影响,如计算、索引瓶颈、数据可靠性和可读性问题等。为了尽可能减少重复数据删除给系统带来的影响,采用了根据文件访问模式分类,对不同类的文件使用不同的冗余数据删除策略:对于个人修改的文件,让相邻版本进行delta压缩,只需要存储变化的部分;对于个人新建或从其它地方拷贝的文件,进行全局文件级重复数据删除。设计并实现了一个同步模块,并且实现了相关策略。测试结果表明,该策略可以减少用户同步时间和数据实际存储容量,并且让系统开销在可接受的范围内。
其他文献
QR码是日本自动化组件制造商Densoniq-Wave在1994年提出的一种技术,最初的设计目的是通过补给链跟踪机动车,它能够携带百倍于线性码的信息量并且可以抵抗一定程度的噪声污染、
视频的自动化分类技术是计算机视觉领域里面非常重要同时也非常具有挑战性的研究热点之一,其主要目的是用计算机对视频类别进行分类,以代替人工分类的方法。但是现有的对视频建
曲面重构是模式识别和图像处理中的重要问题之一,是对物体进行建模分析的关键技术。随着三维扫描设备与技术的不断发展,获取物体表面的采样点更加简单、准确。从三维数据点集
随着科技的发展和人们安全意识的提高,安防技术的迅速发展,视频监控系统广泛地应用于人们的生活中,产生的视频监控数据也越来越多,作为视频监控数据分析技术的基础视频监控数据检
通过采集公共汽车行驶参数,建立优秀驾驶行为分析模型,可以为驾驶司机提供一种优秀驾车的指导方法;优秀驾驶行为分析模型建立是关键,本文通过建立基于先验规则优秀驾驶行为分析模
固态盘(SolidStateDisk,SSD)存储技术最近几年飞速发展,凭借其优异的性能占领了部分市场。但SSD在寿命和成本上仍然与硬盘(HardwareDiskDrive,HDD)有比较大的差距。因此,在消费类市场
高清视频技术的发展,推动了高清视频播放机的普及,随之而来的版权保护问题也越来越严重,网络认证系统ICS(InternetCertificationSystem)是一种基于节目内容的光盘视频版权保护系统
世界各国军队的武器装备情况显示,枪械是使用最广泛的武器,然而对枪械的使用和训练存在各种问题,有必要建立一个虚拟系统辅助枪械训练。虚拟枪械训练系统的开发目的:一是使参加
在信息化的日益显著的今天,数字化信息迅猛增长,人们对存储的需求从容量到速度都不断在提高。在这种背景下,云存储服务诞生并得到迅速的发展,催生了一个云存储时代。与此同时,利用
视频序列在获取和传输的过程中往往会因为一些不可控的因素引入噪声,影响人们的主观视觉质量,也给后续视频序列的进一步处理带来困难。研究去除视频序列的噪声已成为图像处理领