基于MBasedSWC-Varsize算法的重复数据消除技术研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:iloveyanqing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息化的发展,数据已经成为企业赖以生存和发展的根本。近年来,企业数据量呈现出爆炸式增长的趋势,许多行业的数据量已经从GB、TB发展到PB甚至EB级别,这在银行和电子商务类型的企业中表现尤为明显,对于这些企业,数据已经等同于财富。为了防止因数据丢失而导致的业务瘫痪,越来越多的企业开始建立自己的灾难备份系统。然而如此巨大的数据量如果靠简单的数据复制方式进行全部备份,则会对存储空间和网络资源造成严重的负担。为了在资源利用最优化的前提下建立企业灾备系统,重复数据消除这一概念应运而生。重复数据消除的关键在于消冗算法的高效,高效的消冗算法可以达到较高的压缩比。目前主流的重复数据消除算法有整文件消冗、固定分块大小消冗、基于内容的分块消冗。消冗粒度越小,效果越好,但是内存及磁盘管理消耗也越大。本文着重研究基于内容的消冗算法,并在此基础上提出了两个改进算法MBasedSWC和MBasedSWC-Varsize,以及与之结合的消冗存储模型FSBSM。新提出的改进算法根据实际应用中文件版本间重复数据大多连续出现的情况,采用了预分块与子分块合并策略,旨在保证算法良好压缩率的前提下,解决基于内容的分块算法块大小波动较大的问题。该算法同时也避免了同类算法使用内存磁盘消耗换取压缩率的情况,达到了平衡算法各项性能的目的。而与之结合的FSBSM消冗存储模型,通过文件相似度判断、双层存储结构以及节点选择策略,使得重复数据消除技术能够在网络集群环境中发挥最大的价值。最后本文结合上述理论研究,设计并实现了一个可用于灾备中的存储子系统原型。该系统使用真实数据对实现后的改进算法进行测试,并与第三章仿真结果作对比,最终用它实现了原型系统中文件的备份恢复功能。实验结果表明,MBasedSWC-Varsize算法自身性能及其应用下的FSBSM模型,均在灾备存储子系统原型中得到了成功应用,达到了预期效果。
其他文献
本研究以金花桧(Sabina chinensis‘jinhuagui’)、兰塔桧(Sabina chinensis‘lantagui’)、京桧6-2(Sabina chinensis‘jinggui 6-2’)、京桧10-3(Sabina chinensis‘jinggu
版眼    本栏目将为您提供一个同作家、高考作文阅卷老师零距离交流学习的平台,旨在提高您的写作水平,在这里,您既可以与作家同题作文,又能得到高考作文阅卷老师的亲自指点。为增强同题作文的“可比”性和更加接近高考作文时限,我们对作家的写作进行了限制——不超过一个小时。希望您在写作时也能够遵守。同题限时作文,旨在提升您的写作兴趣,并通过作家作文看到不一样的作文世界;阅卷老师点评,使你真正地掌握作文的提升
协同中继通过多用户间的共享天线构成虚拟多天线阵列来获得空间分集增益,进而降低系统断线概率,提高信道容量。协同中继的这些优势,让它倍受关注。在分布式中继应用中,无线设备通
期刊
学位
基于生物特征的身份认证技术是当前研究的热点问题。作为一种完全开放的信息源,人脸信息的提取可以反应一个人的性别、年龄、表情和身份等个体信息,是最重要的视觉图像之一。由
稗草是导致水稻减产的重要杂草之一,控制稗草以保证水稻产量和品质是稻作生产的重要内容。化学除草仍是当前控制稻田草害的有效方法,但长期化学除草导致作物药害的不断发生、抗
随着移动通信技术的飞速发展,用户数目的快速增长和无线频率资源的日益稀缺,3GPP组织在LTE系统的基础上提出了LTE-Advanced系统,LTE-Advanced在系统容量、频谱效率、峰值速率
上了年纪,很多人不可避免地开始“老花”,视线模糊,看不清报纸,这时就该给自己配一副老花镜了.然而生活中,相当一部分老人配戴老花镜很随意,购买时只是试一下,感觉能看清楚且
期刊
卫生间是家庭装修的重中之重,很多家庭的卫生间存在潮湿发霉、异味、采光不足的情况.既然户型无法改变,怎么能让无窗的卫生间远离“潮、霉、暗、臭”呢?一起来看看下文的实用
期刊