虚拟磁带库中重复数据删除算法的研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:ZAQWSX12344321
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术和计算机网络的飞速发展,数据信息的传输量和存储量也在日益增大。为了缓解数据存储的压力,人们采用虚拟磁带库技术以磁盘虚拟磁带的方式来代替物理磁带库。但是,面对每天产生的海量数据,虚拟磁带库也面临着巨大的压力和挑战。为更有效的利用磁盘空间,本文提出了一种消除虚拟磁带库中冗余数据的重复删除算法的应用研究方案。  本文首先针对虚拟磁带库和重复数据删除算法的国内外研究现状做了详细的分析,并经研究和论证得出了一种适合虚拟磁带库的重复删除算法应用方案,即采用基于散列识别方法的数据块级后处理式消冗方案。本文也针对应用方案中使用到的主要算法如数据分块、哈希计算、bloom filter算法等进行了深入的理论研究和分析,并介绍了各自实现过程及关键参数选取等内容。  接着针对应用方案作了详细分析和设计,从功能结构、文件组织结构和功能流程各方面进行详细设计。然后分别从初始化、数据分块、数据查询和数据存储及管理等方面分模块介绍实现过程。其中在数据分块中实现了固定长度分块、不定长滑动窗口分块和定长滑动窗口分块三种方案以适应不同的场合和需求,在数据查询模块中实现了Bloom filter查询、中间模块查询和磁盘哈希表三层查询机制,极大的提高了数据查询及数据存储的效率。  最后分别从处理的文件类型差异、分块方案选择差异和固定分块长度差异三方面进行了详细的测试和研究,其结果与理论分析完全一致,取得了良好的效果。
其他文献
由于抗震理论和应用的不断发展,抗震试验先后经历了拟静力试验、地震台试验和拟动力试验三个阶段。拟动力试验充分利用计算机快速计算的强大功能,并结合了测试相关技术。从而
该篇论文详细论述了离子回旋共振加热系统(ICRH).论文的第一章里介绍了ICRH系统的组成结构和天线阻抗自动调配系统的作用和结构图,并给出了实现的大致流程.在第二章里给出了
期刊
期刊
石墨烯是一种由碳原子sp2杂化轨道组成的六角形成蜂巢晶格的二维结构,具有优异的物理化学性能。石墨烯的理论比表面积高达~2630 m2g-1,而且含有大量可自由移动的π电子,可以和苯
色彩搭配要从整体色彩的把握出发,具体做到重视园林中的各种设计元素的色彩,充分了解和利用各种设计元素的色彩特点,从全局的角度出发,做到各设计元素之间以及设计元素与环境
期刊
基于WEB的数据存储管理系统是专门针对高能物理所BES&BEPC的数据存储管理设计的信息系统,因此从数据来源、数据结构、以及实现方法上都有它的专一性和特殊性,它采用基于WWW的
光阴极是一种广泛应用的阴极材料,自从1985年LANL研制成功第一台光阴极注入器以来,光阴极在加速器中的应用从理论和技术上都得到了很大的发展。当前发展比较成熟的直流和射频光
跌落冲击是工程中一种较常见的问题,而实物试验成本高,精度低。随着有限元技术的飞速发展,对跌落冲击进行仿真分析得到人们越来越多的关注。依据产品的跌落仿真结果对结构进行反复修改,可缩短产品研发周期。本文首先探讨了有限元法的概念和理论,研究了ANSYS软件的特点及发展趋势,阐述了ANSYS Workbench的分析过程。然后,将相机镜头的CAD模型图导入/ANSYS中,利用ANSYS Workbench