面向云数据中心的虚拟机镜像去重性能优化方法研究

来源 :广西大学 | 被引量 : 0次 | 上传用户:chungpy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云数据中心规模的持续增长和虚拟机镜像数量的急剧扩张,给云数据中心的存储管理带来严峻的挑战。另外,海量的虚拟机镜像中占有很高比重的重复数据,其消耗大量的存储资源和占用大量的I/O开销,极大的影响了云数据中心的性能。现有针对虚拟机镜像去重方法虽然取得一定的成果,但仍面临诸多挑战,对有时效性要求的海量镜像备份场景并不适用。虚拟机镜像文件大,之间具有高度相似性,以及不易修改等特点。针对海量的虚拟机镜像去重备份场景,本文设计在传统镜像去重方法的基础上加上预处理性能优化步骤。通过以上的优化方法,不仅保证其去重率,且缩短其去重时间。首先,针对云数据中心大量虚拟机镜像备份过程的重复数据删除存在的备份时长限制和目前传统重删技术存在的索引性能瓶颈等问题,提出一种基于镜像相似性的改进去重优化方法(ISGA)。该方法着眼于海量虚拟机镜像备份场景,从提高系统整体性能的目标出发,在充分保证一定重删率的基础上,通过基于镜像随机抽样来减少抽样范围,从而降低指纹索引查找比对的范围和次数;然后利用镜像之间的相似性对抽样的样本镜像块计算指纹,并通过相同指纹数确定其相似程度,对相似度达到阈值的镜像归为一组;最终形成多个相似的镜像组,再在镜像组内进行去重的过程。经过以上预处理,减少去重过程中的索引范围,减少了去重的时间,提高了备份效率,特别适用于海量虚拟机镜像的快速备份去重场景中。其次,虽然以上预处理减少了去重备份时间,同时也降低了去重率。另外预处理仍不能解决传统的重删系统受到磁盘瓶颈限制的问题。所以本文对经过预处理后的相似镜像组,在进行传统指纹检索前引入基于布隆过滤器的虚拟机镜像去重性能优化算法。算法改进的布隆过滤器对数据分块的哈希指纹进行快速判断和过滤。通过以上操作能够减少对指纹库的访问操作,解决硬盘性能瓶颈的问题,可以最大限度的提高重复数据删除率。综上所述,本文利用镜像相似性和局部性的特点,较好的解决镜像备份去重过程的索引瓶颈和磁盘瓶颈问题,在加快指纹搜索时间的同时,还保证了去重率,提高镜像备份去重系统的整体性能。实验结果表明:与虚拟机镜像聚类分组相比,本文提出的优化方法存在以下优势:在相同的镜像数量条件下,所需的去重备份时间更短;随着镜像库中操作系统种类增加的情况下,总镜像所需的去重时间更短。
其他文献
砷是一种常见的类金属剧毒元素,常用作除草剂和杀虫剂。对氨基苯砷酸是苯胺和砷酸反应合成的有机砷,毒性小于无机砷,常用于畜禽饲料添加剂。但是在禽畜饲料添加剂中,对氨基苯
组合测试是一种黑盒抽样技术,它采用组合的思想精简测试用例集规模,并且能够解决组合爆炸问题。经验数据表明,二维覆盖组合测试能覆盖软件中50%-97%的缺陷,具有非常高的实用
随着现代技术的飞速进步,人们对于视频媒体的需求越来越多,带来所需存储和传输数据量巨大的问题。压缩感知理论可以突破奈奎斯特频率的限制,允许以小于2倍奈奎斯特频率采样而
目的:观察五味子乙素(Schisandrin B,Sch B)对慢性酒精中毒大鼠学习记忆障碍的影响,探讨五味子乙素改善慢性酒精中毒大鼠学习记忆障碍的可能作用机制,为慢性酒精中毒导致学习记忆障碍的防治提供理论和实验依据。方法:(1)65只成年清洁级Wistar雄性大鼠,随机选取13只每天灌胃蒸馏水,作为空白对照组。另外52只大鼠每日以56°北京红星二锅头白酒灌胃,连续8w,建立慢性酒精中毒动物模型,
随着传统燃油汽车的发展和普及,车辆的尾气排放给环境带来越来越大的压力,同时还面临着石油资源枯竭的问题。为了应对环境保护和资源紧缺的问题,各个国家都在积极推动和引导新能源汽车的研发和生产,纯电动汽车因其具有系统集成度低、环境友好、节约能源、使用成本低等优点愈加受到用户和车企的青睐。作为未来汽车工业的发展方向,纯电动汽车的动力主要依靠锂离子动力电池提供,锂离子电池较铅酸蓄电池具有工作电压高、能量密度高
较高铬、镉含量样品中铬、镉同位素的分析已经不再是难题,而低铬(Cr)、镉(Cd)样品(100ng/g)的测试因其基质复杂、类型多样,使高精度的同位素分析面临诸多挑战。根据本课题组
会议
研究背景和目的代谢综合征(metabolic syndrome,MetS)是一种以中心性肥胖、高血糖、高血脂、高血压为主要表现的临床症候群。Sirt1基因通过发挥去乙酰化作用介导多条糖脂代谢
青化砭战役是我军在陕北根据地实施的著名战役。以青化砭战役我军战损情况为研究对象,依据军事运筹的基本理论和方法,运用Lanchester方程对该战役战损值进行了定量预估,并与
“云计算”这个词可谓是如今热门中的热门,不仅国内外各个IT巨头已经部署云计算,很多传统企业也纷纷转型云计算。一般提到云计算就会想到Hadoop,Hadoop是最典型的云计算平台
光学卫星图像是指人造卫星运行的过程中,通过照相机、多光谱扫描仪等设备对地面进行拍摄所获得的图像资料,但是在拍摄的过程中避免不了受到外界因素的影响,会使图像变得模糊