针对虚拟机备份的分布式重复数据删除系统的设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:gaolaoshi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
典型云计算服务需要支持数十万用户通过虚拟化共享硬件平台,然而这些虚拟机运行环境和镜像之间具有高度的相似性,许多用户使用版本相同的虚拟机。大量重复数据的多次传输和存储将会消耗大量硬件资源,极大地增加了云平台成本。基于云环境下虚拟机镜像备份的场景,针对海量数据重复数据删除过程中存在的性能和扩展性较差的问题,研究云环境下高性能重复数据删除技术具有重要意义。  针对上述问题,首先设计了一种高性能的分布式重复数据删除系统,该系统由命名节点服务器维护全局地址映射表等全局数据结构,并进行元数据管理和负载均衡调度,多台数据节点采用一致性哈希的方案存放指纹和数据,支持多台客户端并发备份和恢复操作,协同完成重复数据删除功能的同时,保证系统的读写性能和扩展性。其次,设计了一种部署在客户端的指纹过滤器,能够以较小的内存开销,快速检测相邻的多个备份版本之间的大部分冗余数据,从而减少了元数据和数据块的传输,节省了网络带宽,提高了备份效率。最后,系统采用将指纹和相应数据块散列存放到多个数据节点的设计方式,解决了多客户端并发的指纹查询和数据传输性能瓶颈问题。  实现分布式重复数据删除系统原型,并在原型系统中进行测试。实验表明,系统节省了备份流中73%~90%的网络数据传输量,取得了83%的数据平均重删率和4.7:1的数据平均压缩比,并发备份时平均吞吐率为单客户备份的3.6倍,恢复时平均吞吐率为单客户恢复时的2.5倍。结果表明该系统能够满足虚拟机镜像文件备份环境下的重删需求。
其他文献
目的 探究采用彩色多普勒超声检查对乳腺纤维腺瘤和分叶状肿瘤的鉴别诊断价值.方法 将2017年12月至2018年12月,在我院就诊的乳腺分叶状肿瘤患者42例纳入A组,乳腺纤维腺瘤患者
目的 分析宫腔镜检用于异常子宫出血的临床意义.方法 本次时间选取2017年1月至2019年6月内,研究对象选取异常子宫出血200例,回顾性分析其全部的临床资料,所有患者均接受宫腔
计算机网络技术和面向对象技术的发展为软件开发和应用带来了许多深刻的变革。分布式组件逐步成为新一代软件应用的重要模式,随着当前各种相关规范的逐步形成和完善,相应的开发
地理信息系统(GIS)是用于输入、存储、查询、分析和显示地理数据的计算机系统。随着Internet技术的兴起,产生了WebGIS,它不仅具备直观形象、图文并茂的特点,而且可通过网络实现G
课堂教学的心态至关重要,是教师意识主观能动性的体现.保持陌生化、表现欲和情景化的心态,就能更好地调动自身积极性,发挥出自身的潜能,以良好的效果达到教学目的.
目的 探究DCE-MRI联合DWI对诊断肌骨病变的价值分析.方法 选取我院2017年1月至2018年8月就诊的肌骨病变患者136例将患者分为两组,第一组,DCE-MRI组;第二组,DMD组.每组68例.最
CT是医学影像中一种非常重要的技术,近年来在医疗实践中取得了很大的进步.CT发展至今已经有几十年的历程了,不管是软件设备还是硬件设备都经历了巨大的变革,它开辟了医学影像
随着计算机互联网的飞速发展,网络安全问题变得越来越突出和严峻,解决网络安全问题对于众多网络应用来说是当务之急。安全协议作为网络安全的基础,其安全性对于整个网络的安
目的 对比分析MRI检查和CT检查诊断膝关节损伤的效果.方法 将2018年8月14日至2019年8月14日前往我院就医的92例膝关节损伤患者作为实验对象,使用电脑程序将92例患者进行区分,
在江苏省常熟市虞山镇虞园社区,有一个深受居民群众称道的党员信箱,社区里有什么问题需要解决,党员们就把自己的建议通过信箱转达给社区党组织。社区居民有什么需要,也可以通