【摘 要】
:
随着云计算时代的到来,各种应用程序需要分析计算的数据所占用的空问越来越大,一度由GB到TB甚至发展到EB数量级。随着数据量的增大,需要的存储空间也变得越来越大,相应的能源
论文部分内容阅读
随着云计算时代的到来,各种应用程序需要分析计算的数据所占用的空问越来越大,一度由GB到TB甚至发展到EB数量级。随着数据量的增大,需要的存储空间也变得越来越大,相应的能源消耗也越来越大。在云存储环境下,研究如何利用纠删码编码技术和重复数据删除技术有效的提高存储空间利用率是有现实意义的。本文对现有的云存储技术进行了分析,现有研究表明以纠删码为容灾策略的数据存储技术相比多副本存储技术能够节省更多的存储空间和网络带宽;在云计算平台Hadoop中,大量数据之间存在重复数据,而重复数据删除技术能发现这些重复的数据,避免重复数据的存储,提高存储空间利用率。柯西里德-所罗门编码是一种主流的纠删码编码方式,为了优化云存储中柯西里德-所罗门编码效率,并向云储存系统中加入重复数据删除功能,本文做了以下几方面的工作:(1)提出了一种优化柯西里德-所罗门编码效率的选择框架。任何利用柯西里德-所罗门编码的数据存储系统都可以利用该选择框架产生高效的数据编码调度,以用于提高编码效率。(2)将上述选择框架产生的优化调度方案集成到了Hadoop中去,优化了云存储环境下的柯西里德-所罗门编码的编码效率。(3)在Hadoop平台的每个数据节点实现了重复数据删除功能,提高了每个数据节点的存储空间利用率。在Hadoop云存储实验平台上实现了柯西里德-所罗门编码效率的优化和重复数据删除功能。本文提高了云存储中柯西里德-所罗门编码效率,提高了存储空间利用率。
其他文献
经济快速发展的今天,户外媒体广告已经成为了企业打造自身品牌和制定企业发展策略不可或缺的手段。正因如此,各种形式的户外媒体广告应运而生,并且已经占据了企业和公众的生活。
随着移动通信技术的迅速发展,人们已经进入移动时代。以手机短信为代表的移动信息服务日益普及,在移动中使用手机通过移动网络与庞大的数字空间获取信息和进行沟通,已经成为人们
本文详细地介绍了医学图像存档与通讯系统(PACS)的产生、发展、及其相关知识。 对当前比较流行的两种网络体系结构(C/S和B/S)进行了对比研究,并在此基础上设计了一种适用于大
移动agent的概念是20世纪90年代初由General Magic公司在推出商业系统Telescript时提出的。简单地说,移动agent是一个能在异构网络中自主地从一台主机迁移到另一台主机,并可
随着IP技术的发展和网络规模扩大,使很多传统意义上的电信业务都转向IP网络承载。中国网通成功建设了国家宽带IP网络示范工程CNCnet,并成为国内第一家成功在IP网络上提供运营级
计算机网络技术的发展给全球的各个方面带来了巨大的变化,其中基于IP网络的VoIP通话方式为人们的远距离交流提供了一种价廉的途径。近几年出现的软交换技术标志着以多媒体通
本文对基于神经网络的特定人关键词检索进行了研究。文章将神经网络技术应用于关键词检索,实验结果显示用神经网络做关键词检索是可行的和有效的;提出了一个关键词检索算法
对云环境下虚拟资源的分配和管理是云服务提供商需要解决的关键问题,服务提供商可以根据与用户签定的SLA来优化使用基础设施以达到在满足SLA的前提下最大化资源利用率的目标
最坏执行时间(WCET)估值的需求在于为计算机控制产品和其他实时计算机系统的程序的时效性提供保证。这些估值可以用来保证中断的及时地响应,也可以确保周期任务的吞吐量,还有作为