基于HDFS的云计算动态副本策略研究

来源 :浙江理工大学 | 被引量 : 0次 | 上传用户:wuweidexin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的高速发展,密集型的计算和大规模的存储需求日益凸显。云计算因其超强的计算能力、低廉的价格、获取资源方便、可扩展性强在科技产品上得到了广泛的应用,也成为了学者研究的热点。云计算中的副本资源管理技术是影响系统性能的关键技术之一,也是保证云存储系统高可靠性的核心要素。然而,目前被大量应用的基于Hadoop的云计算在某些方面仍存在着不足:首先,HDFS默认的副本策略是静态的,如果在短时间内,用户大量访问某些信息,这些对象就成为了“热点文件”,热点问题会降低用户访问的速度,影响系统读取性能;其次,副本资源调度缺乏标准性。副本动态调整的核心是根据需求增加或减少副本的数量,目前在副本个数的计算上没有一个明确的标准,大多采用“需要就增加”的方式。而在副本删除的策略上一般选择存在时间久的副本进行删除,其缺乏理论依据;最后,目前存在的一些副本放置算法,大部分未考虑节点的异构性,对节点进行均一化处理,这样的处理方式是不准确的。另外,目前的一些放置算法,也存在时间复杂度太高,模型太过简单等问题。根据上述不足,本文在前人的研究基础上做了以下工作:(1)针对默认HDFS静态副本策略在大量文件访问请求的情况下出现服务质量降低的缺点,本文在原生HDFS文件系统之上进行了改进,增加了中央控制器、平衡计时器、访问缓存以及历史记录栈,改进后的系统能够动态的调整副本数量。(2)针对副本资源调度缺乏标准性的问题,本文在副本个数的计算上根据用户的访问情况来计算副本块被访问的频率,由该频率与平均频率的比值来确定应该维持的副本个数。对于副本删除策略,本文从计算服务器、机架、功能模块三个方面选择性能较差的节点删除副本。(3)对于副本放置策略,本文选择了典型的数据中心三层网络结构,提出了基于四级维度网络感知(SRMD)的副本放置算法,在该算法中,分别从计算服务器、计算机架、功能模块、节点网络距离四个方面综合考虑服务器节点性能,确定最优的节点进行副本放置作业。利用云计算仿真软件CloudSim3.0来模拟一个复杂网络的集群环境,从多方面对实验结果进行分析,三种策略的对比表明本论文提出的动态副本策略是正确可行的。
其他文献
随着互联网技术的快速发展和电子商务以及电子产品的普及,网络信息资源的数量急剧增长。一方面,用户在浏览互联网时需要耗费大量的时间才能得到有用的信息。另一方面,信息提供商
随着移动智能终端硬件高速发展,高速移动数据业务的普及,以及Web 2.0与企业应用需求的推动,移动互联网即将成为未来通信及互联网的主要发展方向,其所带来的安全问题,已表现出
在反求工程中,点云多视图拼合是三维数据点采集和处理中必不可少的环节,直接影响到三维数字化的整体精度和后续的模型重建工作。由于点云多视图拼合可以分解为点云数据配准以及
虚拟仿真技术已广泛应用于水利工程的勘测、规划、设计、施工等领域,而传统的库区三维仿真仅仅局限在满足局部区域的立体、直观、沉浸感等要求,停留在浏览观看的层次。由此可
近年来,将大量的计算资源集中起来,为用户提供统一服务的云计算技术得到迅速发展,不断扩展其应用领域。与此同时,伴随着互联网技术的发展,互联网用户的规模也不断增大,解决单一Web
随着博客(Blog)的迅猛发展,Blog网页数量急剧膨胀,如何在数量众多的Blog页面中找到自己感兴趣的blog网页?由于blog网页的特殊性如blog更新频繁,普通的网页搜索引擎对blog的检
描述合理的交通流模型不仅有利于理解车辆的行驶行为,而且对分析交通流状况,规划交通路网有着十分重要的作用。近几十年来,不同领域的研究者从各自的角度对交通流的特性进行
合成孔径雷达(SAR)图像为军事,民用等众多领域提供了丰富而宝贵的资料,开展SAR图像处理方面的研究工作具有实际意义和应用前景。纹理图像也是实际应用中广泛存在的一种图像,
在信息时代,谁能占有信息权在很大程度上决定着现在商业与军事战争的胜负。正是基于这个原因,世界各国都在努力发展对地观测卫星,就目前而言,使用软硬件相结合的方法来提高遥感图像的分辨率是这一领域新的理论思想。本文集中于利用上述思想研究提高斜模式采样遥感图像分辨率的地面恢复方法。为此,本文以遥感图像退化因素为主线,利用倒易晶胞理论,先后深入探究了传统的与斜模式采样遥感图像获取系统中噪声、模糊以及混叠对图像
视频目标跟踪融合了图像处理、模式识别、人工智能、自动控制、计算机应用、生理学、物理学、数学等相关领域的先进技术和研究成果,具有可视性、抗干扰、成本低等优点,己被广