论文部分内容阅读
随着信息技术的高速发展,密集型的计算和大规模的存储需求日益凸显。云计算因其超强的计算能力、低廉的价格、获取资源方便、可扩展性强在科技产品上得到了广泛的应用,也成为了学者研究的热点。云计算中的副本资源管理技术是影响系统性能的关键技术之一,也是保证云存储系统高可靠性的核心要素。然而,目前被大量应用的基于Hadoop的云计算在某些方面仍存在着不足:首先,HDFS默认的副本策略是静态的,如果在短时间内,用户大量访问某些信息,这些对象就成为了“热点文件”,热点问题会降低用户访问的速度,影响系统读取性能;其次,副本资源调度缺乏标准性。副本动态调整的核心是根据需求增加或减少副本的数量,目前在副本个数的计算上没有一个明确的标准,大多采用“需要就增加”的方式。而在副本删除的策略上一般选择存在时间久的副本进行删除,其缺乏理论依据;最后,目前存在的一些副本放置算法,大部分未考虑节点的异构性,对节点进行均一化处理,这样的处理方式是不准确的。另外,目前的一些放置算法,也存在时间复杂度太高,模型太过简单等问题。根据上述不足,本文在前人的研究基础上做了以下工作:(1)针对默认HDFS静态副本策略在大量文件访问请求的情况下出现服务质量降低的缺点,本文在原生HDFS文件系统之上进行了改进,增加了中央控制器、平衡计时器、访问缓存以及历史记录栈,改进后的系统能够动态的调整副本数量。(2)针对副本资源调度缺乏标准性的问题,本文在副本个数的计算上根据用户的访问情况来计算副本块被访问的频率,由该频率与平均频率的比值来确定应该维持的副本个数。对于副本删除策略,本文从计算服务器、机架、功能模块三个方面选择性能较差的节点删除副本。(3)对于副本放置策略,本文选择了典型的数据中心三层网络结构,提出了基于四级维度网络感知(SRMD)的副本放置算法,在该算法中,分别从计算服务器、计算机架、功能模块、节点网络距离四个方面综合考虑服务器节点性能,确定最优的节点进行副本放置作业。利用云计算仿真软件CloudSim3.0来模拟一个复杂网络的集群环境,从多方面对实验结果进行分析,三种策略的对比表明本论文提出的动态副本策略是正确可行的。