基于集群规模调整的节能存储策略研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:camel1650
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人类社会的发展,社会的信息化程度越来越高,作为记录信息载体的数据也随之迅猛增长,应运而生的大数据技术也越来越多的应用到实际生活中方便人们的生活。大数据技术的应用离不开数据的存储,而对于存储大数据的集群,其能耗也是一个不容忽视的问题。本文通过对集群文件访问规律及集群服务器能耗规律的认识,发现集群中普遍存在节点使用率低下的问题。因此本文主要的研究内容是通过对集群规模进行动态调整来提高节点使用率,降低集群的能耗。首先本文结合传统的静态分区及动态分区的优点将集群划分为三大区域。然后在此分区基础上,针对集群规模动态调整需要迁移大量的数据块的问题,提出了面向IO优化的集群规模调整,可以通过尽可能少的数据块迁移达到快速调整集群规模的目的。其次基于数据特征的分区存储对集群中存在的冷,热数据采取不同的存储策略,针对于冷数据提出负载集中存储策略,节省了存储大量冷数据的服务资源。另外针对于广泛采用的LRU算法对于偶发性的、周期性的批量访问会导致命中率急剧下降,本文提出了双因子淘汰缓存算法及对其进行改进,通过考虑文件访问次数和时间两个因子提高了命中率。为了验证本文提出的一系列的集群节能策略,本文开发了模拟Hadoop运行的集群仿真平台,该仿真平台分层的设计模式,对于新的节能策略,只需在策略层中编写相应的策略函数编译即可。该仿真平台用户可以自定义集群缓存策略,数据迁移策略,集群节能等一系列应用于集群的仿真策略。通过仿真实验结果表明:使用本文节能策略的HDFS比传统HDFS节能37%~42%,另外由于策略的实施对系统的性能具有轻微的影响,其中0.3%的访问需要唤醒服务器。但是由于本文采取了缓存策略,缓存的命中率在13.5%左右,而广泛采用的LRU算法的命中率为8.4%,最后对集群的性能提高了5.1%。
其他文献
人脸识别是一个典型的图像模式分析、理解与分类计算问题,涉及到模式识别,计算机视觉,人机交互,统计学习,认知科学等多个学科,是模式识别领域研究的热点和难点之一。同时,作
推荐系统可以帮助用户发现感兴趣的信息,有效解决信息过载问题,推荐系统得到了广泛的研究与应用。与此同时,推荐系统中的隐私问题也日益受到人们的重视。对于推荐系统来说,尽
随着网络的开放性和计算机能力的提高,越来越多的数字信息在网络上传输、处理,并深入到生活、工作、学习的方方面面。由于数字信息具有易修改和易复制等特点,数字信息在不安
多传感器数据融合问题已经引起许多学者的广泛关注。通常,压力传感器都存在交叉灵敏度,其主要表现在传感器静态特性不仅受目标参量的影响而且还受多个非目标参量的影响。由于
随着我国工业生产水平的发展,很多新技术也得到了应用,而测量技术在工业生产领域内有着十分重要的作用。传统的测量方法测量效率与精度较低,无法满足现代工业的要求。而精确
两相流识别技术在工业上有很高的应用价值,其发展前景也不可小觑。随着计算机技术和信号识别技术的迅猛发展,电容层析成像技术近年来得到快速发展。电容层析成像(ECT)技术是
任务调度是网格研究领域的一个焦点问题,研究基于网格资源实际特征的任务调度对于高性能网格的实际应用具有重要的意义,任务调度已被证明是NP难解问题,考虑网格资源实际特征
网络访问控制是在终端接入网络时,按照安全策略对其进行检查,根据符合策略的情况,对其访问网络的能力进行动态控制,其中心思想就是“先检查,后接入”。随着网络访问控制技术
微内核是一种只提供最基本的机制与抽象的操作系统内核。其设计思想就是在不影响操作系统的安全性与稳定性的前提之下,尽可能地将内核功能移到用户态以服务线程的方式来实现,
针对高等院校教学管理系统中数据量不断增加与信息量却相对贫乏之间的矛盾,本文将数据挖掘中的聚类和关联规则技术应用于高校教务管理的数据分析和决策当中。本文以高校教师