基于分布式文件系统HDFS的节能算法

来源 :计算机学报 | 被引量 : 0次 | 上传用户:wqra555551q
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
与传统数据中心节能算法不同,MapReduce计算任务的数据依赖性使得设计HDFS(Hadoop Distributed File System)节能算法时必须保证集群中所有数据块的可用性,即任意数据块或其副本中的至少一块处于活动状态.根据HDFS集群结构与数据块存储等特点建立了DataNode节点矩阵、节点状态矩阵、文件分块矩阵、数据块存储矩阵与数据块状态矩阵,为后续研究建立了基础模型.结合数据块状态矩阵与数据块可用性之间的关系设计了DataNode节点休眠验证算法.概率分析了由于机架感知的存储策略带来数据块分布的随机性,使得在不改变数据块存储结构与存储策略的情况下并不能通过休眠DataNode节点达到节能的目的.进而设计了数据块存储结构配置节能算法与基于对称数据块存储策略下的节能算法,分别从改变数据块的存储结构与存储策略两方面对HDFS进行节能改进.实验结果表明:两种节能算法都能解决HDFS集群的能耗低利用率问题,并且集群负载越低节能效率越高.
其他文献
在产业集聚、交通体系演化和农村发展三大主导因素的影响下,苏南地区农村居住布局从高度分散走向适度集中有利于推动农业规模化、缓解人地关系矛盾、改善农村生活环境。根据
地域性作为人居环境的基本属性之一,是人类聚落在漫长的发展过程中与地域自然及社会人文因素相互作用的结果。在自然生态环境、社会发展水平、历史文化传统等因素的影响下,重
对于破坏军婚罪的主体的问题,我国法律对此尚未作出明确规定,在司法实践中,现役军人的配偶能否成为破坏军婚罪的主体,追究其刑事责任,学界对此也尚未达成共识,故有必要对此问
流通产业是支撑我国国民经济发展的重要产业之一,然而,长期以来我国流通产业一直被视为“劳动密集型”的产业,受到这种观念的影响和制约,流通产业的技术创新相对缓慢、现代化程度
目的探讨清肺消炎丸联合阿奇霉素片治疗小儿急性支气管炎的临床疗效。方法选取2018年2月-2019年2月恩施土家族苗族自治州中心医院收治的100例急性支气管炎患儿为研究对象,将
<正>教育有着举足轻重的意义。教育要求:以培养学生的创新精神和实践能力为重点。因此,教育的改革也带动了课堂教学的改革:由原来的以"教"为主变成了以"学生自主探索"为主。
经济危机往往孕育着新的科技革命。全球性金融危机使世界经济发展遭受严重挫折,同时客观上推动全球进入一个新兴产业快速发展时期。云计算正是在这一特殊历史时期产生的重点
国际直接投资(Foreign Direct Investment, FDI)作为经济全球化的一个重要组成部分,为推动全球经济增长做出了重要贡献。面临日趋激烈的国际竞争,世界各国只有积极发展国际直
在税制体系中,个人所得税无疑是调节收入分配的最重要税种和政府筹集财政收入的重要来源。但我国个人所得税在具有根本性意义的税制模式上仍然保留了当今世界上罕见的分类所得
请柬从文体本质上讲是一种社交专用书信,发请柬是社交中的礼仪行为,适宜于请柬的文体特质和现实效用,请柬在写作内容、格式和语言便体现出"达"、"雅"、"礼"、"时"特征。一份