基于公平的Hadoop贪心调度算法研究

来源 :厦门大学 | 被引量 : 0次 | 上传用户:tianwang782
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算的概念被提出来的短短几年间,在学术界和工业界的共同推动下取得了巨大的进展。在这个过程中出现了很多的云计算系统,其中Hadoop平台作为一个开源的系统被许多公司采纳。Hadoop能够实现对海量数据的存储,并且提供了完善的容错处理;同时它采用MapReduce并行计算框架,在底层自动实现了并行化,能够使开发者像开发普通程序一样开发并行程序。   作业调度技术作为Hadoop平台的核心技术之一,其主要功能是对作业执行的顺序和计算资源的分配进行控制,这直接关系到Hadoop平台的整体性能和计算资源的利用情况。但是现有的调度算法均存在不足之处,因此对它们进行改进对于提高Hadoop平台的整体性能和计算资源的利用效率具有重要的意义。   本文首先介绍了云计算的概念以及Hadoop平台的架构,然后对Hadoop平台现有的三大调度算法:FIFO调度算法、公平调度算法(Fair Scheduler)和计算能力调度算法(Capacity Scheduler)进行分析,并指出它们的优缺点。在此基础上,提出了基于公平的Hadoop贪心调度算法,并详细介绍了该算法的目标、思想和设计方法。最后对基于公平的Hadoop贪心调度算法进行编码实现和实验验证,实验结果表明该算法能够成功地实现预期的目标。  
其他文献
随着计算机应用的普及和深入,虚拟现实(Virtual Reality,简称VR)技术已被认为是21世纪可能使社会发生巨大变化的几大技术之一.它通过多项高新技术的更高层次的综合,能够创造了一个
随着计算机与计算机网络的大规模应用与普及,计算机系统中的敏感信息与涉密信息也面临着日益严重的安全威胁。计算机病毒,木马软件,间谍软件等形式的恶意代码在计算机网络中
随着生物信息学的发展,生命科学数据呈爆炸式增长。尤其是近几年来,随着测序技术的发展,人们得到的DNA序列数据在快速增加。DNA数据的特点决定结构特征相似的DNA序列有着相似的
人工智能学科研究的发展经历了早期的从“推理与搜索”,到充分利用人类知识解决工程问题的“专家系统”时代。近二十年来,其研究的方法又逐步从运用海量数据进行“机器学习”
随着计算机技术和网络技术的巨大进步,人们的生活、学习、工作方式都发生了巨大的变化。拥有计算机和网络的世界变得方便快捷,但同时也伴随着巨大的安全隐患。越来越多的不法
传统的潜在缺陷模块序列预测模型采用有监督机器学习方法,先前的研究结果表明它们具有较好的性能。然而,这种基于有监督学习方法的缺陷预测模型需要历史缺陷信息才能建模。对新
随着Internet的日益发展与普及,电子信息交换已成为现代经济生活的主要形式之一,它是在任意两个互不信任的主体之间以一种公平的方式来交换电子数据。实现公平电子信息交换的
本研究的目的是为光纤线包的设计与优化提供良好的软件平台。首先研究了光纤缠绕轨迹并给出了简化方程,然后使用Pro/Engineer Wildfire5.0建立了光纤线包几何模型并配合Visual
三维实体建模是计算机视觉的重要研究方向之一,是根据摄像机拍摄得到的二维图像信息来计算三维空间中物体的几何信息,是识别和重建物体的过程。二维图像是三维物体建模的几何特
近几年来,随着移动计算技术和网络技术的迅猛发展,移动学习作为一种全新的学习模式悄然而生。移动学习是一种崭新的远程学习形式,让学习者摆脱时间和空间的限制,真正做到了在任何