基于Hadoop平台的作业调度研究

被引量 : 35次 | 上传用户:edcujmtgb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Hadoop平台是目前比较知名的云计算系统开发平台,它是一个开源的、易扩展、可靠性高的分布式计算框架。其最大的特点就是并行化对应用程序开发者是透明的。Hadoop允许应用程序运行在大量廉价的硬件设备组成的集群上,为应用程序提供了一组稳定可靠的接口。但它发展时间较短,研究还不够深入,还有很多需要改进的地方。作业调度技术是Hadoop平台的关键技术之一,直接关系到Hadoop平台的整体性能和系统资源的利用情况。但是现有的作业调度算法均存在着一些不足之处,因此,通过对现有作业调度算法的分析研究,改进其不足之处,对Hadoop平台的发展具有重要的意义。本文主要进行了以下研究:(1)本文对Hadoop平台的架构及其核心技术进行了研究;深入研究了Hadoop平台下的作业调度技术,详细分析了现有的几种作业调度算法:FIFO算法、公平调度算法(Fair Scheduler)、计算能力调度算法(Capacity scheduler)等。并结合实验数据深入分析了基于优先级的加权轮询调度算法(PBWRR算法)和优先级加权的滑动窗口调度算法(PWSW算法)。(2)在深入分析研究了现有调度算法的优劣后,本文提出了基于遗传算法的Hadoop平台作业调度算法,使用该算法进行调度,能找到作业完成时间较短的调度结果,本文详细的给出了该算法的基本思想、算法流程、设计要点,并对该算法进行了实验验证,实验结果表明该算法可以对Hadoop平台下的编程模式实现较为理想的作业调度,是一种有效的作业调度算法。
其他文献
教师评价学生是小学数学课堂教学中极为普遍的一种现象,也是课堂教学中教师与学生进行双边活动的重要形式。在小学数学课堂教学中,教师的评价行为不仅能给予学生反馈信息,也
绿色化学是指在制造化学产品时应有效利用原料,消除废物和避免使用有毒的和危险的试剂。绿色化学又称“环境友好化学”或“清洁化学”。目前世界上很多国家已把“绿色化学”
文章对路桥施工企业的特点进行分析,对招投标阶段的各类风险进行识别,最后研究招投标阶段风险控制的几点策略,望引起重视。
张爱玲生活在五四时代,她的审美视角独特,对服装的追求标新立异。本文从张爱玲本人的着装形象以及她笔下小说人物的着装形象分析她个人的服饰观。作为女性作家,她对自己作品
细菌抗生素耐药性系全球关注的医学及社会问题。新近对古老细菌DNA与现代病原菌的研究揭示了抗生素耐药基因的古老起源、多样性及快速的现代进化,并促使了耐药基因组(resisto
目的:观察艾球加热条件下传统银质针在人体内针身的温度变化情况。方法:将36名健康志愿者随机分为单针组和多针组,每组18例。在两组志愿者臀部进针点(左臀部内上方,髂嵴上缘
并购作为企业实现结构调整和快速扩张的有效途径,一直以来就被上市公司所关注和运用,而协同效应是经济学家解释企业并购的著名理论之一,国内外学者都对其做过大量的研究,但是
中国新抗生素研究的进展张致平(中国医学科学院中国协和医D科大学医药生物技术研究所,北京100050在创建和发展抗生素工业的同时,中国抗生素工作者就开始致力于新抗生素的筛选与研究,勘
租赁是生活中常见的一种经济活动,它是为了解决生产和流通周期中生产要素配置不合理的矛盾而产生。融资租赁是租赁业的一种重要形式,又称金融租赁或资本性租赁,属于现代租赁
巴朗斯基说“地图是地理的第二语言,并且应该说它永远是更经济更容易理解的语言[1]。”本文以教学论、教育心理学理论为基础,通过对初中学生的地图技能状况的问卷调查研究,并