基于Hadoop的作业调度算法的研究和改进

被引量 : 8次 | 上传用户:coosmic
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的不断发展,面对空前膨胀的海量数据,云计算得到了快速发展。Hadoop平台是Google云计算系统的一个开源实现,目前已成为最流行的开源云计算平台。但是,它的发展时间较短,很多地方还需要改进,其中一个突出问题是作业调度问题。改进Hadoop平台中的作业调度算法,对提升平台的整体性能,进而推动云计算的发展有重要意义。本文首先讨论了Hadoop平台的相关技术背景和体系结构,重点分析了Hadoop平台的核心组成部分:分布式文件系统HDFS和并行计算模型MapReduce。其次,以Hadoop平台的主从式结构为基础,详细分析Hadoop平台的作业执行的流程,研究和比较Hadoop平台中现有的三种作业调度算法:FIFO调度算法、计算能力调度算法和公平调度算法,并指出算法的优缺点,为算法的改进提供依据。公平调度算法是多用户多类型作业场景下应用最广泛的作业调度算法。但是,公平调度算法中的延迟等待机制忽略了数据本地性、用户、作业和任务类别的不同对作业调度的影响,应该区分对待map任务和reduce任务,以及不同优先级用户的不同类别的作业。针对这个问题,提出基于优先级的延迟等待公平调度算法。另外,在保证用户和作业公平性的设计前提下,将公平调度算法和加权轮转算法相结合,提出基于加权轮转的公平调度算法。通过作业池间采用公平调度,作业池内采用加权轮转调度的方式,达到保证Hadoop系统吞吐率的同时,降低JobTracker节点负载的效果。最后,通过搭建实验平台,选择合适的基准测试程序和评估方法,验证基于优先级的延迟等待公平调度算法和基于加权轮转的公平调度算法的优越性,并对实验结果做详细分析。
其他文献
在图像压缩,图像恢复和图像传输等领域中真实评价输出图像的视觉质量是一项重要的工作。图像质量评价(IQA)旨在开发一种与人眼视觉感知紧密相关的方法。本文提出一个新的图像
目的为我院电话回访工作人员提供简单、准确、高效的电话回访系统。方法系统开发采用Visual Basic 6.0语言,开发流程为系统需求性分析、功能需求性分析、数据库搭建、系统安
<正>黑龙江中医药大学中医妇科学学科成立于1959年6月,在老一代学科带头人韩百灵教授的领导下,成绩显著。1984年被评为黑龙江省中医妇科学重点学科点,1989年被教育部评为首批
汪再舫主任中医师诊治原发性干燥综合征经验丰富,疗效满意,将其诊治经验概括为5个"不忘":症状繁杂不忘确诊;养阴生津不忘清热;清热利湿不忘护阴;益气养阴不忘补阳;补益阴阳不
自媒体的兴起带动了我国语言产业的发展,作为新的风口,自媒体语言创意产业汇集了大量资本,但同时也造成相关行业的野蛮生长。自媒体时代语言创意产业的失范问题反映的是我国
皮克斯在26年间只推出11部商业动画长片电影,但因为片片热卖,票房总收入加周边商品的贩售,总产值接近400亿美元。综观这11部长片,每个长片都承载着友情、爱情、亲情等普世价
近年来,国内动画大多收视平平、票房惨淡,独有Q版动画《喜羊羊与灰太狼》大放异彩。浓缩了诙谐对白、可爱的Q版形象和Q版表情的《喜羊羊与灰太狼》不仅俘获了大量少年儿童的
<正>随着新课程改革的稳步推进,提高课堂教学质量已成为当前教学的重要课题。新课程追求教学效益的最大化,实施有效教学是关键一环。因此,我们必须树立有效教学的理念,不断探
目的:观察恶性肿瘤患者服用封髓乌梅汤治疗与预防化疗相关性腹泻的疗效。方法:153例化疗相关性腹泻患者随机分为治疗组和对照组。治疗组口服封髓乌梅汤治疗,对照组口服盐酸洛
重型载货汽车在我国国民经济发展和国防现代化建设中发挥了重要作用。在市场需求和交通法规双重作用下,大功率、大吨位、多轴型重卡逐渐成为道路运输中的主力车型。多轴汽车