Hadoop中作业调度算法的研究与改进

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:nicop
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着MapReduce分布式计算框架的提出,一场席卷全球的变革正在互联网领域内悄然发生。作为MapReduce的开源实现,Hadoop分布式系统得到了国内外各大互联网公司的广泛应用。多用户共享式集群环境是Hadoop系统应用的典型场景。其中,Hadoop系统下作业调度器性能的优劣,即能否在保证作业调度过程公平性的同时最大限度的提升共享集群的整体吞吐效率,是决定Hadoop系统能否充分发挥分布式计算优势的关键。   目前Hadoop下已有的各种作业调度器无一例外的都是基于各种队列进行作业调度的。其本质是一种“基于队列”的贪心算法,即在不了解共享集群全局信息的情况下,就“草率”的以实现作业任务“本地性执行”最大化为目的进行作业任务调度。共享集群的整体吞吐效率往往在片面追求任务执行本地性的过程中被消耗。本文为了克服“基于队列”贪心算法的弊端,在Hadoop下的作业调度器中引入了“最小代价流图”的思想,提出了“基于最小代价流”的作业调度算法,并针对在多用户共享式集群环境下作业调度过程如何进行“流图”建模的问题,进行了系统、详细的理论研究。本文还在理论建模基础上实现了一个Hadoop分布式系统下的、“基于最小代价流”的作业调度器。   通过与Hadoop下已有作业调度器进行比较实验,本文验证了在多用户共享式集群环境下,“基于最小代价流”的作业调度算法在保证作业调度过程公平性的同时,对于提升共享集群整体吞吐效率方面性能的有效性。
其他文献
随着3G时代的来临,多种多样的智能终端设备逐渐进入人们的生活,移动互联网呈现出前所未有的发展潜力。用户对移动网络的需求不仅限于传统的语音业务,数据业务以及各种多媒体
当前,互联网飞速发展,SOA技术得到了广泛的推广;越来越多的企业和机构将自己的核心业务以Web服务方式发布到互联网中,这样很好的解决了不同企业间信息共享和平台异构性的问题。但
步入当今信息社会,信息作为一种重要的资料及传输媒介,其价值已显得愈加重要。随之而来的就是对于信息的安全保护问题,大量黑客等的攻击、不法窃取造成的信息泄露等使安全问题愈
移动互联网技术的飞速发展,给人们的学习和生活带来了极大的便利,吸引着越来越多的人接触并使用移动互联网提供的业务。与此同时移动互联网的数据业务流量也以指数级不断增加,这
伴随着移动终端产品与3G网络的技术跃进,移动互联网的发展也进入了一个高峰时期,众多软件纷纷定制了可运行在移动终端上的版本,其中部分软件在涵盖了PC版本中全面功能的同时也继
近年来,互联网业飞速发展,由于其在本质上具有成长性、自治性和多样性的特性,而当下缺乏适合互联网自然特性的计算环境,这已成为制约互联网信息资源有效共享和利用的瓶颈,因
伴随着计算机技术的发展,云计算概念悄然兴起。云计算将普通的IT资源整合成虚拟资源池,供用户通过网络按需取用,从而大大提高了资源的使用率。云计算这些令人激动的特征,得益于虚
近年来,移动互联网展现了蓬勃的发展势头。一方面,计算机科学日新月异,移动网络带宽大幅提高,同时大量运算能力更强、交互方式更容易、价格更低的智能终端诞生;另一方面,随着社会的
随着网络技术的发展,Web Services已经成为现今最热门的企业级技术,它的应用已普及到社会的各个行业和领域。在这种趋势下,为了提供给用户可靠、安全、稳定的Web服务,在任何一个W
车载自组网为智能交通系统提供了道路交通安全应用,可以实现碰撞避免、安全警告等功能,从而防止和减少交通事故的发生。为了实现这些安全应用,车辆之间会周期性地广播包含车辆状