基于Hadoop节点监控的任务调度的设计与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:feager2
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网、移动互联网的快速发展,互联网从开始的内容的传递者到内容的第一生产地,从社会精英的通信、信息管理和计算工具到社会大众的身边事分享、娱乐及日常购物工具,互联网已经深入到我们生活的方方面面,原因和结果都是互联网要记录和必须能记录我们生活的方方面面,这就是大数据量的产生。   目前针对大数据量,各大IT巨头,如Google、Amazon等都有自己的存储和处理平台,而近年来最被看好的则是开源的Hadoop平台。Hadoop平台也是一个年轻的平台,从产生到现在,随着更多的进入实际的使用,一直在按着生产的需要进行着更新和改进。其中的任务调度部分是一个比较重要的部分,不少公司都在按自己的需求做改进。因此对现存的任务调度器进行调研、总结改进,对于提高Hadoop的计算性能和系统吞吐率是非常有意义的。   本文做了以下工作:   深入理解了Hadoop的分布式文件系统和MapReduce编程模型;在Hadoop的任务调度器方面,深入理解了先来先服务、公平资源调度、计算能力调度三种调度器的功能设计、实现细节等,在此基础上,提出了一种能通过节点监控进行资源感知的、对时效性要求高的作业进行更多的照顾的任务调度器,对此调度器的思想、流程、设计、实现等做了详细的叙述;对算法进行了试验验证,结果也表明算法成功的得出了预期的目标,解决了一些不足。
其他文献
当前,伴随着移动通信技术的不断发展,移动增值业务也越来越受运营商和SP(Service Provider,业务提供商)青睐。为了适应这种变化,达到在尽量缩短开发周期,降低开发的复杂度的
近年来,基于内容的视频检索已经成为数字媒体领域关注的热点研究方向。新闻视频作为一种特殊的视频种类,是人们获取信息的渠道。由于视频数量每天以指数级的趋势增长,数量庞大,因
随着云计算的深入发展,PaaS云平台作为以应用托管为主要功能,向用户提供托管环境、编程框架等资源的云计算平台,受到业界的普遍关注。PaaS云平台为了实现应用的运营与托管,需要存
随着物联网的不断发展,Mashup技术和理念有了非常广阔的应用。其中,Mashup技术在物联网的表现层聚合中体现了其重要的价值。Widget,作为Mashup在物联网表现层聚合中的具体实现技
电脑游戏已成为计算机产品市场上一个不可或缺的产业,触摸屏凭借友好的人机交互模式[1-2]以及更加敏感的电容技术获得了消费者的青睐,触摸屏游戏也应运而生。继苹果公司的ipad
随着互联网和无线通信技术的高速发展,人们在平日生活中对于位置服务的需求大量增长。当前室外环境下基于GPS的定位技术已经发展日趋成熟,但是由于室内环境复杂多变、结构比较
随着移动互联网的不断普及,短信、图铃、游戏、影音、导航、手机支付等多种多样的移动应用迅猛发展,各种移动开发平台层出不穷。BREW是高通提出的基于无线网络的,开放的,完整
随着计算机的发展和人民生活水平的提高,嵌入式领域得到了迅速的发展,嵌入式系统的开发受得前所未有的挑战,因此一个功能丰富、简单易用的嵌入式开发工具就显的很重要了,它将
随着开发环境越来越开放,运营商开放丰富的电信网络资源能力,互联网平台提供特色的API供广大开发者使用成为新型的商业模式,从而达到降低开发者开发门槛,减少开发周期,激励开发者
随着软件即服务(SaaS)的飞速发展,SaaS模式给租户带来了极大方便,也给SaaS提供商带来了很多机会。如何让SaaS服务更为灵活的适应租户的业务,并且能够随时跟从租户的业务变化、方