基于YARN的MapReduce程序优化方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:chaba
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,每天产生海量各种非结构化和半结构化的数据,传统的存储模式与计算模式很难及时对这些数据进行存储和处理,因此,MapReduce计算框架应运而出。Hadoop作为MapReduce的开源实现,以其高效性,高容错性,低成本得到广泛应用。但是由于Hadoop1.0存在Master职责过多以及存在单点故障的问题,导致扩展性差和可靠性差,并且不能支持多种计算框架,Hadoop2.0设计了一套资源管理框架YARN,YARN能支持多种计算框架(MapReduce、Spark、Storm等),并且对资源的管理以Container的形式,比Hadoop1.0用Slot的资源管理方式粒度更细,因此资源的利用率会更高。YARN以其高扩展性,高可靠性,资源利用率高,支持多种计算框架的特点成为当前流行的资源管理框架。  但当在YARN上运行MapReduce程序时,非本地性的MAP任务和REDUCE任务都需要从其他节点上去传输数据,因此会占用网络资源,而YARN中的资源抽象是Container,Container是CPU和内存的封装,并没有包含网络。由于YARN没有对网络资源进行管理,YARN对于MapReduce程序的调度会存在网络资源分配不均匀的问题。  针对上述问题,提出了基于节点网络流量的负载均衡调度策略。该策略通过监控每个节点上的实时网络流量,在调度产生时,将当前节点上面的网络负载与整个集群中的网络流量负载作比较,选择对应的应用程序的对应任务来分配资源,使得集群上节点网络负载都比较平均。综上所述,网络负载均衡调度策略能使集群网络资源分配的更加均匀,减少作业运行时间,提升集群的资源利用率。
其他文献
基于位置的服务(LBS)是指通过移动终端和无线通讯网络的配合,确定用户具体所在的空间位置,从而为用户提供与空间位置相关的信息服务,如导航服务、交通调度、物流管理、紧急呼叫
目的 探究口服巴氯酚和局部注射肉毒素对老年脑卒中患者小腿三头肌痉挛的治疗效果.方法 选取我院2016 年8 月~2017 年8 月收治的老年脑卒中小腿三头肌痉挛患者116 例, 按随机
在全面建设小康社会的伟大实践中,新农村建设作为全面建设小康社会的重要组成部分正在全国广大农村普遍地展开。作为时代发展的记录者和推动者的新闻媒体,如何在新农村建设这
A new numerical simulation algorittan is presented for the elastic wave propagation in hetero-geneous anisotropic media.We make discretization of the computati
新冠肺炎疫情防控期间,在线教育成为学生学习的重要选择.为了探讨当前在线教育的发展态势、发展瓶颈以及解决之道,助推信息技术在教育教学中的融合应用,人民网教育频道于7月1
期刊
以新疆玛纳斯湖为研究区,利用1972—2014年间8期遥感影像数据,在提取了湖泊水域信息的基础上对近40 a间玛纳斯湖水域演化进行了研究。结果表明,1972—2014年间玛纳斯湖呈现明显"增加—减小—增加—减小"变化态势,水域重心不断往西南方向偏移。1972—1999年间玛纳斯湖长期处于干涸状态,2000年恢复至研究期间最大水域面积(248.69 km~2),之后经历了2000—2008年和201
突如其来的新冠肺炎病毒危机是大学生防疫教育的最好的活教材,高校应该抓住疫情防控契机,开展大学生国家意识、居家隔离生活、防疫法规、健康中国教育,用实际行动回应疫情防
[摘 要] 性行为在大学生群体中已经不再陌生,大学生性行为所带来的伦理困境不仅是理论问题,更是实践问题,需要给予重视。责任伦理为审视大学生性行为提供了新的维度,即作为善本身的目的、“应当”的责任范型、对未来负责的伦理视域。在此维度下,通过忧患启迪法及构建大学生性行为的伦理教育体系两条路径对大学生性行为的伦理困境进行探索性解决。   [關键词] 大学生性行为;责任伦理;忧患启迪法;教育体系  
大学生的就业创业活动,一直是整个社会都比较关注的问题.随着社会的发展,就业创业的机会很多,但是就业创业的难度也与日俱增.本文通过对当前大学生就业创业背景和问题的探讨,
突发事件频繁造成了巨大的经济损失和人员伤亡,随着GIS技术的发展和应用,将GIS技术与突发事件的应急救援相结合,可以在很大程度上提高应急救援效率。通过GIS技术,可以将多种应急