MapReduce架构下Reduce任务的调度优化

来源 :无线互联科技 | 被引量 : 0次 | 上传用户:menxiaolong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
MapReduce作业执行过程包含Map和Reduce两个阶段,Reduce阶段需要复制Map阶段产生的中间数据到本地进行计算产生最终的输出数据。其中,Reduce阶段包括Sort,Shuffle和Reduce等3个子阶段,Shuffle子阶段通过网络链路传输数据,花费的时间占Reduce阶段的1/3以上,具有较大的优化空间。文章提出了一种基于Reduce阶段执行链路分析的优化节点选择算法,通过合理选择优化节点,并部署相对应的Reduce任务,降低节点间的数据传输开销,减少对网络带宽资源的占用,加速Red
其他文献
目的对不同补牙材料在充填楔状缺损治疗中的临床效果进行分析和探讨。方法在我院2015年9月~2016年3月期间收治的牙齿楔状缺损患者中选取90例作为研究对象,以随机双盲原则为标
滚柱轴承、行星传动等机构,都有由相切圆组成的横切面。用常规方法进行计算,工作量较大。下边介绍一个曲率求解法,可以很快地得到结果。这个方法首先分析了四个相切国的情况
应激颗粒的形成是细胞的一种保护机制,当真核细胞受到环境的刺激时,细胞胞质中形成的致密颗粒,即为应激颗粒,其具有抗氧化及抑制细胞凋亡的作用。P小体是另一种细胞胞质中包
《诗经》中的“飞鸟”作为一个意象,其比兴意蕴丰富,主要可归结为三种类型:用飞鸟来比兴祖先父母的;用飞乌来比兴男女恋情和婚嫁场面的;用飞鸟来比兴行役之苦的。这种借飞鸟来比兴
始于20世纪90年代初期的专业学位研究生教育已走过了20多年的发展历程,现已形成涵盖38个硕士专业学位和4个博士专业学位的专业学位研究生教育体系。特别是在近几年,在国家政策
本文采用模糊聚类法划分地下水区域、模糊综合评判法评价水质,形成了一种地下水水质评价的新方法.利用该方法对新疆和田地区60个测点的地下水水样进行了水质综合评价.实例分
大叶柴胡伞形科多年生草本植物,因有毒性.被停止使用。此文通过加工炮制后对其药效进行了相关的实验研究,结果表明:对内毒素致热后的家兔解热实验效果显著;镇痛作用与柴胡相似,抗炎
社会工作专业硕士教育为社会培养社会工作人才的同时面临一些问题,通过对S大学两级硕士研究生在硕士教育阶段的学习及实践情况的调查,了解到如课程设置、实践安排与培养方向
通过对海洋中原油、重柴油、轻柴油、润滑油和煤油溢油波谱特征测试分析,绘制各油种不同厚度时光谱特征曲线图,是提取溢油信息的基础.经过多年卫星影像处理实践,筛选出各种油
在新农村建设的大背景下,针对当前河南农村金融存在的各种问题,河南省应注重发展大型金融机构、建立多元化农村金融服务体系、解决农村金融供给短缺。