基于延迟调度策略的reduce调度优化算法

来源 :计算机应用研究 | 被引量 : 4次 | 上传用户：gsxs

【摘要】

：

在大规模的Hadoop集群中,良好的任务调度策略对提高数据本地性、减小网络传输开销、减少作业执行时间以及提高集群的作业吞吐量都有着重要的影响。针对Hadoop架构中reduce任务的数据本地性较低问题,提出了一种基于延迟调度策略的reduce任务调度优化算法,通过提高reduce任务的数据本地性来减少作业执行时间以及提高作业吞吐量,该算法在Hadoop架构的early shuffle阶段,使用多级

【作者】

：

石义龙林泓李玉强王彦

【机构】

：

武汉理工大学计算机科学与技术学院

【出处】

：

计算机应用研究

【发表日期】

：

2017年07期

【关键词】

：

reduce任务数据本地性延迟调度 MapReduce任务调度 reduce task data locality delay scheduler M

【基金项目】

：

湖北省自然科学基金资助项目（2013CFB351）

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

其他文献

基于SAFE方法的钢轨梳状传感器激励特定模态导波研究

为实现在钢轨中激励特定模态的导波,采用半解析有限元（Semi-Analysis Finite Element,SAFE）方法建立钢轨的SAFE模型,推导沿钢轨传播导波的控制方程,计算导波在钢轨中传播的相速

期刊

钢轨无损检测导波模态半解析有限元频散曲线梳状传感器Rail Non-destructive detection Guided wave Mo

基于t-SNE卷积编码的图像检索方法

为了提高基于内容图像检索系统的速度和精度,提出了一种基于t-SNE卷积编码的图像检索方法。该方法首先采用一个高精度卷积神经网络模型提取图像特征,然后通过定量分析模型不同层特征的检索性能,选择出最佳特征。其次将选择出的最佳特征使用t-SNE方法进行编码,降低特征维度的同时进一步减少图像特征中的噪声。最后,利用降维后的编码特征,实现基于内容的图像检索系统。实验结果表明:随着特征维度的降低,卷积编码方法

期刊

图像检索特征提取卷积神经网络降维image retrieval feature extraction convolutional neural ne

反向曲线客货共线铁路桥梁车桥耦合分析

将车桥耦合动力学引入反向曲线铁路桥梁的动力响应分析,以某改线工程新建线路(设计速度为120 km·h^-1 )上的反向曲线客货共线铁路桥梁为例,将车线动力分析软件与桥梁动

期刊

铁路桥梁客货共线反向曲线车桥耦合桥梁共振超高均衡速度Railway bridgePassenger-freight lineReverse cu

波磨对轮轨系统动力特性的影响分析

针对某地铁曲线路段钢轨波磨频发的问题,现场测量了20处钢轨的波磨,并以该实测的波磨作为激励,利用车辆—轨道耦合动力学模型,研究波磨对轮轨系统动力特性的影响规律。结果表

期刊

地铁钢轨波磨轮轨系统动力特性波磨波深时变率MetroRailCorrugationWheel-rail systemDynamic prop

结构纹理分离的对比度和细节增强

针对光照不足等因素造成获取的图像质量偏低的问题,提出一种基于结构层和纹理层分离的图像增强方法。首先将图像分为结构层和纹理层两部分,对结构层用累积分布函数构造参数自适应的Gamma校正算法,并用自适应Gamma校正算法对图像的结构层进行对比度和亮度增强,对纹理层采用提升高频分量的方法增强纹理细节,最后把增强后的结构层与纹理层结合得到增强后的图像。仿真对比实验表明,该方法能避免图像增强过程中纹理细节丢

期刊

结构层GAMMA校正图像细节增强对比度structure layerGamma correctionimage detail enhancement

基于延迟调度策略的reduce调度优化算法

其他学术论文