异构环境下MapReduce动态任务调度技术研究

来源 :计算机应用研究 | 被引量 : 0次 | 上传用户:qiuyujie
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对MapReduce在异构环境下各节点性能不均衡,导致整体计算效率低下的问题进行了研究,从节点与任务两方面入手,提出了一种将节点性能量化并排序与将任务按相似度划分相结合的算法。该方法根据历史日志以及实时回传的日志信息将节点按照性能高低排序;根据任务执行完成的信息,将其与新任务进行比对得到相似度,从而推测出新任务的执行时间,执行时间长的认为是复杂的任务;最后进行动态调度,使高性能节点处理更复杂的任务。在随机生成的数据集上的实验结果表明,所提出的动态调度算法与默认调度算法相比,数据集为20GB大小时执行速度
其他文献
社会经济的快速发展促进公路桥梁工程项目逐渐增多,随着科学技术水平不断提高,与公路桥梁施工技术相结合,大大提高了公路桥梁的施工效率。在公路桥梁施工过程中优先选用钻孔
宫外孕是妇科常见的急腹症,其发病率近年有逐渐上升的趋势,传统的治疗方法包括保守治疗、剖腹探查。保守治疗具有治疗时间长的特点,而且该疗法有严格的适应证。剖腹手术为有效的
通过与其他地铁施工方法的比较,针对北京地铁5号线的特点,详细介绍地下线铺轨及整体道床施工技术.
介绍用Winkler弹性地基梁计算预应力锚索地梁的内力,并给出主要计算流程.结合京珠高速公路某工点工程实例,将Winkler弹性地基梁和连续梁方法的计算结果与工程实测进行比较,指
目的探讨肾移植受者移植术后贫血(PTA)的发生率及处理,并分析PTA发生的相关危险因素。方法回顾性分析154例在解放军总医院第一附属医院长期随访的肾移植受者的临床资料,术后5年
牛瓣胃阻塞是人类及牲畜比较常见的疾病,这种疾病常见都有可能发生,尤其在秋末的时候。这种疾病在牛身上发作的时候,如果不及时治疗,很有可能造成牛群的死亡,从而给养殖人员
研究了多个国外旅游目的地的中国客源市场网络营销情况,发现营销主体多元化、重视与中国本土OTA平台的产品合作、在主流媒体及社交平台形成营销矩阵、形象营销与产品营销并重
对TLJ900型架桥机架梁各工序用时进行分析研究,在人、机磨合,操作人员已达到熟练操作的程度后,架设1孔箱梁需用时6h,加上等待浆体强度时间2h,即8h可完成1孔箱梁的架设。箱梁运距和
目的:探讨血清总胆汁酸在各种常见肝病诊断上的应用。方法:利用全自动生化分析仪分别测定健康对照组和肝病组血清中TBA、ALT和AST水平。结果:各肝病组与健康对照组TBA差异均有显