Hadoop集群环境下集成抢占式调度策略的本地性调度算法设计

来源 :计算机科学 | 被引量 : 0次 | 上传用户:spacelion
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在Hadoop集群环境下本地性调度算法是提高数据本地性的算法。本地性调度算法的调度策略的本质是提高数据本地性,减少网络传输开销,避免阻塞。但是由于Map任务的完成时间不同,Reduce任务存在的等待现象影响了作业的平均完成时间,使得作业的完成时间增加,进而引起系统的性能参数不佳。因此提出在保留原算法数据本地性要求的基础上集成可抢占式的调度方法。在Reduce任务等待时,挂起该任务并释放资源给其他Map任务,当Map任务完成到一定程度后,重新调度Reduce任务。基于上述调度策略设计了集成抢占式策略的本地性
其他文献
基于非常规天然气的开发实践,逐渐形成了以"不断突破开发技术界限"为核心的"极限动用"理念,支撑中国非常规天然气规模效益开发,提出并论述了非常规天然气"极限动用"开发理论,
长期以来,业务系统是基层人民银行高效履职的基础,而确保重要业务系统的安全、稳定、高效运行更是基层行科技部门的重要工作内容和职责。中国人民银行张家界市中心支行以人民
摘 要:高中生在整个高中阶段的学习当中,数学成绩的好坏影响着学生总成绩的提高。本文通过分析高中学生数学学习兴趣的培养,希望能够带动学生学习数学的热情,为整个高中阶段数学成绩有所突破提供借鉴。关键词:数学; 学习兴趣; 培养中图分类号:G633.6 文献标识码:A 文章编号:1006-3315(2014)02-036-001高中数学与初中数学相比较,无论在内容、思想、方法上都有了很大的提高,不论是深
首先引入出现网的t切的转移的概念,利用t切的转移集τ,可以得到t切p[τ]。其次引入s切的伴随集E(u)和t型s切的概念。证明了出现网的t型s切和t切有对应的关系以及这种对应关系
家族企业作为我国民营企业的重要组成部分,对我国经济的发展做出了极大的贡献,但目前我国的家族企业还面临着融资困难等问题,限制了其发展。已有研究表明信息披露能够影响企
期刊
我国农民专业合作社正逐步从低水平的数量增长阶段向高质量发展阶段转变,然而其组织优势和经济互助功能没有得到有效发挥。利用SEM,将产权安排、公共积累制度和分配制度作为
冰箱中制冷设备的结霜现象是难以避免的,但化霜过程又会阻碍制冷设备的持续正常运行。如何准确地检测并判断出霜层的位置及厚度以制定精确的化霜策略,是技术人员最为关注的问
基于优势关系的变精度粗糙集模型将传统粗糙集中的等价关系扩展为优势关系,并结合变精度的思想来定义相关概念,从而可以处理具有偏好关系的信息并具有一定的容错能力。然而,传统
研究了主网络和次网络都为单用户并联IC的并存时自由度。采用了干扰对齐、干扰中和以及感知网络相结合的干扰管理策略研究方法;对11种情况进行研究,并对每一种情况的干扰管理