【摘 要】
：
Hadoop平台中作业调度是一个重要环节。FIFO是Hadoop默认的调度算法,简单易实现且应用广泛,但其在数据的本地化(data locality)这一特性上考虑不足,会引起网络的负载量增大,
【机 构】
：
国网冀北电力有限公司信息通信分公司信息通信工程中心
【基金项目】
：
国家发改委高科技产业化项目(发改高技[2009]1365号)
论文部分内容阅读
Hadoop平台中作业调度是一个重要环节。FIFO是Hadoop默认的调度算法,简单易实现且应用广泛,但其在数据的本地化(data locality)这一特性上考虑不足,会引起网络的负载量增大,任务的等待执行时间长,计算资源得不到充分利用等一系列弊端;同时Map阶段和Reduce阶段资源槽的静态职能形式也更一步加深了这种缺陷。针对这些缺陷,从数据的本地性、任务分配的角度出发,提出了一种基于主从节点间交互的作业调度算法(Interactive Scheduler,IS)。该算法是对FIFO的一种改进,同时也使不同资源槽之间可以动态转换,提高了资源的使用率。通过实验对比,结果表明IS调度算法对Hadoop平台的作业调度效率有显著的提升。
其他文献
本论文工作是探索主要为Heusler型合金中的磁性形状记忆合金与半金属等新型功能材料，通过第一性原理计算研究它们的电子结构与磁性能，并预测了多种新的、具有广阔应用前景的磁
热电冷三联供系统节能性问题在国内学术界仍存在争论。本文重新计算了被许多文献引用的当量热力系数，并在此基础上阐述对热电冷三联供系统节能性的认识。
科技的创新和发展推动了新媒体环境的日渐成熟。年轻的新媒体通过数字杂志、数字报纸、数字电视、数字电影、数字广播、手机短信、网络、桌面视窗、触摸媒体等新型传播媒介,
目的 :检测SD大鼠颌下腺肿瘤形成过程中端粒酶活性的动态变化 ,探讨端粒酶在涎腺肿瘤发生、发展中所起的作用。方法 :SD大鼠 5 0只 ,麻醉后颈部切口暴露颌下腺 ,右侧腺体植入
目的分析抗结核治疗前后肺结核患者外周血(CD3+CD4+IL-17+)辅助性T细胞17(Th17)和(CD4+CD25+Foxp3+)调节性T细胞(Treg)平衡状态的变化及其临床意义。方法收集本院2014年10月
以小剂量链脲佐菌素(STZ)诱导的2型糖尿病大鼠为实验模型,研究2型糖尿病大鼠糖代谢、脂代谢及心血管风险相关生物标志物的变化趋势和相互关系。将实验动物分为空白对照组、高
随着人们对产品设备可靠性要求的提高,对系统进行可靠性分析和预测就显得尤为重要。对系统进行可靠性评估,就是利用产品研制期间或存储期间的故障数据,进行统计建模、分析,求
金属玻璃是一种亚稳态物质，会自发的向平衡态转变发生弛豫。目前对金属玻璃弛豫行为的研究主要集中于α弛豫和慢β弛豫两种弛豫机制上。其中，慢β弛豫在很多金属玻璃体系中只表
介绍热电联产相结合的吸收式热泵供热技术,并结合实例工程的计算与分析,指出该技术在理论和实际应用中的可行性,该方法可回收利用大量冷却水的低温余热,大大增加现有热源的供
针对光纤半导体激光器温度控制装置温度调节非线性、滞后、范围较窄、精度较低的问题,设计光纤半导体激光器温度智能控制系统。采用STC89C52单片机微处理器控制温度的方法,用