Hadoop平台的多队列作业调度优化方法研究

来源 :计算机应用研究 | 被引量 : 0次 | 上传用户:czmallen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对Hadoop平台的作业调度算法进行了研究,提出了支持作业类型区分的多队列调度优化算法。优化算法支持根据节点当前的负载情况分配不同类型的作业,以提高节点的资源利用率;允许作业队列的资源在闲置时被其他作业队列占用;在原作业队列需要时可以被即时回收,即回收过程支持任务抢占;采用共享队列列表和非共享队列列表的逻辑划分来防止乒乓效应。Hadoop平台的性能测试结果表明,优化算法相比系统默认算法在作业调度的执行效率、执行平稳性等方面都有了显著的提升。
其他文献
阐述了在软件测试中错误生命周期的思想,并以一个软件测试管理系统为例,介绍了该思想在具体系统中的应用.对于软件错误管理中的关键文档,给出了模板以供参考.
结合现有两种主要群体推荐算法的优势,建立新的算法框架,并引入差异度因素对模型进行优化。另外,考虑到在线社区用户的特点,定义互动度指标来描述群体成员间的互动程度,通过分析其
期刊
矿井通风是矿山安全工作的重中之重,合理、科学的井下通风不仅可以改善工人的作业环境,保障井下人员的身体健康和生命安全,而且还可以提高工作效率。挖金沟铜矿采用浅孔留矿
期刊
目的了解手臂振动病病例冷水复温率情况,探讨接触振动(简称接振)时间与冷水复温率之间的相关关系。方法收集79例手臂振动病病例资料,分析其冷水复温率水平及构成,并按接振时
做为上市公司的攀钢钢钒公司党委,大胆创新,实施了《党建工作管理标准》,对上市公司党建考核评价等管理工作进行了规范和明确。 As a listed company Panzhihua Iron and St
随着人民群众口腔健康需求的不断增加和口腔医学的迅速发展,口腔门诊工作量剧增,口腔医生潜在的职业危害发生率亦逐渐上升。口腔科是一个高危科室,临床中医生易受体位、针刺
东盟—中国自由贸易区(ACFTA)对印度尼西亚与中国贸易平衡的影响对十六种主要商品的分析。  本文的主要目的是分析自从2010年1月东盟—中国自由贸易区启动以来,印度尼西亚和
针对高维、稀疏的中文微博数据,提出一种多步骤的新闻话题发现方法。首先结合微博的传播特点,选取出不同时间窗口中具有较高新闻价值的微博文本;再利用隐主题模型挖掘微博内容中