【摘 要】
：
目前Hadoop的作业调度算法都是将系统中的多类资源抽象成单一资源,分配给作业的资源均是节点资源中固定大小的一部分,称为插槽。这类基于插槽的算法没有考虑到系统多资源的差
论文部分内容阅读
目前Hadoop的作业调度算法都是将系统中的多类资源抽象成单一资源,分配给作业的资源均是节点资源中固定大小的一部分,称为插槽。这类基于插槽的算法没有考虑到系统多资源的差异性,忽略了不同类型作业对资源的不同需求,因此导致系统在吞吐量和平均作业完成时间上性能低下。本文研究了多资源环境下公平调度算法在Hadoop中的实现,设计了一种多资源公平调度器MFS(Multi-resource Fair Scheduler)。MFS采用了DRF(Dominant Resource Fairness)调度思想,使用需求向量来描述作业对各类资源的需求,并按照需求向量中各资源的大小给作业分配资源。MFS能更加充分有效地使用系统的各类资源,并能满足不同类型作业对资源的不同需求。实验表明相比于基于插槽的Fair Scheduler与Capacity Scheduler,MFS提高了系统的吞吐量,降低了平均作业完成时间。
其他文献
本文以我国著名网球运动员李娜为研究对象，通过采用文献资料法、录像统计法、数理统计法等方法，以著名网球学者尼克·波利泰里尼提出的世界优秀网球选手最常采用的十种步法为主
冀中能源集团有限责任公司工会现有峰峰集团、冀中股份、华药集团、邯矿集团、张矿集团、邢矿集团、井矿集团、山西冀中能源集团等11个子公司工会,135个矿厂级分会,2037个车
本论文是研究应用在数控加工中心上的自动换刀机械手（ATC）中新型凸轮式组合机构的动力学问题，此机构的特点是采用新型双半球形滚子齿式弧面凸轮分度机构与平面沟槽凸轮机构构成
建筑施工这项工程,有着很强的复杂性,主要体现在工程步骤复杂而繁多,危险源比较多,因此就会存在很多的安全隐患和很多的安全事故,自然安全就成了建筑施工领域非常重要的一个
政治关联效果存在争议,从生产率角度考察政治关联的效果能够提供最直接的经验证据。以中国制造业民营上市公司数据为样本,采用面板数据和Heckman二阶段回归模型,实证检验政治
随着社会的发展以及高校毕业生数量的连年增长,高校毕业生的就业问题越来越受到政府和学校以及学生个人的关注。就业推荐就是向学生推荐合适的公司以及职位的过程,它的核心问
我国传统的生态补偿机制以政府主导为主,市场化程度有限,直接导致补偿效率较低。为发挥企业在生态建设中的优化资源配置功能,推进主体功能区补偿机制的市场化改革,可把生态补
针对目前高职项目化教学中存在的教师角色定位模糊、学生主动学习性差、教学班级人数偏多、教学进程控制难度较大等现实问题,本文探索了教师的"项目经理"与"用户"角色交替、
<正>怀海禅师是唐代著名的佛教改革家。有一次,怀海禅师看到一个和尚正在叫他的徒弟抄经,而且要抄写一百遍。这个徒弟似乎并不识字,也不会写字,他正照着经书,艰难地描摹着。"
目的:观察健脾益气散结汤治疗脾虚痰瘀型中晚期胃癌的疗效。方法:将80例脾虚痰瘀型中晚期胃癌患者随机分为两组。对照组40例采用化疗治疗,治疗组40例在对照组基础上采用健脾