共享的MapReduce环境下批量作业的调度算法研究

来源 :计算机研究与发展 | 被引量 : 0次 | 上传用户:lzd_1983
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
MapReduce作为当前最热门的并行数据处理系统之一,已经被广泛应用在生产、研究等多个领域中.任务调度策略作为MapReduce的核心技术之一,直接关系到系统的性能.但是,在多用户(部门)共享的MapReduce环境下处理批量作业时,已有的调度算法不能够保证系统良好的吞吐能力.针对此问题,一种在共享的MapReduce环境下的吞吐量驱动的任务调度算法(简称TD调度算法)被提出.首先结合共享的MapReduce环境下批量作业调度的特点,给出了调度框架,并根据处理过程中作业的参数变化,将作业归为4种状态并给
其他文献
基于XSLT技术的SBML与其他生物建模语言之间的转换方法存在无法保证转换结果的确定性、语法正确性及不能满足模型转换的工业化需求等缺陷.针对以上问题,提出了利用图文法定义
为了得到Bézier曲线曲面的更加适用于网络传输的分解和重构算法,研究了带1阶端点(角点)约束的Bézier曲线曲面的Ribs和Fans,并且得到了相应的曲线曲面的光滑部分和细节
8月18日下午,上海市三玻行业协会复合材料分会在上海华东理工大学逸夫楼演讲厅召开了“玻璃钢/复合材料新产品新技术”研讨会暨企业专家交流会。
调查显示,影响当前中等职业教育发展的因素有:课程设置、实习实训、生源、师资、政策、教学质量、管理水平等问题,建议:改善学校环境建设,加强行政监管及服务,鼓励校本课程开发,设置
用稻壳中可提取物提取黄酮类化合物、稻壳中含半纤维素水解制取木糖、稻壳中含纤维素水解发酵制取乙醇、用乙醇提取稻壳中木质素、剩余残渣制取纳米二氧化硅。所得产品质量符
抗战期间,在胶东这片土地上,发生过太多可歌可泣的事迹,党群之间、军民之间相互依存,既有过生死相依的慷慨悲歌,也有过血肉相连的鱼水深情。胶东乳娘“忠心向党、大爱无疆”
Top-k查询由于其广泛的应用而倍受欢迎.不确定数据库中通常考虑的两条生成规则是:独立和互斥,一个x-tuple是由一些互斥的元组组成的,构成一个x-tuple的各个元组称为该x-tuple
2017年5月10日下午,上海市玻璃玻璃纤维玻璃钢行业协会(简称三玻协会)七届二次理事会工作会议暨绿色、节能、创新高峰论坛在上海神旺大酒店二楼会议室隆重举行。中国华信旗下上
文章对来宾冶炼厂锡烟化炉,锌烟化炉的工艺原理及工艺流程进行简单介绍,对锡烟化炉生产中存在的一些不足进行分析并提出改进意见,通过分析锡烟化炉生产实践中存在的不足来选
飞机座椅首次使用可见的CFRP,对美学和舒适性是一种革命。