【摘 要】
：
针对现有Hadoop难以适应异构资源环境的不足,提出一种自适应MapReduce调度器:CloudMR.基于数据局部性,CloudMR将同一机架内的<key,value>对进行本地归约合并,减少中间结果中<
【基金项目】
：
国家“九七三”重点基础研究发展计划项目(2007CB310900)资助;国家“八六三”高技术研究发展计划项目(2006AA01A115)资助
论文部分内容阅读
针对现有Hadoop难以适应异构资源环境的不足,提出一种自适应MapReduce调度器:CloudMR.基于数据局部性,CloudMR将同一机架内的<key,value>对进行本地归约合并,减少中间结果中<key,value>对的数目,从而减少机架间的数据传送.根据资源性能和任务特征,CloudMR动态确定节点任务槽数和数据分配量.对于计算性能高的节点,CloudMR分配较多的任务和数据量,而对于计算性能低的节点,相应地减轻任务和数据量负载.实验表明,在异构环境下,较之现有Hadoop,Cloud-MR减少了节点间数据传输和备份任务运行,缩短了作业完成时间.
其他文献
<正>从安全性和经济两个方面分析了起飞一发失效应急程序的重要性,结合国内外一发失效应急程序的设计规范、运行要求和航空公司运行实践经验,提出了起飞一发失效应急程序的总
企业财务能力是企业能力系统的重要组成部分和综合体现。本文以江苏省78家上市企业为研究样本,通过构建财务能力评价指标体系与上市企业财务能力状况的因子分析模型,对江苏省
<正>低碳经济是指通过技术创新、产业转型、新能源开发等手段,改变能源结构,尽可能减少煤炭、石油等高碳能源消耗,减少二氧化碳等温室气体排放,达到经济社会发展与生态环境保
<正>应收账款是赊销的产物,具有促进销售和减少存货的功能。企业必须充分重视应收账款风险的分析,加强应收账款管理,控制应收账款的风险,从而促进企业提升管理水平,更好地、
为提高高速公路交通事件检测算法的检测率,提出一种基于小波和模糊逻辑理论的检测算法。使用小波理论的小波变换和改进的滤波算法检测交通事件,得到事件可能发生的时间和地点
在泰国的入境旅游市场中,中国已成为泰国最大入境旅游市场。中国正日益发展成为世界经济强国,中国人民生活水平日益提高,泰国高度重视中国旅游市场的开发,泰中旅游合作前景非
《颜氏家训·音辞篇》在音韵学史上有重要的地位 :一、它是汉语语音变异学说的滥觞 ;二、是编撰《切韵》一书的理论依据 ;三、《音辞篇》辨析声韵、精于审音 ,开一代韵书分韵
马克思提出,劳动首先是人与自然之间的物质变换的过程,资本主义工业文明造成了人与自然之间的物质变换出现了无法弥补的裂缝,结果使人和自然都受到了严重伤害。马克思的劳动
目的:不同状态、致病机理不同的慢性阻塞性肺疾病（chronic obstructive pulmonary disease,COPD）患者临床特点各不相同,对个体化治疗是一个挑战。本研究拟探讨、分析COPD不同发
最近一轮跨国公司并购的显著特征是由昔日的弱肉强食,转变为当今的强者之间的主动整合。合作式的强强并购日益成为本次并购的主流。跨国公司捐弃前嫌,携手合作的根本动因在于