【摘 要】
：
MapReduce的执行过程分为map 阶段和reduce 阶段,在两个阶段之间还隐含一个中间数据处理阶段,如果map 输出的中 间数据较大,中间数据处理阶段和reduce 阶段都会遭遇严重
【机 构】
：
北京航空航天大学计算机学院,北京 100191
【出 处】
：
2010年全国高性能计算学术年会(HPC china2010)
论文部分内容阅读
MapReduce的执行过程分为map 阶段和reduce 阶段,在两个阶段之间还隐含一个中间数据处理阶段,如果map 输出的中 间数据较大,中间数据处理阶段和reduce 阶段都会遭遇严重的性能问题,限制了MapReduce 计算的可扩展性。本文提出了一种MapReduce的改进实现——Map-ReduceTree,使用“归约树”替代了MapReduce 编程模型中“扁平”的数据归约方式,解决 原模型在规约较大中间数据时出现的性能问题,该编程模型没有改变MapReduce的语义,而且还保留了MapReduce的易编程、自动并行、自动容错等优点。介绍了一种基于Map-ReduceTree的Kirchhoff 叠前时间偏移并行算法,实验表明,Map-ReduceTree 规约较大中间数据时具备很好的性能。
其他文献
伴随着我国的发展趋势,导致目前的就业形势并不是十分完好,所以在中等职业学校的就业指导中,应做到尽心尽责,那么该如何构建一个中职的就业指导服务体系已经变成了一个重要的
目的为探讨住院患者医院感染的各种因素，制订出更有效的预防措施。方法对病房使用的木制暖瓶塞进行了细菌污染情况调查。结果发现暖瓶塞上带有大量细菌，最高达１６００ＣＦＵ／ｃｍ２。检测出的铜绿假
■发生交通事故的经济损失,包括车辆恢复原状的维修费、车辆减值损失和由此造成的车主误工费。■向保险公司报案后,被保险人可取得惟一的报案号,凭报案号进行定损。定损时要
本文完成了油藏数值模拟软件UTCHEM的核心计算部分—压力方程的求解的并行化。分析JCG 解法器的主从模式和对等模式两种并行策略，从中选择比较适合油藏数值模拟的对等模式
随着超级计算机的发展，其使用到的核心数逐渐达到数十万，而且运行于其上的应 用的复杂性也不断加大。因此，开发人员需要对并行应用的性能进行测量，并做出分析，以便对程序源码
文章就数控专业高技能人才培养的教学步骤作一次尝试性的教学试点改革,以强化实践性教学环节为核心,以项目驱动和工学结合为行动导向,以培养企业迫切需求的专业技能人才为目
现代信息技术的发展不仅加快了社会经济发展的进程,也赋予了教育事业发展更多的资源.在对教育信息化的发展进程进行把握的过程中,积极注重数字校园到智慧校园的转化,并谋求校
青年马克思主义培养工程(以下简称“青马工程”)是高校进行思想政治教育的主要征地,旨在为党培养信仰坚定、能力突出、素质优良、作风过硬的青年学生骨干.随着高校二级学院相
针对基于MPI的并行作业性能预测问题，鉴于历史预测与建模分析方法在异构网络计算环境中性能 预测局限性，提出了基于判例构造的并行作业性能预测新方法。运行日志时，提出了基
高职院校整个素质教育体系中体育教学具有非常重要的作用.高职体育教学为提高高职学生的身心素质全面发展提供保障.现阶段我国高等教育改革不断深入,直接推动了高职体育教学