Hadoop系统map阶段的排序性能分析与优化

来源 :电脑知识与技术 | 被引量 : 0次 | 上传用户:myywy123456
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
MapReduce计算框架已被广泛用于大规模数据分析的应用。虽然它具有弹性的可扩展性和细粒度的容错系统,然而性能却并不令人满意。MapReduce可以通过分配更多的计算节点来实现更好的性能,但是,这种做法并不符合成本效益。用户渴望MapReduce在提供弹性的可扩展性和细密度容错的同时,可以具有更高的计算效率。该文提出了一种动态优化map阶段排序性能的方法,并进行了测试,测试结果表明,该方法能够提升MapReduce的基准测试性能。
其他文献
采用DPPH、抑制羟自由基能力和抑制超氧阴离子能力等方法对桦树酒的体外抗氧化能力进行了分析。结果表明,桦树酒清除DPPH自由基及抑制羟自由基的能力明显高于桦树汁(P<0.05),
接缝是预制节段桥梁的重要部位,也是薄弱环节,为了研究节段式预应力桥梁胶接缝在直剪状态下力学性能,采用剪力键齿深、齿距作为影响因素进行了节段式胶接缝体外预应力混凝土
通过对樟村坪磷矿地质环境的分析,研究了在一定条件下,开采建筑物下矿体时不留保安矿柱的可能性和可行性,探讨了按松散系数计算安全深度的原理和方法.
作者用枳实薤白桂枝汤、人参汤治疗慢性支气管炎迁延期30例,并与金匮肾气丸对照组比较。结果表明:治疗组在咳嗽、咯痰、哮鸣音显控率,改善小气道通气障碍等方面,高于对照组(P
近来新发掘的王国维未刊来往书信,史料价值巨大,是深入了解王国维学术研究、社会生活、个人情感的重要史料。但辑注者在对这些信件进行校点整理时,存在诸多明显错误之处,从而在某
皖南山区是毛竹主要产区之一,近年来毛竹的种植面积呈逐年扩大趋势。现阶段要想提高毛竹的产量和效益,就必须加强对毛竹丰产培育的技术措施的研究。提出了皖南山区毛竹丰产培
近年来,我闰为建设资源节约型和环境友好型社会,先后制定了不少有关环境保护方面的税收优惠政策,以引导和鼓励环境保护企业的发展。那么,从事环境保护取得所得,企业所得税有哪些优
农民工城乡迁移已成为当前我国城乡二元经济社会结构转型中的重要现象和组成部分。本文在土地权益二分为资源禀赋性权益和社会保障性权益的基础上,将土地权益及其社会保险效
现阶段陶瓷茶具设计教学的开展,其重要性及其教学价值逐渐显现出来。如何进行高质量的陶瓷茶具设计教学俨然成为各个学校的主要关注点,而通过将茶禅文化融入其中,可以在强化
在新课程改革的要求下,初中体育教学以提高学生身体素养、培养学生综合能力为目标。因此,在初中体育教学中,初中体育课课程内容设计应该激发学生的兴趣爱好,合理运用兴趣教学