伴随着互联网、物联网和移动互联网的快速发展,每天会产生海量数据,数据处于爆炸式的增长状态,这预示着大数据时代的到来。大数据时代的数据具有数量大、结构复杂的特点,导致数据存储和计算难度的加大。Google提出的MapReduce分布式计算模型简化了海量数据计算的问题,成为研究的热点。所以本文对MapReduce技术的研究和性能的优化具有实际意义。MapReduce是一种分布式计算模型,它简化了程序员编写分布式程序的步骤,因此被广泛应用于大数据领域。Hadoop是MapReduce的开源实现,具备海量数据处理的能力。然而,它的一些处理机制影响了性能的发挥。比如：当数据出现倾斜时,原有的划分方法不能保证节点的负载均衡,集群性能会受影响。因此,需要优化现有的处理机制。本文研究的主要内容是：首先对Hadoop平台进行简单介绍,重点研究MapReduce计算模型,对其组成模块和运行机制进行深入的分析。在分析MapReduce源码的基础上,发现了当数据存在倾斜时节点会出现负载不均的问题和在异构环境下推测执行机制效率低的问题。针对数据存在倾斜负载不均的问题,本文提出了一种抽样的方法,利用抽样获取Map端中间结果的分布信息,在抽样的基础上结合数据局部性产生划分函数,可以使节点负载趋于均衡。针对原有的推测执行机制效率低的问题,本文提出了一种改进的LATE算法,在LATE算法的基础上,利用节点历史信息和数据局部性特点选择快节点备份执行,可以更准确的发现慢任务,提高集群的吞吐率。最后,本文搭建了实验平台对抽样划分方法和改进型的LATE算法进行实验验证。根据实验结果,本文提出的改进算法可以有效提高MapReduce的性能。