在大数据时代,每天都有各种各样的电子设备(如:个人计算机,移动智能电话,服务器等)产生大量的多维度的数据。由于MapReduce具有强大的可扩展性、可用性和可靠性,成为处理大数据的著名编程模型。然而,MapReduce编程模型同样具有其局限性,如何减少集群的处理总时间就是其中之一。科学家发现数据倾斜是导致任务总完工时间较大的主要原因,并且已有研究团队从不同的角度提出的一些解决方法,但是这些方法全部是基于第一代Hadoop系统,目前还没有基于Hadoop二代(即Hadoop-Yarn)的可靠算法的提出与实现。本论文正是针对上面提出的问题,以MapReduce模型中的数据倾斜问题为研究对象,对目前解决MapReduce模型中数据倾斜问题方法的不足进行了深入分析,对如何通过降低数据倾斜的程度来减少任务总完工时间进行了详尽的研究。主要内容为:首先,在本文中,对六种算法(Hadoop默认的推测执行,SkewReduce,SkewTune,iShuffle, LEEN和LIBRA)在架构、主要特征、核心算法、性能度量和评估方法方面进行了分析与对比,以充分理解和掌握数据倾斜问题最新研究状况和第一代算法的优缺点;其次,针对一批Hadoop任务的数据倾斜问题,通过对资源均衡化,动态调整Hadoop资源的分配,提出离线和在线的HScheduler算法,减小数据倾斜对总完工时间的影响,并通过计算算法的竞争比来提升该算法的质量;接着,针对单任务的数据倾斜问题,提出基于Hadoop-Yarn的YarnTune算法解决数据倾斜问题,通过在任务中检测数据倾斜,进而减少数据倾斜的影响,减小任务总完工时间,提升Hadoop总体性能;最后,本文通过搭建Hadoop平台进行数据测试,并用原始系统将上述算法的试验结果进行了对比,验证了本论文的算法和实现能够有效减少数据倾斜对任务总完工时间的影响,平均减少了 15%左右的总完工时间。