随着互联网技术的不断发展,网络和企业生产中需要处理的数据越来越多,云计算成为大数据处理的流行计算模式。Hadoop作为云计算的开源系统平台,很快成为大数据处理的主流技术。随着Hadoop集群的广泛应用,其性能问题也成为人们关注的重点。其中负载均衡对集群性能有重要的影响,也是本文研究的重点。本文通过对MapReduce运行过程中存在的负载均衡问题进行研究和分析,达到集群性能优化的目的。针对异构环境下,节点计算能力各不相同,在MapReduce的任务调度过程中容易出现节点任务负载不均,导致个别节点执行时间过长,进而影响整个作业的响应时间问题,本文提出了一种基于负载均衡的任务调度算法。该算法通过分析任务执行特点以及异构集群中节点性能,得到了一个任务调度负载均衡度量值,该度量值为节点的任务分配提供了依据,使得每个节点在任务调度中得到与其性能相匹配的计算负载,并在任务执行过程中通过建立节点通信模型实现负载的动态调节,从而保证了任务调度中的负载均衡。对于MapReduce执行过程中采用默认Hash分区机制导致在处理密集型数据时,节点接收到的数据负载倾斜问题,本文提出了分区代价模型,该模型对分区的负载均衡问题进行代价评估,并在此模型基础上提出了新的细粒度分区算法,该算法通过增加分区个数,减少分区中的倾斜数据,并通过分区代价模型保证节点接收到的数据量的相对均衡。最后,通过搭建实验环境,并设计相应的实验方案,验证了本文提出的任务调度算法和细粒度分区算法对集群负载均衡的优化。