近年来,随着信息技术的快速发展,互联网、社交网络和物理信息系统等技术渐趋成熟,物联网领衔的云计算、混合云计算和自然语言问答等新兴技术突飞猛进,科学研究、电子商务和医疗保健等领域累积的数据已达TB级以上,大数据已经普遍存在于各个领域。传统数据处理技术在性能扩展方面遭遇瓶颈,已经不能满足大数据的分析需求,以Map Reduce为代表的批处理计算技术引起了学术界和工业界的广泛关注。Map Reduce计算模型充分利用分布式计算和存储资源,把数据和计算任务分配到数以千计的廉价物理节点上,提供海量存储能力和并行计算能力。作为处理海量数据的分布式大规模集群计算框架,Map Reduce性能好、性价比高、稳定性强,因此成为大数据环境下备受关注的数据处理技术,Map Reduce负载均衡问题作为影响集群吞吐率的关键因素成为学术界的研究热点。分布式计算环境下,数据分布的均匀程度很大程度上影响着集群的性能。然而,当前Map Reduce在数据混洗阶段多采用哈希随机划分为Reduce阶段分配数据,当数据分布倾斜时,会造成Reduce阶段各节点负载不均衡,从而导致集群吞吐率降低。因此,本文提出一种基于Maxdiff直方图的负载均衡方法MHLB(Maxdiff Histogram Load Balance)。MHLB首先基于预处理技术,采用Maxdiff直方图估计Map阶段输出中间结果的数据分布情况;然后基于贪心策略提出改进的数据划分方法,实现数据混洗过后数据记录的均衡划分。实验结果证明,在同构集群下,较之标准Map Reduce,负载均衡方法MHLB可有效实现各Reduce节点的负载均衡,降低作业运行时间。