近年来,大数据处理己成为各个行业的讨论和研究热点。负载均衡是分布式大数据集群计算中非常关键的策略,它影响到集群的处理效率和作业的完成时间。Hadoop作为目前广泛使用的分布式集群处理平台,被学术界和工业界的广泛使用,但其在负载均衡方面仍有改进和提升的空间。例如,中间数据分配均衡策略较为简单,在处理具有某些特性的数据时,可能会出现数据分配不均的问题,影响集群处理效率,情况严重时甚至会加重负载的不均衡。本文首先介绍了 Hadoop平台的产生背景与发展历史、相关工作,以及它的关键技术——分布式文件系统(HDFS)与分布式计算框架(MapReduce)的组成架构和核心原理,然后研究了 Hadoop原生的中间数据分配均衡策略,详细分析了数据分配策略的工作原理、存在的不足和改进目标。针对目前原生中间数据分配策略HashPartitioner存在的负载均衡问题,本文提出基于数据量的资源分配预测策略。在大数据作业运行时,预测处理节点的数据量大小,及时调整轻重节点的计算资源分配,平衡轻重节点的处理完成时间。本策略既可保证原负载均衡策略的通用性,又可改善由于数据负载不均衡带来的集群效率下降的问题。最后对该策略进行实现和实验验证,实验结果表明,改进后的数据分配策略可有效平衡不同负载的任务完成时间,并缩短作业的完成时间,提高Hadoop平台的处理效率。