随着互联网的发展,信息量急剧增长,如何高效处理海量数据成为一个非常严峻的问题。传统方式下处理大数据费用昂贵,而在云计算变革中诞生的Hadoop平台能够轻松应对庞大数据量,包含结构化或非结构化数据,并可大规模并行处理,为海量数据处理带来一种更为方便、廉价、快捷和安全的方式。因此,研究如何提高Hadoop框架的稳定性,优化系统性能具有重要意义。本文从Hadoop的框架结构入手,针对节点的负载均衡和任务调度优化等问题做了以下研究。首先,分析Map任务中间结果的映射过程,指出数据倾斜问题,提出两种均衡数据映射的方法：公平负载在线模型和公平负载离线模型。其中,在线模型需要预先分析Key的分布,而离线模型需要衡量任务槽的性能,为此提出一种衡量节点性能方法。其次,分析数据本地性问题,指出数据本地性的重要性以及分布式异构环境的影响。对任务调度进行研究,分析三种现有调度算法,提出一种基于节点延迟匹配调度的算法,来提高本地任务的匹配度。最后,构建Hadoop分布式环境,并在集群中进行实验,比较加入负载均衡和节点延迟调度后与原始调度算法的性能差异。通过验证,新的改进对大部分类型作业具有更好的数据本地性和响应时间。本文通过研究Hadoop平台的中间数据映射和任务调度,分析了框架的缺陷和性能瓶颈,提出改进算法并进行有效尝试,为Hadoop平台性能的优化和提升提供了新的思路与方法。