Hadoop已经成为一个重要的并行处理大规模数据密集型应用的云计算模型。但近年来,针对Hadoop的研究却往往忽视了在异构环境中对其性能影响的问题。本文针对异构环境中广泛存在的数据分配问题和数据局部性问题进行了深入的研究,分析了其产生的原因,提出了解决的途径及具体实现机制,最后对修改后的模型进行了性能分析和评估。本文分析了Hadoop在特定的异构环境中由于节点间的数据传输造成性能下降的原因,并研究了现有解决方案的设计思想,根据其不足和缺陷,提出一种新的HPDD数据分配机制,用于解决数据分配问题。HPDD能根据每个节点的计算能力分配初始数据到HDFS的DataNode节点,从而降低异构环境中高性能节点和低性能节点之间移动的数据量,减少因数据歪斜而产生的数据传输。提出了在MapReduce执行过程中JobTracker和TaskTracker之间广泛存在的依赖关系,指出了该过程中的数据局部性问题。设计并实现了PRM预取机制,以并行化的形式工作,在上一个任务执行时,利用空闲的网络I/O带宽,将输入数据从远程磁盘预加载到执行该任务的TaskTracker所在的本地高速缓存,从而避免了网络I/O占位,使该TaskTracker能在没有任何延迟的情况下执行该任务,提高其整体性能。最后,针对本文提出的两种机制进行了实验验证,对其数据分配和预取过程进行了实现,实验结果表明了该两种机制的可行性及有效性,能够很好地提高Hadoop在异构环境中并行处理大型数据的能力。