随着互联网的兴起和普及,我们进入了一个人人都生产数据的时代,需要处理和存储的数据呈指数式的增长,但传统的数据处理和存储技术却遭遇了瓶颈。而云计算作为海量数据处理和存储的主流平台应运而生。Hadoop则是云计算开源的分布式并行计算框架之一,由Apache旗下基金会发布,被广泛地应用于众多大公司,例如雅虎、脸书、亚马逊、谷歌、微软等。因此,Hadoop渐渐地成为了云计算平台海量数据处理和存储的主流框架。Hadoop集群亟须解决的问题主要有:（1）由于用户的异构需求,以及服务器的升级和换代,Hadoop YARN集群通常由不同资源配置的异构服务器节点组成,在异构Hadoop YARN集群环境下,服务器节点间通常存在负载不均衡问题;（2）Hadoop YARN框架内置的资源调度器并不是为了实现节能而设计的,并且其对应的集群所产生的巨大能耗不可忽视。（3）异构Hadoop YARN集群中所有的服务器节点间存在资源分配不均衡、资源利用率低等问题,从而将导致Hadoop YARN集群整体性能偏低问题,难以满足大数据时代背景下不同的计算和存储需求。本文将围绕异构Hadoop YARN集群环境下的能耗、性能、负载均衡三个研究方向进行展开,解决以上问题。本文主要的工作内容如下:（1）本文设计了一个基于异构Hadoop YARN集群的系统架构,该系统架构主要包括三个基本组件:任务分析器（Task Analyzer）、在线任务调度器（Online Dispatcher）和DVFS调节器（DVFS Adjuster）,本文将Hadoop YARN集群中的任务调度问题定义为用户指定的截止时间约束的能耗优化问题。（2）本文提出了一种基于负载均衡和截止时间约束的启发式算法。该启发式算法是基于负载均衡因子和用户指定的作业截止时间内调度Map Reduce任务到服务器节点,以提高能源效率。（3）本文在一个拥有五个服务器节点的真实的异构Hadoop YARN集群上进行了大量的实验,并利用三种类型的Map Reduce作业来评估启发式算法的有效性。实验结果表明,与应用于类似问题的三种可替代方法相比,该启发式算法能够在截止时间约束下完成任务,并且在均衡集群负载的同时使集群能耗最小化。