电子商务、金融以及社交网络等领域的迅猛发展,带来了数据规模前所未有的快速增长。大规模数据的存储和处理成为互联网行业的研究热点。作为GFS和MapReduce模型的开源实现,Hadoop是一个具有高可靠性、高容错性、高扩展性的分布式计算和存储平台。现在很多集群存在异构的情况,传统的调度策略在异构集群下效率很低。通过对Hadoop资源调度技术的分析,并调研国内外最新研究,提出了一种面向异构集群的负载自适应的调度策略。首先,提出了面向异构集群的节点资源动态调整的调度算法。异构集群下各个节点拥有的软硬件资源量存在差异,因而执行任务的能力有所不同。Hadoop资源用slot来描述,每个任务需要一个slot才能运行,传统的固定节点slot的配置方法不适合异构集群。算法将作业分为CPU密集型和I/O密集型,并分别为这两种作业设置不同的slot数目限制。算法通过收集集群作业的实时运行状况,并分析各个节点执行能力的强弱,动态调整各个节点slot资源数量。其次,提出了优化小作业完成时间的调度算法。传统的作业调度算法只有FIFO和FAIR。然而,这两种作业调度策略都没有考虑作业之间的差异。异构节点执行任务有快慢差别,算法通过收集集群作业运行的信息将节点的slot分为fast slot和slow slot,优先将fast slot分配给小作业,并为小作业预留部分slot。这种调度策略能够在不影响大作业完成时间的情况下减少小作业的完成时间。最后,针对不同场景对所提出的调度算法进行了测试分析,包括与Fair Scheduler和Coupling Scheduler的对比测试。结果表明,在异构环境中,改进后的调度算法能够结合作业的特点和集群节点的差异性做出及时的调整,改进后系统上各个节点任务平均执行时间明显减少,集群的吞吐率和资源利用率得到大幅提高。