随着Web2.0时代的到来,互联网的迅速发展,人们对网络的依赖越来越多。尤其是“互联网+”的提出,各大企业均响应号召,实施转型,各行各业每天都能产生海量数据,且呈爆炸式增长。由于海量信息的存储需求和新的计算能力的需求,促使了新的计算模式-云计算的诞生。而Hadoop是云平台中一个能够对大数据进行分布式处理的开源平台,是MapReduce编程模型的开源实现,也是众多学者进行大数据研究的首选平台。Hadoop的一个重要组件就是其调度器,它主要实现作业的调度执行和系统资源的合理分配,其调度算法的优劣对集群的性能有着至关重要的作用。因此对Hadoop调度器及算法的研究有着重要意义。本文通过研究Hadoop平台的现有算法,分析LATE算法的调度原理及优劣,针对其在异构环境下选择备份任务及执行节点时的不足,提出一个改进的IR-LATE调度算法。该算法首先对集群中的作业负载进行分类,选择备份执行时,通过IR-LATE调度算法为剩余完成时间最长、最需要备份的慢任务启动备份并选择最优节点执行。最后通过实验验证IR-LATE算法与LATE算法相比,不仅提高了对慢任务判定的正确性,还缩短了作业的平均运行时间,提升了集群的负载均衡。