近年来,随着互联网的发展,数据呈爆炸式增长。为了挖掘数据中的价值,大数据处理技术已经成为计算机领域中不可或缺的重要手段,Google提出的MapReduce计算模型成为大数据时代行之有效的技术之一。但在集群中,失效已经十分常见,如果没有合理的容错手段,MapReduce应用会存在严重性能问题。Hadoop作为MapReduce最为流行的开源框架,能够帮助用户实现MapReduce应用,并提供了基本的容错能力。然而其固有实现中粗放的重新执行策略会因错误恢复而带来大量开销,导致作业执行时间被延长。本文对Hadoop MapReduce容错方案进行了深入分析,从任务运行和失效检测两方面提出了综合性容错方案TRCID(Task Recovery mechanism based on Checkpointing Intermediate Data)。旨在能够减少任务重算的工作量,提前发现失效的任务,以便能在失效发生后能够以最小的代价尽快恢复任务执行,提高整体作业的运行效率。TRCID一方面提出分级检查点的容错方案,针对不同失效类型进行任务恢复。通过以部分中间数据的及时推送替代原有对中间数据的拉取方案,能够保证在大多数失效场景下,避免数据重算,最小化容错开销。另一方面通过Hadoop心跳以多个性能指标对节点进行监测,与原有的超时策略相比,能够更及时的发现失效并进行调度。本文基于Hadoop平台完成实验对本文所提出的方法进行验证与评测,首先通过作业执行时间和硬件指标对TRCID的负载进行评估。然后结合TRCID的运行流程以及故障类型,以多种场景进行覆盖,并在各种场景下,结合作业规模、故障数量等因素设计实验并进行了结果评估与分析。实验表明,TRCID有效减少了失效对整体作业的执行时间的影响,容错能力明显优于原有Hadoop的容错方案。