论文部分内容阅读
MapReduce分布式编程模型为大规模数据密集型计算提供了重要的应用基础平台。其任务调度模型为单点控制模型，这种模型使得体系结构简单，任务调度易于控制，但同时也存在中心节点失效的问题。在Hadoop系统中，当中心节点失效后，为了使得整个工作集群中的作业不中断，在不同版本的Hadoop中采取了按需同步、恢复历史记录和抛弃三种恢复机制。本文详细分析了这三种恢复机制中出现的数据阻塞、结果一致性和效率下降等问题，并针对MapReduce模型中两种基本任务依赖关系的特点，提出了传递依赖关系信息的同步机制，通过在同