随着信息产业,特别是互联网的迅速发展,数据信息的产生已经进入爆炸式增长模式。如何高效的处理这些海量的数据,已经成为众多公司企业机构越来越关心的问题。本文详细介绍了当前海量数据处理的主流并行计算模型—MapReduce及其相关技术,并且对当前处理迭代计算的并行计算模型进行了详细的分析,总结了他们的优劣。同时,在此基础上设计实现了一种新的并行计算模型——泛MapReduce模型。泛MR模型是MapReduce模型的泛化版本,它可以做任何MapReduce可以做的工作。但该模型在任务迭代计算、流程动态控制方面对MapReduce的模型进行了改进。在任务迭代方面,改进了原系统需要在作业级进行迭代的缺点,新模型可以在一个作业内进行任务级的迭代计算,同时用户可以方便的利用系统接口定义迭代终止的条件——设置迭代次数或者比较前后两次迭代产生数据的差值等。这极大减少了作业级迭代时磁盘的I/O、网络中数据的传输量以及冗余任务阶段,同时,方便了对迭代的控制。在流程动态控制方面,用户可以在一个作业内定义若干个任务阶段,若干个流程分支,只要在分支的任务处定义好流程改变的条件,在作业执行时流程就可以按照用户所定义的条件自动改变流程。泛MR相对于MapReduce在迭代易用性、效率方面有明显提升。本文在集群环境下对泛MR的新功能设计了多个测试用例,其中包含一些具有代表性海量数据迭代计算的测试用例。本文对这些测试用例进行了详细描述,并且给出了重要的原始测试数据。从这些测试数据中可以看出,泛MR系统在进行迭代计算的时候,相对于MapReduce模型效率有明显提升。