论文部分内容阅读
针对传统MapReduce模型的容错机制对错误的处理效率低下等问题,提出了一种基于多核虚拟机的具有容错机制的MapReduce模型.该模型使用检查点机制进行错误恢复,并只对中间结果和必要的状态信息进行保存;利用虚拟机在隔离内存中保存中间结果;根据用户的需要及系统的负载情况动态调整系统中工作节点的个数.通过在SUN的32核、主频为2.38 GHz、内存为128 GB服务器上的测试,结果表明：与传统MapReduce模型相比,改进MapReduce模型降低了通信上的开销,提高了MapReduce运行过程的可靠