论文部分内容阅读
现在MapReduce并行计算模型在不同场景下得到了广泛使用。由于网络IO传输速度通常远小于磁盘读取速度,所以Map任务的本地执行可以提高系统的吞吐率,减少作业执行时间。但是在多作业情况下,由于作业数据分布的随机性,Map任务的本地执行可能会产生负载不均衡的问题。本文提出了一种基于本地优先的作业调度策略,实现Map任务的完全本地化的同时通过优化作业调度,最大限度地实现了节点间的负载均衡。