Spark是一个基于内存计算的可扩展分布式计算框架。Spark将作业分解为较小的任务,并将任务调度至集群中各个节点上并行运算以提升作业执行效率。部分任务由于常见的节点故障、网络拥堵和I/O异常等原因成为Straggler任务,即同一阶段下相较其他任务耗时更长的任务。Straggler任务会延长作业的执行时间,影响Spark集群的整体性能。同时,随着数据中心集群硬件持续扩展,异构集群成为必然,Straggler问题在异构环境下表现得更为突出。当前应对Straggler问题的主要方法是推测执行策略,其设计思想是以空间换时间,在作业运行过程中,对Straggler任务进行识别,然后将其副本调度至其他节点,取率先完成任务的结果作为最终结果,以此提高任务的运行效率。论文深入研究Spark框架下的推测执行机制和副本任务调度策略,并提出了优化方案,以缓解异构Spark集群下的Straggler问题。具体工作如下:1.针对异构Spark集群,默认推测执行策略对Straggler任务识别精度低,同时未考虑Straggler任务的成因,对识别出的所有Straggler任务进行简单地备份执行,使得推测执行策略的有效性降低。针对上述问题,论文构建了多阶段时间预测模型,进而提出了基于任务评估的推测执行策略DBMPTE,依据Straggler需处理的数据量和任务进展对副本任务的备份执行进行评估,筛选出可加速的Straggler任务。通过实验将DBMPTE策略与原生未开启推测执行策略和默认推测执行策略进行对比,结果表明DBMPTE策略能更有效地识别可加速的Straggler任务,在缩短应用执行时间的同时降低集群计算资源开销。2.由于默认副本调度策略对任务数据本地性的粗粒度考量,且未考虑异构集群下节点性能的差异,使得副本任务的调度存在一定的随机性,可能将副本任务调度至另一“慢”节点,导致推测执行策略失效。针对上述问题,在DBMPTE策略的基础上进一步提出了基于节点性能的本地优先副本调度策略HSBTS。实验对比了默认推测执行下的默认副本调度策略、DBMPTE下的默认副本调度策略和DBMPTE下的HSBTS策略,结果验证了HSBTS策略调度的有效性。研究表明,异构Spark集群下的Straggler问题客观存在,但可通过对Straggler任务的准确推测和副本任务的有效调度进行优化。论文提出的DBMPTE推测执行策略和HSBTS副本调度策略能有效缓解Straggler问题对作业执行延迟的影响,提升集群的运行效率。