当今时代,数据爆炸式增长,为了应对数据处理的挑战,以“计算跟随数据移动”为特征的新型海量数据处理平台应运而生,如Spark。Spark是大数据时代非常流行的一种并行处理框架,而任务调度对Spark集群的性能影响是非常大的。尽管任务调度被认为是一个NP-完全问题,仍有大量学者提出了很多启发式规则去获取该问题的近似最优解。但是他们大部分都忽视了任务执行过程中的资源需求的动态性。这就存在资源的不完全和不均衡使用情况,从而导致集群性能低下。考虑到任务的整个生命周期,数据传输期间的CPU利用率通常较低。特别是对于大多数分布式数据处理平台,数据传输非常耗时,通常会导致总体CPU使用率较低。同样,任务计算期间的网络吞吐量也很低。从此特性出发,本文提出了一种基于网络负载变化感知的启发式任务调度算法,并在此基础上从动态资源需求的角度实现了两阶段流水线任务调度器D2PTS（Dual-phase pipeline task scheduler）,旨在最大程度地提高集群资源的利用率,作为Spark现有调度机制的补充。详细来看,本文的主要贡献包括:1)D2PTS根据任务的网络负载状态将执行过程分为两个阶段:网络密集（需要网络资源）和网络空闲（不需要网络资源）。为了提高整体资源利用率,本文提出了不同的算法来分别评估任务在网络密集阶段和网络空闲阶段的执行时间。2)本文实现了一种两阶段流水线任务调度器。当正在执行的任务处于网络空闲阶段时,D2PTS可以在适当的时间额外调度新的处于网络密集阶段任务进行执行。在此调度策略下,共享同一CPU核心的两个任务以粗粒度流水线模式执行。这种执行方法可以更早地启动任务并改善资源使用的不均衡性。3)最后,在开源平台Spark 2.4.3上实现了D2PTS模型原型,基于性能测试平台Hi Bench,选取了多种类型的负载对本文实现的任务调度模型进行实验性能分析。实验结果表明,与Spark默认调度策略相比,D2PTS不仅可以减少应用程序的执行时间（平均缩短10%）,还可以提高资源利用率。