随着大数据的盛行以及分布式计算技术的逐渐成熟,运用分布式技术来进行数据的高效分析已成为了各企业的研究热点。近年来,随着内存计算的不断发展,Spark被广泛应用于大数据处理领域。Spark中的任务调度器决定了任务的数据分配以及任务执行路线,能够直接影响整个集群的执行效率。因此,开展对Spark任务调度器的优化研究能够提高Spark集群的性能。分析了目前Spark任务调度器未充分考虑洗牌（Shuffle）算子的数据分布敏感性和中间数据分布特性而导致的调度次优问题,给出了一种面向shuffle算子的任务调度器优化方法,采用代价估算的方式来选取较优分区数,能根据数据分布特点选择合适的分区策略和任务执行节点。在Spark 2.1.0版本上实现了以上任务调度器优化方法,主要工作包括4大模块:系统参数收集模块、shuffle算子识别模块、数据分布感知模块和调度优化模块。给出了数据分布抽样算法以获取中间数据分布信息;提出了shuffle算子点识别算法以获取shuffle算子点信息;结合算子特性、数据分布特性和集群参数构建了代价估算模型并给出了合理的分区数决策算法;针对数据倾斜场景,给出了基于分布感知的数据均衡分区方法;结合中间数据在各节点上的分布情况,给出了一种基于数据本地性的任务节点分配策略。分别针对不同算子类型,对此调度优化方法在数据倾斜场景与非倾斜场景下的优化效果进行了实验验证。其实验结果表明,与Spark默认调度方式相比,本调度优化方法在数据倾斜场景和非数据倾斜场景下的迭代型应用中都存在明显的优化效果。