近年来,信息产业发展迅速,计算机硬件不断升级,分布式集群对于海量数据的存储和计算能力不断提升。在此基础上,近年来工业界诞生了一系列针对海量数据而设计的分布式框架,比如MapReduce,Spark,HDFS等等,Spark又因为其内存计算的特点博得了众人的青睐。但是在实际使用中,Spark超过200项的配置参数往往使人困惑,参数的不合理配置会导致作业运行缓慢和集群资源浪费。在此基础上,本文提出了Spark作业性能预测系统和配置推荐系统,目的是作业运行之前,对于作业的运行时间和资源占用率进行精确的估计,进而推荐最优的集群配置。本文的主要工作包含三大部分:作业性能监控系统,作业性能预测系统和配置推荐系统。基于Ganglia的作业性能监控系统,通过对于集群节点的实时跟踪,记录作业性能数据。作业性能预测系统使用基于改进局部注意力机制的encoder-decoder模型,通过作业在抽样数据集上的模拟运行,预测作业在真实数据集上的性能曲线。配置推荐系统考虑了作业的时延、资源占用以及资源申请释放带来的开销,在作业配置空间中进行搜索,结合性能预测系统,给出目标约束下的最优配置参数。此外,本文还构建了基准测试程序和数据集合,对于本文实现的系统进行了详细的测试。测试结果表明,性能预测系统的准确性较高,可以很好地满足性能预测需求,配置推荐系统给出的配置,对于作业运行的时间开销和资源开销均有一定的优化。这说明本文设计实现的系统,具有很强的现实意义。