大数据时代催生出了以Hadoop和Spark为代表的大数据计算平台,其中已经被广泛应用于企业业务开发中的Spark是目前业界最常用的分布式计算框架,同时在容器环境下的部署方式也越来越成为云厂商的发展趋势。Spark提供了更快的运行速度和更方便的面向大数据开发工程师的编程接口,Spark程序的运行包含一百多个参数配置选项,不同的Spark参数配置对不同的Spark程序运行性能有着显著的影响,不同的参数之间也存在着微妙的相互作用,要想提升Spark程序的执行性能,通常是通过专家经验来调整配置参数调优,但是这样的专家很稀缺,而且人工调优也会消耗大量的时间成本去测试,因此一个能够自动优化Spark的工具很有必要。设计并实现了Spark程序调优工具,首先收集Spark程序的运行数据和执行时间,然后利用机器学习方法建立预测程序执行时间的性能模型,最后基于性能模型通过搜索算法在Spark配置参数空间中搜索最优参数,从而实现Spark程序的性能调优。调优工具包括负载管理、执行时间预测模型选择、参数优化和优化历史记录四大模块。负载管理包括内置的测试负载和用户提交的Spark程序两部分,内置测试负载基于大数据测试集Hibench,支持不同数据量大小和不同类型的负载。执行时间预测模型选择模块前期通过机器学习方法创建模型,后期通过相似度在历史库中寻找相似负载的模型。优化参数模块通过搜索算法在对应参数空间内搜索负载的最优配置,在优化历史记录中能够查看最优配置和搜索迭代图。实验基于三个节点的集群,并配置了容器环境,在每个节点上安装了Docker引擎、在主节点上装好了Kubernetes容器调度平台,优化工具部署在主节点上。经过实验,wordcount 100G负载建立的模型准确度可以达到80%,搜索得出的最优配置相较于默认配置有5倍以上性能优化。