在大数据计算领域,Spark系统已成为越来越受欢迎的计算平台之一。其功能涵盖了离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围非常广泛。但在实际使用中,由于Spark作业的配置参数复杂多样,加上性能调优又非常依赖于技术人员的实际经验,使得用户几乎不可能在短时间内获得最佳的配置参数。而如果没有对作业进行合理的性能调优,则很有可能增加作业的执行时间与提高其资源浪费率,如此便很难将Spark作为一种快速大数据计算引擎的优势完全体现出来。对此,本文提出一种基于贝叶斯优化的作业配置参数自动寻优方法。在对Spark作业执行原理进行深入分析的基础之上,通过解析Spark的历史日志信息以及远程监控计算集群的消耗情况,本文首先确定了影响Spark作业性能的若干主要特征。其次以作业数据大小、具体配置参数、集群资源使用等特征作为输入,以反映用户不同使用场景的作业执行时间或作业资源浪费率作为输出,建立起作业的性能预测模型。在此过程中,本文充分考虑Spark作业的类型繁多、而不同类型作业的资源使用率和性能特征有所不同等因素,以作业数据大小及Spark作业有向无环图为依据,使用K-means算法进行作业聚类,并通过对比常用机器学习算法的模型评价指标和算法复杂度,选择基于LightGBM回归算法,实现对不同的作业类型分别建立其性能预测模型。最后,本文运用贝叶斯优化算法,通过迭代执行性能预测模型的计算与修正,最终搜索出作业的最优化配置参数,达到Spark系统作业配置参数的自动寻优目的。分别使用默认配置参数、经他人已发表遗传算法搜索得到的优化参数、以及由本文所述方法得到的配置参数对未经训练的作业进行了不同角度的测试,结果表明本文所述方法能够有效地减少作业执行时间和降低作业的资源浪费率,据此验证了该方法的有效性和先进性,从而也表明了本文工作具备一定的创新性。