大数据时代,挖掘海量信息中蕴含的价值,对海量信息进行快速处理成为各个行业的迫切需求。随着Spark的广泛应用,Spark SQL作为一个基于Spark的分布式查询组件,利用Spark内存计算特性,进一步提高了海量数据检索性能,并在数据清洗、数据挖掘、日志分析等领域得到广泛应用。SQL查询优化是Spark SQL的核心,Join操作作为SQL中的基本算子,在分布式查询系统中,其实现方式与执行路径,决定计算资源、内存资源、网络和磁盘I/O资源的开销,它的优化执行是影响SQL查询性能的关键。目前最新Spark SQL版本中实现了基于成本的优化策略与基于规则的优化策略,通过优化Join执行路径,提高查询效率。同时,还可以通过缓存策略,减少网络传输开销与磁盘I/O开销,提高SQL执行速度。然而,Spark SQL成本优化策略没有充分考虑Spark内存计算特性,且缓存策略单一。针对存在问题,研究Spark SQL优化策略,主要完成了如下工作:1.针对目前Spark SQL成本优化策略中没有充分考虑Spark内存计算特性的问题,对Spark SQL中Join算子的不同实现方式,给出了一种综合时空复杂度和I/O开销的成本评估模型,该成本评估模型对Spark SQL执行过程中的内存使用行为和数据溢写行为进行成本分析。并提出一种物理计划生成策略和最优物理计划选择策略。通过与最新版本Spark SQL的成本模型进行实验对比,结果表明,论文提出的策略可以在提高SQL查询效率的同时提高系统资源利用率。2.针对Spark SQL缓存策略中无法自动缓存有价值数据,从而导致缓存利用率不高的问题,根据Spark SQL中使用内存列式存储作为缓存的特性,对缓存机制中缓存读写行为进行成本分析,提出了一种基于成本的自动缓存策略。通过与默认缓存策略进行实验对比,结果表明,使用该策略在TPC-DS数据集下,可以有效识别具有缓存价值的数据表,提高SQL查询性能和系统资源利用率。研究工作表明,结合Spark SQL内存计算特性,研究基于成本评估模型的查询优化策略,可以在提高系统资源利用率的同时有效提升Spark SQL查询性能。