随着互联网的快速发展,政府机关、企业与研究机构每天都要产生和处理的数据规模已经达到TB级乃至PB级。虽然Hadoop的出现解决了大数据在多台计算机上的可靠存储和处理问题,但是该计算框架也存在一定的问题,即运算产生的中间结果会存放在HDFS文件系统中,并且Hadoop的MapReduce工作流是由很多的MapTask和ReduceTask组成,大量的MapTask与ReduceTask之间的的交互会造成频繁的读写中间数据,因此会带来大量的磁盘读写开销。为了解决Hadoop所面临的问题,Spark技术应运而生。Spark是一种分布式的内存计算框架,并且它延续了Hadoop的MapReduce计算模型,所不同的是Spark使用了一种更快的工作流DAG(Directed Acyclic Graph),通过减少Shuffle的次数让数据更多地在内存中进行读写。但是Spark的Shuffle过程仍不可避免的把中间数据放在硬盘上进行读写,并且在Spark SQL作业流中,存在着对冗余数据进行读写的情况。本文针对目前Spark中存在的问题,对Spark SQL作业查询执行优化技术进行研究。本文深入分析了Spark SQL的工作流程,结合SQL查询的特点,在底层持久化文件系统与上层Spark核心间加入中间数据缓存层以解决对该数据的随机I/O读写开销,并且通过查询预分析模块,可以动态地调整缓存层的大小以适应不同的查询,同时针对连接操作Shuffle数据量较难计算的情况,提出了直方图法进行分析,最后缓存层分配模块为集群中的每个结点分配合适的内存。针对Spark SQL作业流中存在的输入数据和中间数据共享的情况,本文提出了基于代价的相关性合并算法,来权衡合并共享数据所带来的收益和产生的额外开销,以决定是否对这些具有相关性的作业进行合并,从而实现集群资源的高效利用,提高系统运行效率,加快查询任务的执行速度。本文在现有的Spark SQL的基础上进行改进,开发了SSO(Spark SQL Optimizer)系统,实现了上述功能。通过搭建实验平台,使用基准测试工具TPC-H生成测试数据,与现有的Spark SQL就查询性能进行分析比较。实验结果表明,改进后的SSO系统能够有效提高查询速度,减少磁盘I/O开销,充分利用集群的内存资源,具有明显的优势。