大数据时代,各行各业与互联网的紧密结合产生了海量的业务数据,通过分析这些业务数据可以为公司制定更好的运营策略,从而提升公司的盈利能力。Hadoop MapReduce系统的出现简化了对海量数据的分析,其被大量公司和机构广泛应用于业务数据分析工作。然而Hadoop MapReduce采用磁盘来存储计算的中间结果,因此计算效率较低,而Spark分布式计算引擎采用内存来存储计算的中间结果,显著地提高了数据分析任务的执行速度。为了进一步简化数据分析工作,研究人员在Hadoop MapReduce系统上研发了Hive数据仓库;在Spark之上构建了Spark SQL系统。相对于早期的工具使用代码描述计算任务,这些工具使用SQL描述数据分析任务,使其可以根据查询优化理论进行优化,进一步提升了执行的效率。但是目前Spark SQL的查询优化功能仍然存在以下不足:1)需要操作者显式地通过统计信息收集命令收集统计信息,在缺乏统计信息时无优化,而使用者通常不了解查询优化理论,也不了解如何有效地收集统计信息。2)收集的统计信息不够准确,优化效果不佳。针对以上问题,本文提出了一个在运行时收集统计信息并对查询进行自适应优化的算法,实现了在不需要前置统计信息时对查询进行优化。其包含以下三个部分的内容:1)BFP(Bloom Filter Prune)Join算法,在连接操作执行之前使用布隆过滤器裁剪不满足连接条件的数据,并按照裁剪的方式不同分为单侧裁剪和双侧裁剪。2)采用AMS Sketch和布隆过滤器对连接的中间关系基数进行更加精确的估计。3)提出了一个基于图的连接计划生成算法,根据查询语句调度执行统计信息收集任务,接下来按照统计信息自适应地调整查询的执行计划。文章接下来对本文提出的运行时查询优化算法进行了测试,实验表明:在不考虑连接顺序的情况下,BFP算法通过对连接输入进行裁剪产生的优化效果最高达到了12%,在未成功裁剪数据的时候额外时间开销没有超过7%。连接计划生成算法在没有预先收集统计信息的情况下,在实验中所有的18次查询里,有14次都产生了最优的连接计划,优化效果最高达到了31%,统计信息采集的时间开销不超过执行时间的5%。