Spark是基于Map/Reduce计算模型进行大规模数据处理的分布式系统,每个任务都会被分为很多Map处理和Reduce处理在各个节点上并行执行。Shuffle操作是用于连接Map处理和Reduce处理的桥梁,会产生大量的网络传输开销和磁盘I/O开销。Spark定义广播阈值参数,对于参与Join的其中一表数据量小于该阈值的场景,使用Broadcast Hash Join算法执行Join操作,避免了两表的Shuffle操作。但是在执行外连接时,Spark未充分利用两表之间有效匹配元组的数据量与广播阈值的关系,导致Broadcast Hash Join的使用受到限制。在对两个大表进行Join操作的过程中,如果两表Join列不完全匹配,Spark中现有的Sort Merge Join算法会对大量数据进行Shuffle操作,严重影响执行效率。针对以上问题,本文基于Semi Join思想,对上述两种算法进行优化,主要工作如下:(1)提升Broadcast Hash Join算法在外连接查询中的适用性。本文提出了一种基于Semi Join的优化算法——Semi Broadcast Hash Join。以左外连接为例,定义左表为基表,右表为外表。如果外表数据量大于广播阈值,但是外表与基表有效匹配元组的数据量小于广播阈值,则基于Semi Join,通过对基表Join列数据所构建的HashMap对外表数据进行过滤,然后对基表和过滤后的外表数据集进行Broadcast Hash Join。在此场景下,可以有效利用Broadcast Hash Join算法的优势,避免Shuffle操作。(2)在Sort Merge Join的基础上,提出了一种基于Semi Join的Join实现算法——Semi Sort Merge Join,同样是通过对左表Join列数据所构建的HashMap对右表数据进行过滤,可以有效减少Shuffle操作过程中所需传输的数据量。同时根据集群配置动态设定Join操作的并行度,即Shuffle的分区数。(3)使用TPC-H数据集对上述两种算法的优化方案进行性能测试。在外表数据量大于广播阈值,但是外表与基表有效匹配元组的数据量小于广播阈值的情况下,Semi Broadcast Hash Join比Sort Merge Join性能优良,实验结果显示优化后性能最高提升约为25%。对于Join列数据不完全匹配的大表间Join操作,Semi Sort Merge Join算法能有效减少Shuffle操作的开销,右表与左表匹配数据量越少,算法优化的效果越明显。实验结果显示优化后性能最大提升约为20%。