随着互联网技术的飞速发展,结构化数据呈爆发式增长,结构化数据逐渐从关系型数据库迁移到非关系型数据库,但是结构化数据迁移后用户面临学习成本高,连接查询困难,数据挖掘不便等问题。因此本文设计了基于Spark的连接查询软件设计,针对Spark分布式计算引擎在连接查询过程中出现中间数据量冗余和数据倾斜这两种不足进行研究与改进,并将改进方案应用至基于Spark的连接查询软件中。其中本文主要工作如下:1.本文针对Sort Merge Join连接查询策略在连接查询过程中出现的中间数据量过大这一问题,提出了谓词下推结合多级布隆过滤器对中间数据进行过滤改进。通过谓词下推能够将连接查询语句直接下推至数据源,降低磁盘I/O开销,再通过多级布隆过滤器对参与连接的属性进行频次统计,为下文的数据倾斜改进做好铺垫,同时将不参与连接查询的属性进行双向过滤,最后将过滤后的两表进行连接查询,能够有效地过滤掉无效的连接属性,使得数据量减少6.7%,过滤效率提高1.9%。能够有效降低Sort Merge Join查询策略过程中Sort和Shuffle消耗,减轻Spark集群节点的内存压力,提高Spark连接查询效率。2.针对Spark集群在连接过程中由于数据倾斜产生的长尾效应问题,本文采用成本代价模型对中间数据进行动态分区。根据前文所提出的多级布隆过滤器对连接属性的频次统计,建立中间数据倾斜模型,划分中间数据倾斜情况等级,对轻度倾斜以及重度倾斜进行数据分区,进而提出中间数据动态分区方案,并设置倾斜容忍度完成中间数据细粒度切割,对Spark集群资源进行充分利用。相较于其他数据倾斜策略改进,本文提出的改进策略内存消耗减少13.4%,总体连接查询时间缩短1.7%,能够使得Spark工作效率更高。3.通过对用户需求和市场情况分析,软件采用B/S架构进行设计并实现基于两种改进策略的Spark连接查询软件,该软件可通过Web界面与用户进行交互,简单易用。软件前端利用HTML结合CSS和Vue进行编写;后端采用经典的SSM框架对个人信息管理模块、文件管理模块、集群管理模块、查询处理模块进行实现;服务器后端数据库采用My SQL数据库进行存储,并利用Redis作为一级缓存满足软件的高并发量,加速请求反应。4.搭建集群和软件测试环境,对Spark原生数据连接策略和其他改进方案进行对比分析,实验结果说明本文所提出的数据过滤改进和数据倾斜改进能够有效地提高Spark结构化数据连接查询效率;依据软件测试标准GB/T35136-2017进行软件功能性和非功能性测试,根据测试结果表明本软件功能完备,性能能够满足日常使用需求。