近年以来,移动互联网产业和物联网产业得到的长足的发展和爆炸式的增长。在诸如通信,物流运输,金融,工业物联网和互联网领域中,种类繁多终端设备在时刻产生着大量的结构化数据。随着这些海量数据的产生,传统的软件技术框架已经难以满足大数据应用的需求,因此HDFS,MapReduce,HBase,Hive和其他多种Hadoop技术应运而生。Spark是一套基于Hadoop和MapReduce的开源并行架构,其工作中间结果可以存储在内存当中,而不需要像其他Hadoop系统一样存储读写HDFS。因此Spark对多种算法有更高的计算效率,获得了较为广泛的使用。Spark SQL是Spark平台中的重要组成部分,负责提供DataFrame的API接口来对内外部数据源进行关系操作,同时Spark SQL还提供了Catalyst优化器用来对诸如机器学习等领域的应用添加专用的优化策略。Catalyst优化器将使用基于规则优化或基于代价优化策略对Spark SQL语句进行逻辑计划优化和物理计划优化。其中,在基于代价优化策略中,需要使用Spark操作的统计信息估计操作的计算成本,统计信息的准确性将直接影响代价优化的结果。总所周知,连接操作是Spark SQL中最为复杂的关系操作之一,其中连接基数估计是连接操作代价优化中最难统计的信息。当前Spark SQL中通用的连接基数估计方法在数据均匀分布的情况下有较佳效果,但在数据分布不均匀情况下无法刻画数据本身的特性,导致估计结果相较真实值常有量级上的差异,影响代价优化的结果。本文针对目前Spark SQL Catalyst中连接基数估计准确率较低的问题,设计了对数据源连接操作历史情况进行滑窗采样策略,抽取特征参数并分别使用多层感知器和多项式回归两种方式抽取数据源本身的特性,同时对连接基数进行更为精准的估计。最后,本文使用了两类合成数据集和一个来自物联网生产环境的真实数据集对设计的两种连接基数估计算法进行评估,实验表明在对真实数据集的连接基数估计中,两种算法相较默认算法分别有6.03倍和7.17倍的相对误差率提升。