在计算机的软硬件技术高速发展下,如今已经进入了大数据信息阶段,传统的数据处理在面对数据规模较大的处理任务时,其执行速度和效率非常低甚至根本无法完成处理任务,分布式计算进而出现。目前主流分布式计算框架有Spark、Hadoop;常见集群计算模块有HDFS(Hadoop Distributed File System)分布式文件存储系统;Spark中特有的RDD(Resilient Distributed Datasets)弹性分布式数据集结构;Yarn资源调度引擎;MapReduce并行计算框架等等,以上所有模块的出现使得面对大数据时代的并行计算任务更加迅速且高效。对数据中隐含信息的进一步挖掘对我们现实应用和生产有着极其重要的实际指导意义。K-Means空间聚类分析作为空间数据挖掘技术中的一个重要方法,也是空间数据挖掘领域的重点研究方向之一。与此同时,传统的数据分析方法也无法在集成式环境下直接运行,这也是目前学术界和行业界在大数据领域研究的热点之一。另外,基本K-Means聚类算法采用Random方式确定簇类中心,使得该算法聚类结果稳健性不佳并且对样本离群点很敏感,严重甚至导致聚类失败。因此本文首先对传统的K-Means聚类算法初始化聚类中心点过程进行优化,并结合Spark平台特性,完成优化算法的并行化执行策略设计与实现。主要研究内容如下:(1)对K-Means算法的改进。传统K-Means算法对噪声点很敏感,使得传统K-Means聚类算法稳健性不佳。本文针对传统聚类算中心簇初始化部分进行改进,以提高算法的高效性和稳健性。(2)研究Hadoop相关的主要两大模块,MapReduce分布式框架和HDFS分布式存储系统;Spark的RDD结构、Spark SQL模块等;Yarn系统调度。在此基础上,为串行算法的并行化设计提供思路。(3)基于Spark框架实现改进K-Means算法的并行化设计,并根据Spark平台特性对资源参数和IO进行进一步优化。(4)并通过设计合理的测试实验,验证研究内容的有效性和高效性。实验主要通过在单机、Spark平台和Hadoop平台上运行。(5)将基于Spark并行化的改进K-Means算法应用于全国空气质量空间聚类分析,并将最终聚类结果进行可视化展示。通过空气等级指标的划分,证明研究内容的实用性和有效性。最后对以上研究内容进行具体的实验和测试,得到以下结论:(1)改进K-Means串行化算法单机上,其轮廓系数和CH(Calinski_Harabaz)值和要优于Spark MLilb自带的算法和原始K-Meas算法;(2)在集群模式下,Spark集群的并行化执行速度和加速比要优于传统的Hadoop集群;(3)通过对全国空气质量空间数据聚类分析,和已知的空气质量等级数据进行对比,验证本文的研究内容在全国空气质量空间数据挖掘领域的实用性和有效性。