在技术发展和社会生产不断发展的背景下,大数据来源于国防、政府、商业、工业等领域,其中蕴藏巨大经济和社会价值,如何将这些价值挖掘出来并加以利用,以促进经济发展和社会进步,具有重要的意义。聚类算法是这类挖掘技术的经典算法之一,为了提高聚类算法应对大数据集的处理能力,可以利用现在已有的大数据处理平台,成倍提高数据处理效率,Spark就是其中最为高效的一种平台。本文通过k-means算法初始聚类中心的选择进行改进,使数据集的分布特征可以被很好地刻画出来,同时利用Spark集群实现了并行化且具有Spark内存计算带来的高效迭代特性。利用UPGMA算法(非加权组平均法)将相距较近的数据点不断进行合并为新的簇,当簇中的数据数量达到设定的阈值将其加入到队列中并聚类的数据中删除,将此步骤得到的簇应用于最大最小距离算法得到可以反映整体数据分布特征的中心点,提高了聚类的稳定性和准确性。同时,为了充分利用Spark的优势,可以从内存优化、数据压缩、集群设置等方面进行优化,提高改进算法在Spark平台上的应用能力。通过对召回率、准确率、F-measure等指标的对比可以得出本文提出的改进k-means算法在聚类效果上优于传统k-means,同时从算法在Spark平台的加速比和扩展比可知改进算法在此指标上收敛更快即并行化效果更好。