随着云计算技术的发展,大数据应用有了更广的扩展与延伸。大数据的价值开始日益受到重视,人们对数据处理的实时性和有效性的要求也在不断提高。聚类分析技术在大数据中的应用,使得人们从数据中获取信息、知识和决策支持更加容易。但是,传统串行式的聚类算法在处理海量或者高维数据时,聚类的速度不够快,且单一聚类算法在处理新的数据时表现不尽如人意(泛化性较差)；在面对大规模数据时,受制于内存容量,往往不能有效地运行,因而传统串行式聚类算法已经难以满足当前实际应用的需求。为提高聚类性能,作为当前新的研究热点,聚类集成技术已被证明可以较大地提高传统聚类算法的性能。并行计算模型MapReduce的出现,使得大量用户能够在集群上分析超大数据集。然而MapReduce模型不是万能的,针对多数分布式聚类算法在基于MapReduce模型做并行时,采取的不合理并行策略以及并行聚类结果不理想等缺陷。本文提出基于弹性分布式数据集(RDDs)的分布式聚类集成算法,充分利用RDDs模型和聚类集成算法的优势,有效提高聚类分析在大数据应用中的聚类结果质量和处理能力。算法首先设计一个基于RDDs的分布式邻接表,解决关联数据在分布式环境中的表示和存储；其次利用分布式的共识函数模型,综合几个海量基聚类结果并用分布式邻接表表示；最后运用改进的分布式最近邻传播算法(MDAP),划分分布式邻接表以获得最终的聚类结果。Spark是继Hadoop之后的新一代大数据分布式处理框架。本文设计并实现了基于Spark的聚类集成系统,实现海量数据存储、处理、互操作,为大数据挖掘应用提供高可靠性、高性能的聚类集成系统。在系统架构设计时,采用分层的设计思想、面向组件设计的思路构建系统,自下而上依次分为：分布式计算层、基础平台层、算法分析层、云服务层和用户应用层。在系统实现的过程中,充分利用当下最流行的软件框架,缩短系统的开发周期,同时提高系统的质量。最后在本文的系统测试中,进行了系统核心算法的准确性测试和系统的性能测试,通过结果的分析与对比,证明了本文工作的有效性和实用性。