论文部分内容阅读
现在人们可以通过一系列先进的方法收集到大规模的数据,过去这些数据缺乏有效的技术手段去挖掘其中的潜在信息价值。但是今天人们却能通过对这些数据的分析,学习到人类社会的行为特征,从而取得更多的经济效益。聚类是数据挖掘的重要组成部分,模糊聚类则是数据分析的重要方法。本文旨在将模糊c均值聚类算法应用到大规模数据分析中,面向可扩展化、并行化对算法进行改善,部署到现代的分布式处理架构上,充分发挥集群处理优势,并结合新方法有效改善经典算法应用到分布式场景下的不足。本文将从以下几个方面进行论文工作的阐述:1)根据众多聚类方法的性质特点进行类型划分及综述对比,选择更精确的模糊聚类以及特点适合在大数据场景下部署应用的基于划分的聚类方法,即模糊c均值聚类算法。2)在深入研究Hadoop和Spark的分布式模型基础上,对比两者在迭代任务上的处理性能,选择更适合迭代聚类算法的分布式架构Spark。3)基于Spark的编程模型进行模糊c均值的并行扩展化设计,但是初始化时模糊c均值采取随机选择聚类中心的策略,给算法主体迭代和结果精度带来很大的不确定性,这在大数据场景下代价是非常大的。为增强模糊c均值并行扩展后的性能,借鉴k-means在初始化阶段的改进策略,将k-means∥推广到模糊c均值中以获得更优的聚类性能,结合Spark的编程模型得到本文可扩展的并行模糊c均值算法。4)基于工作3)的算法,模糊c均值适于致密的球状数据结构,对于非凸结构的数据聚类效果较差。但在大数据场景下,数据形状结构非常复杂,支持单一结构的经典模糊c均值无法适应大数据场景下复杂的数据结构。为适应大数据场景下不同形状数据的聚类需求,引入核函数使模糊c均值在线性和非线性的数据上都能获得好的聚类效果,并结合Spark编程模型得到本文可扩展的并行核化模糊c均值算法。本文提出的两种算法在真实和人工数据集上的若干实验都表现出了很好的扩展性和并行性,有效地将模糊c均值聚类扩展到分布式应用中,极大地增加了算法处理的数据规模,有效地提高了算法的鲁棒性以及算法对数据形状结构的适应度,使并行可扩展的聚类算法得以更有效地对大数据进行聚类分析。