论文部分内容阅读
近年来,随着“互联网+”在各行业不断的普及和发展,大数据思维正逐渐影响着人们的思考方式,领导者们依据数据作决策已成为常态。然而当前的大数据具有数据量大、类型繁多、变化快、价值密度低等四大特征,要想从中提取有价值的信息,就需要进行大数据分析,而大数据分析的核心任务是聚类。聚类是指根据数据自身的结构信息,将其划分成多个类,使得每个类内部相似度较高,不同类之间相似度较低。经典聚类算法如k-means、DBSCAN、密度峰值DPC等聚类算法都存在着不足,或是对噪声点敏感,或是需要用户输入参数。为了能克服上述算法各自的缺点同时又能继承每种算法的优点,本文在传统聚类算法的基础上,通过引入云模型和数据场提出了一种新的自适应聚类算法。该算法能够处理任意形状分布的数据集,抗噪声能力强,能够处理高维数据,且整个聚类过程不需要人为输入参数。本文的主要研究内容如下:1、改进数据场中势函数计算公式,将3σ距离以外的势值定义为零。改进后的势函数能准确找出噪声点,且降低了算法的时间复杂度。2、针对数据场中的参数σ,本文给出了两种参数选取方法,并提出用黄金分割法计算最小熵,自动获得最佳参数σ。3、根据本文算法中聚类中心的性质,提出了一种自动检测最佳聚类中心的方法。4、以改进的数据场为基础,提出了一种自适应聚类算法,整个聚类过程无需人为干预,解决了经典聚类算法对人为输入参数的依赖性。该算法通过计算每个对象的势值,找出聚类中心和噪声点,然后将其他对象按势值划分到最近邻的簇中,从而完成整个聚类过程。5、通过对聚类问题中的经典数据集实验仿真,验证了本文算法对任意形状分布的数据集的聚类能力。且与k-means、DBSCAN、DPC算法进行了对比,验证本文算法具有较好的聚类效果。6、针对现有数据的高维度性,提出一种基于云模型的特征提取方法。该方法利用逆向云发生器计算原始数据的三个数据特征,然后将三个数字特征作为主要特征进行聚类分析,并在三个高维数据集上验证了该方法的有效性。