论文部分内容阅读
文本聚类作为一种无监督的机器学习方法,近年来已成为自然语言处理领域中研究的热点,传统的聚类算法只能将一个样本点划分到一个聚类中,但现实生活中,很多事物的归属并没有特别明确,模糊聚类(Fuzzy Clustering,FC)算法的出现为解决这些问题提供了新的思路,实现了对样本集合的模糊划分,模糊聚类中使用的最广泛的是FCM(Fuzzy C-means)算法。FCM属于分割聚类算法的一种,它存在着分割聚类算法普遍存在的缺点,如算法易陷入局部最优、对噪声数据敏感、需要事先指定聚类个数等问题。谱聚类算法(Spectral Clustering,SC)可以实现对任意形状的样本空间聚类,且得到全局最优解,本文通过将SC算法和FCM算法相结合,给出一种模糊谱聚类分割策略,即模糊谱聚类分割算法(Fuzzy Spectral Clustering,FSC),该算法实现了对任意形状样本空间的聚类;通过分析FSC中噪声点的隶属度,发现隶属度归一化约束条件存在的问题,并提出对该隶属度约束条件进行改进的方法,对FSC算法进行改进,进而得出改进隶属度的模糊谱聚类分割算法(Improved Membership Degree FSC,IMD-FSC),解决了噪声数据问题;根据拉普拉斯矩阵的特征值差异和聚类数目之间的关系,提出了一种自动确定聚类数目的方法,将其用于IMD-FSC算法中,得出了自适应的模糊谱聚类算法(Adaptive IMD-FSC,AIMD-FSC),实现了聚类数目的自动确定。本文给出了详细的实验步骤,将以上三种方法分别应用于文本聚类中,实现了对文本集合的模糊划分,使用准确率、召回率对实验的结果进行分析。实验结果表明,本文提出的AIMD-FSC算法的聚类效果得到了很大的提升,具备一定的应用价值。