论文部分内容阅读
如今,伴随着网络的快速发展和壮大,各式各样的信息也随之而来,其数量是难以估计的,其中又是以文本形式存在的数量最为巨大。对于这些数量巨大的文本信息,通过计算机的辅助,对其进行聚类或分类的操作再进行后继的处理,是目前一种常见的文本处理手段。本文主要讨论研究了与中文文本相关的聚类处理过程,主要是如何通过分词统计,特征表示,模糊聚类来得到一个好的文本聚类集。我们一般将一个文本表现为一个超空间矢量,矢量的各维坐标是文本中的各个词的词频相关信息。中文文本比起英文等外语文本,其聚类处理过程还要增加一个分词处理过程。本文重点研究了统计分词算法,通过引入字符串置信度概念,通过其进行冗余字符串的剔除,弥补了统计分词下伪字符串过多的缺点。对于最关键的聚类方法,重点研究了FCM算法的理论由来,处理方法以及缺点不足。针对FCM算法的三个主要缺点,我们引入模糊聚类有效性函数和半监督聚类方法进行弥补。通过对改进了的目标函数的数学推导,得到了改进了的隶属度函数。在此基础上,我们提出了一种新的PSFCM算法来作为文本聚类的算法,并对其进行了验证分析,证实了其主要优点就在于自适应选择聚类数,以及较强的鲁棒性。最后,我们在文本聚类上的使用该算法进行实际的操作,证明了该算法在文本聚类处理上有着较好的表现。