论文部分内容阅读
随着互联网和信息技术的快速发展,人们在日常生活和工作中需要处理越来越多的文本,怎样才能快速有效的处理大量的文本成为一个亟待解决的问题。文本聚类是文本处理的重要技术。传统的文本聚类由于不需要事先对文本进行类别标注,也不需要训练过程,因此具有较高的自动化处理能力和一定的灵活性。然而,在实际应用中,我们在得到大量无标签样本的同时,也很容易得到少量有标签的样本,在这种情况下,传统的文本聚类算法便不能利用少量的标签信息来提高聚类性能。由于半监督学习能够同时利用无标签样本和有标签样本进行学习,目前正受到越来越多研究人员的关注。本文对文本聚类和半监督聚类算法进行了研究,为了提高文本聚类的性能,把半监督聚类算法引入到文本聚类中。半监督聚类算法对聚类性能的提高在很大程度上取决于半监督聚类算法所使用的监督信息。因此,监督信息的选取非常关键。针对这个问题,本文构造了一种主动选取成对约束的方法,首先利用模糊超体积找出划分最模糊的簇,然后在其边界上选出若干个样本,对每一个被选中的样本,在其相邻簇中找到与它最近的样本,由这两个样本构成一个成对约束。该方法能够选择具有较好指导作用的成对约束信息。为了能够利用少量的监督信息提高文本聚类的性能,本文提出了一种新的基于成对约束的半监督文本聚类算法。首先利用潜在语义分析方法对文本特征空间进行降维,然后在聚类过程中,利用新构造的约束选取方法主动地选取成对约束信息,并利用选取的成对约束信息指导文本聚类。为了验证本文提出的新的监督信息选取方法和基于成对约束的半监督文本聚类算法的有效性,本文在中文文本聚类实验平台上进行了多组实验,实验结果表明本文提出的新的监督信息选取方法能够选取更具指导意义的监督信息,本文提出的半监督文本聚类算法能够利用少量的监督信息有效的提高文本聚类的性能。