随着信息时代的到来,对文本信息进行聚类分析是当今大数据时代的必要任务。聚类是机器学习中最具代表性的方法之一,而特征提取对聚类结果的准确性具有很重要的影响。目前,传统的聚类算法主要用来解决一些低维数据的聚类问题,对于文本信息的处理仍然存在着一定的局限性,因此如何通过特征工程来提高聚类算法准确度非常值得探讨。从应用工程层面来讲,本文针对电影评论文本数据集的稀疏性,提出了一种改进的特征提取模型,并结合两种传统的聚类算法进行实验对比。然后在改进的特征提取模型的基础上,又提出一种追逐聚类算法模型,有效的提高了聚类结果的准确性。由于文本之间也存在着差异性,不同的特征提取模型适用于不同的文本数据库,因此本文选取两类不同的文本数据集进行聚类,并将改进的聚类算法应用到电影评论聚类中。本文提出了一种基于word2vec方法中的skip-gram模型和TF-IDF模型的改进的新型S-T特征提取模型,并将S-T特征提取模型与传统聚类算法结合进行聚类。在S-T特征提取模型中,通过TF-IDF方法来学习特征词的重要性,通过word2vec方法的无监督的学习方式,利用skip-gram模型中隐藏层的神经元去学习每个特征词的文本信息。采用负采样方法来提高性能,进而改变神经网络中的权重关系,通过最大似然估计法,将问题转化为随机梯度上升法求解,从而解决原始文本的特征稀疏的问题。通过对比实验,显著性评价指标F₁值表明,针对古诗数据集中的低维特征字进行文本聚类时,谱聚类的聚类效果要优于k-means聚类效果。针对高维多特征的电影评论文本数据集,k-means聚类的聚类效果要优于谱聚类效果,并且改进后效果最好的S-T模型算法的准确度平均值由原本的43.6%提升为63.28%。由于贝叶斯模型具有从文本数据集中自动学习聚类的类别个数的优点,因此本文提出一种基于贝叶斯方法的追逐聚类模型。考虑到文本聚类中的特征项的特性,将在追逐聚类模型中,改变贝叶斯公式中的条件概率。通过添加一个小的约束条件,即确定追逐中心点,使数据进行自我学习和聚类。通过对比实验,降维后聚类的效果图和显著性评价指标1F值表明,改进后的追逐聚类算法的聚类效果要优于S-T模型与传统聚类结合的模型。