热点话题的发现一直都是自然语言处理领域常见的研究课题。在网络舆情监控方面,需要实时发现老百姓讨论最多的新闻事件,特别是网民对网络突发性事件的热议。及时对这类事件进行预警、跟踪和处理,防止事态恶性化发展是有关部门工作的重点之一。本文采用经典的K-means算法对文档进行聚类,并根据簇的大小(即文档数量的多少)反应话题的重要程度。为了提高文档的质量,以便后期提取优质的特征词,本文在聚类前从数据源入手,通过关键句选择与有效文档选择两方面处理尽可能地保证数据的干净、简练。首先从每一篇文档的正文中选择出能反映该文档核心内容的关键句,将原文档转变为新的基于关键句的文档,本文主要从两个角度衡量文档关键句:句子中词的权重均和以及句子在文档中的位置;其次,由于网络上存在大量的“标题党”,为了吸引网民的眼球和点击量,他们常常使用虚假标题诱使网民浏览他们的网站,因此为了选择有效文档,本文比较了关键句与标题的相似性,排除那些文档标题与文档内容不一致的噪音文档;最后利用词频-倒文档频率(TF-IDF)方法计算出关键句文档集的特征词。本文所用的测试语料主要是2016年网络上发生的突发性事件,如“雷洋事件”、“山东疫苗案”等,通过将经过关键句选择与有效文档选择处理后的新文档集聚类的结果与原始完整文档直接聚类的结果进行对比分析,发现前者的F1值为80%,而后者只有67%,因此精炼后的文档不仅提高了文档质量,降低了向量维度,同时在聚类效果上也有很大的提升。