论文部分内容阅读
为解决目前网络信息采集中信息主题单一与垃圾信息过多的问题，讨论了一种半人工监督的启发式采集系统。用户向系统提交同一个主题的一组关键词后，系统自动合并多个搜索引擎返回的结果，从而构成一个有序的文档集合。对这个集合利用后缀树算法进行聚类，人工对聚类的结果进行有效与垃圾状态标注并生成训练集构造分类器。当用户提交该主题更多的关键词时，系统可以从各成员搜索返回的结果中自动识别并采集有效数据而过滤垃圾信息。实验结果显示，系统对定主题数据的平均有效信息识别率达到92％以上。