随着网络在社会各界的渗透和迅速深入,各种信息资源以前所未有的广度和宽度在网上共享着,网络数据量呈现指数级增长。互联网成为成本低而资源丰富的信息源,各种情报也蕴含其中。然而,现有的搜索引擎不能分析网页内容并帮助我们准确获取信息并定位信息源,它所能提供的只是大量的与搜索词语相关的Web页面,信息的获取仍然需要搜索者自己判读。本文提出了一种较为实用的基于Web挖掘的网情数据处理方法,该方法主要包括三个功能模块的研究:(1).构建了基于索引的多层数据库,统一了网情资料的存储模式,便于挖掘分析以及敏感信息的要素提取和信息源定位。(2).主题词库和特征向量集的研究,主题词库的构建缩短了Web文本的向量表示过程,降低了特征向量的维数,加快了分类、聚类算法的执行效率。同时特征向量集简化了多层数据库的存储模式,类别的划分存储更趋于结构化。(3).挖掘模型的研究包含两个方面,其一是基于网情库构建的分类器,采用χ~2统计量算法突出了特征词对类别的贡献;其二是基于搜索引擎返回的Web数据集的聚类算法,采用了TF-IDF算法。最后将聚类结果输入分类器进行最终的分类,提取类别信息,为重要网情获取提供支持。