该文系统论述了web挖掘理论和技术,并着重研究了中文web分类技术及其实现,该文主要工作内容和研究结果包括如下: 1.该文在中文分词预处理上,将基于统计的生词发现和基于字典的机械切词相结合,有效解决了web上出现的大量字典中未包含词如人名,机构名等的识别和切分,最大限度的消除中文信息处理的信息瓶颈. 2.该文在词的类间概率分布的基础上,引入分布函数的区分度和相似度,将噪声词的去除与保留词的聚类相结合,提出了一种新的文本特征选择算法.该算法与目前各种特征选择算法相比具有明显的优势,同美国Utexas大学的InderjitS.Dhillon等人在国际数据挖掘会议KDD 2002上的论文结果相比较,在实验环境完全相同的条件下,100个特征值下即可达到89﹪以上的准确率,分类准确率平均提高了近10个百分点. 3.该文在系统系统研究web挖掘和分类技术的基础上,利用该文提出的特征选择算法,结合HTML结构的区域信息,设计并实现了一个中文web分类原型系统,并使用北京大学提供的中文web数据集对该系统的性能做了分析测试,同时与新加坡国立大学Ji He等人的中文web分类研究结果做了参照比较.