论文部分内容阅读
随着Internet的飞速发展人们可获取的信息量迅速膨胀。如何从海量数据中快速、准确、全面地查找用户所需的信息是当前信息检索的一大难题。文本分类技术作为知识的组织工具可以加快检索的速度以及提高查准率。虽然文本分类最初是应信息检索之需产生,但它的应用领域不仅仅限于信息检索。文本分类在信息过滤,数字图书馆等多个领域均有广泛的应用前景。
本文从构造实用文本分类系统的角度出发,对文本分类流程中的几个主要环节进行了研究和改进,包括文本的表示、特征降维、分类算法等问题。首先,在文本的表示方面,对不同的特征加权策略进行了研究,分析其各自的特点并提出一种综合加权策略。其原则就是要对类间分布离散度大的特征项增加权重以及结合文本结构进行加权。实验结果表明该策略有助于提高分类的准确性。其次,对文本特征降维方法进行了研究。特征降维方法主要有特征选择和特征重构。在特征选择方面,先对常用的特征选择方法进行分析和比较,在此基础上提出一种混合特征选择算法。该算法在不影响降维效果的前提下,可以加快降维的速度。在特征重构方面,本文提出了一种基于语义词典的特征重构方法。该方法能有效解决同义词问题。最后,对目前在中文文本分类文献中很少见到的基于多项分布的朴素贝叶斯分类算法进行研究。详细介绍其原理以及实现中要注意的问题,而实验结果亦表明该算法具有良好的分类性能。
在本文的最后,介绍了文本分类系统的实现,对系统的设计以及系统的主要模块进行了介绍。实验结果表明,该文本分类系统在对不同领域文本数据分类时,具有良好的分类性能。