论文部分内容阅读
文本分类是一个监督学习的过程,指使用计算机按照一定的标准对文本集自动赋予标记,涉及到机器学习、数据挖掘等领域的许多技术,主要包括文本表示、特征选择、分类模型和评价方法等。目前,比较常用的文本分类器有朴素贝叶斯(Naive Bayes)、支持向量机(SVM)、K最近邻(KNN)等。最近邻方法是KNN的一个特例,基本思想是在训练集中找到测试样本的最近邻样本,然后根据此最近邻样本的类别做出决策。但最近邻方法只根据距离最近原则进行分类,分类精度易受噪声数据的干扰。而且,如果训练集文本数量较大,对新样本分类就需要较大的计算开销,从而导致分类过程较慢。本文在对传统的最近邻算法研究的基础上,进一步研究基于最近邻子空间搜索的文本分类算法,主要包括以下三个方面:1)对不同特征提取以及特征项赋权方法的研究。本文介绍了常用特征提取方法,并尝试了联合特征提取方法,即将文本频率特征提取(DF)与卡方校验特征提取方法(CHI)结合,综合利用了DF和CHI的优点,从而选取更优的特征词,从而得到更好的分类效果。同时,在使用联合特征提取时,针对DF值范围对分类效果的影响,我们也进行了对比实验。此外,对于两类文本分类问题,我们使用了一种新颖、稳定的特征项赋权方法——词频相关频率积,使用这种特征项赋权方法对分类效果有了明显的提高。2)最近邻子空间搜索模型的研究。最近邻子空间搜索是一种新近提出的模式分析方法,它的基本思想是选择一组向量构成的子空间来表示同类或相关数据的重要信息,再把这组向量映射成高维空间中的点,最后再通过高维空间中的最近邻方法解决所涉及的问题。在应用最近邻子空间搜索模型的过程中,有两个关键的问题需要关注:一是如何将文本信息表示成子空间的形式;二是如何将最近邻子空间搜索问题转化为最近邻搜索问题。针对问题一,我们使用向量空间模型表示文本空间,即使用一个向量表示一个文本,进而使用一个矩阵表示一类文本,对表示某一类文本的矩阵进行奇异值分解,可得到它的特征矩阵,即这类文本的特征子空间。针对问题二,我们定义了一组映射函数,分别将子空间和查询集映射成高维空间中点,从而在高维空间中进行最近邻搜索。3)将最近邻子空间搜索算法应用于文本分类的研究。由于实验数据量较大,考虑到在分类过程中需要占用大量的内存,特征提取之后的文本维度相对于分类过程的内存来讲仍然较大,所以在利用最近邻子空间搜索算法分类之前,先对样本的特征空间进行主成分分析降维。通过实验对比了基于传统的最近邻搜索的文本分类和基于最近邻子空间搜索的文本分类方法,在Reuters-21578数据集上的实验表明,该方法能够有效提高文本分类的性能,具有较高的准确率、召回率和F1值。