论文部分内容阅读
随着科学技术的迅猛发展,尤其是信息技术的突飞猛进,互联网已经深入到人们的日常生活之中,随之而来的就是信息量的海量增长。人们每天接收、发送的信息中有很大一部分都是以文本的形式存在,因此,如何管理这些海量的文本信息成为了一个不得不面对的问题和挑战。文本自动分类技术能够帮助人们高效、便捷地管理大量的文本信息,在信息检索、信息过滤、搜索引擎、文本数据库、数字化图书馆等领域都有着广泛的应用前景。随着文本分类技术的日益成熟,其应用也越来越广泛,而中文文本分类技术由于具有一定的特殊性,成为了研究的热点。但总体来说,文本分类都要包含文本预处理、特征选择、特征加权、分类算法、分类结果的评价等主要步骤,其中的每个步骤都会影响最终的分类效果。文本预处理的主要作用是将文本转化为计算机能够读取的结构化形式,并对数据进行初步降维;特征选择是主要的数据降维的环节,选出具有代表性的特征子集表示整个数据集,方便后面的处理;特征加权是对特征子集中的每个特征赋予不同的权重。然后选取适当的分类算法,训练分类器,最后对分类器的分类性能进行评估,调整分类器参数,直到分类效果达到评价指标。通过以上步骤,就能得到一个优秀的文本分类器,用来对文本进行自动分类,方便、高效地管理文本信息。本文的主要贡献总结为以下几点:(1)分析了文本分类的几个主要环节,并讨论了中文文本分类的特殊性。例如,中文文本在预处理的分词阶段需要按照词组甚至短句来分词,这和英文中按照单词之间的空格来分词有很大的区别,大大增加了预处理的困难度,甚至会成为影响中文文本分类最终结果的重要因素。(2)重点研究了文本分类的特征选择环节,分析了传统的特征选择方法以及较为流行的机器学习中的特征选择方法的优点和不足。针对拉普拉斯评分算法忽略特征之间相关性,容易选择重要但是却互相重复的特征这一缺点,本文提出了一种基于特征相关性分组的拉普拉斯特征评分算法,使得算法更加完善。(3)进一步改进了本文提出的特征相关性分组原理,并且在其他特征选择算法上进行了推广,甚至应用于其他图像分类中,发现了对于多数特征选择算法的效果都有明显提升。