论文部分内容阅读
随着信息技术的不断发展,以电子形式存储的文本开始泛滥,很多人们需要的信息往往被大量的垃圾信息所淹没,如何自动地从这些文本中挖掘出有用的信息将成为一个重要的课题。中文作为使用最多的语言之一,其文本挖掘就非常重要。文本分类作为文本挖掘中的一个重要分支,其步骤为:训练样本的选取、文本表示、特征提取、构造分类器、验证分类器性能。传统的文本挖掘方法是一种基于统计的方法,它以词频作为分类结果的主要影响因素,而不考虑词序、词义等更多的语义信息,在加权阶段采用了无指导的特征加权方法,没有充分利用已带类标签的训练数据。相对于基于统计的文本挖掘方法,基于语义分析的方法能考虑更多的文本信息,从而大大提高文本挖掘的性能。语义分析主要集中在特征提取这个处理步骤中,采用词典这种基于外部语义知识的方法对文本挖掘有着很大的帮助。为此提出了一种基于语义分析的特征提取方法以及针对加权步骤提出了一种改进的有指导的加权方法:1.基于《同义词语林》的文本特征提取:基于《同义词语林》的文本特征提取是一种基于语义分析的文本处理方法。中文的语料库相对较少且杂乱,能够拿来研究使用的也只有《同义词词林》,并且在此基础上也没有一个系统的文本分类方法。针对以上问题,提出一个完整的基于语义的文本处理方法,该方法利用了《同义词语林》编码的特性,对文本分别作了多义词消歧、同义词替换和搭配词组合的处理。2.改进的有指导的特征加权方法:传统无指导的加权方法并没有充分利用分类数据的特性,无法反映词在各个类别之间的比例关系。本文通过分析一种有指导的文本特征加权方法,虽然该方法克服了传统加权方法的缺点,却没有考虑词在整体本档之间的关系。针对以上问题,提出一种改进的基于指导的文本特征加权方法,实现了词在总体文档及各类别文档之间的综合考虑。对上述两种方法分别进行实验,结果表明,基于《同义词语林》的文本特征选择方法有效地降低了文本特征向量的维度,且两种方法都有效地提高了文本分类的精度。