论文部分内容阅读
随着网络信息的迅速发展,如何在海量的文本信息资源中快捷、准确的获取有用信息已成为信息处理技术的关键。文本分类技术作为处理和组织大规模数据的核心技术,可以在很大程度上解决信息分类混乱问题,并更加准确高效地实现信息定位和信息分流。目前,文本分类技术在信息检索、网页去重、自动问答等领域都起到了不可或缺的作用,并迅速成为相关领域的研究热点。以向量空间模型(VSM)为代表的基于数据统计的文本相似性算法因其具有实现简单、计算高效等特点而得到了广泛的应用,但随着网络技术的迅速发展和文本信息资源数量的急速增加,文本种类、文本复杂度也较之前有了很大的改变,进而导致传统的VSM算法在文本分类过程中的缺陷也日渐凸显。本文首先结合知网语义知识词典(HowNet)和隐形语义索引(LSI)在文本分类中的应用,深入比对并分析了传统VSM算法在分类过程中的缺陷。由于VSM算法是基于词形建立向量空间模型,没有考察特征词条间的语义信息,忽略了相同语义下词形的多样性、不确定性,从而导致文本分类精度不够。另外,针对文本库中海量词条建立向量空间也使得该向量空间维度过大,进而导致文本分类效率较低。为此,本论文借助HowNet (知网)中的语义层次树,依据语义层次树中的上下位关系对VSM中的特征向量进行语义扩展,将每一个特征词条扩展为一系列与之具有语义相关性的特征词条集合,并赋予相应权重。另外,根据HowNet中的词汇相似度公式为具有同义关系的词条建立同义词集合,并引入“标志词”(flag word)的概念,以“标志词”来取代集合内对应词条。语义扩展和同义词集合建立两个阶段实现了VSM特征词条的语义重构,对重构后的特征向量进行VSM相似度计算具有更高的计算精度。在实验过程中,针对传统VSM在文本分类过程中的缺陷,本文为分属于不同领域的大量文本数据建立了相关数据集,并通过文本分类实验对比得出改进算法与传统VSM在召回率、精确率等索引性能上的差异。实验结果表明,较传统VSM算法,改进算法在文本分类精度及文本分类效率上都有一定程度的提高。最后本文结合改进算法在特征词条的消歧、去重等不足,对论文进行了总结与展望,并指出了基于语义特征的VSM在文本分类领域尚需研究和改进的问题。