论文部分内容阅读
一篇文档通常涉及多个子主题,然而传统的文本处理系统如信息检索和文本摘要以整篇文档作为基本处理单元,隐性假设文档主要讨论一个主题。如果能够准确地识别和划分文本的子主题结构,将语义段落作为文本处理的基本单元,会大大提高文本处理系统的性能。
文本分割的任务是将含有多个子主题的文档切分成多个语义段落,每个语义段落描述一个子主题,而各个语义段落之间涉及不同的子主题。本文主要探讨线性文本分割,其中每个语义段落由连续的文本片段组成。
现有的文本分割方法可以分为两类,第一类是基于词条重现的方法,认为文本片段内部词汇重复程度越高,则越有可能是一个语义段落。此类方法易于计算,对资源要求较低,但是忽略了词之伺潜在的语义关系对语义连贯性的影响,造成分割的准确率下降。第二类方法利用语言学资源(如词典和训练语料)来挖掘词间的语义关系,并将这些语义知识引入语义连贯性的计算。此类方法对资源要求较高,分割性能较好。
本文主要研究了把潜在语义分析(LSA)用于文本分割的效果。潜在语义分析能够通过词出现的上下文来估计词间潜在的语义关系。通过对词频矩阵进行奇异值分解,词被表示为低维语义空间上的特征向量,由此可以计算词与词、句子与句子之间的语义相似度。
本文设计实现了一个基于潜在语义分析的文本分割算法,在对文档中的词进行潜在语义分析的基础上,采用分裂式聚类(divisive clustering)对文档进行分割,并自动确定分割的语义段落数目。实验结果显示,与基于词重现的Baseline算法相比,本算法取得了更好的Pk值评价结果,表明LSA对于提高文本分割的性能有比较明显的作用。本文还对几种可能影响分割性能的因素进行了分析。