论文部分内容阅读
经典的话题跟踪算法是将文本分词后,以词汇作为特征项词频作为权重,构建出话题的特征空间向量,再对报道做同样处理得到报道的特征空间向量,以向量之间的相似度作为话题跟踪的指标。虽然此种方法将文本内容的处理简化为向量空间中的向量运算,极大地提高了自然语言文本的可计算性和可操作性,但是向量空间模型中以词汇作为特征项,以词频作为权重,不仅导致了文本的语义和结构信息的缺乏,还增加了向量空间的维度造成了相似度计算时的复杂性的提高,从而将其应用于话题跟踪中时,影响了话题跟踪的效率和准确性。本文尝试利用知网基于词语的语义相似度构建词汇链,再以词汇链的义原构建话题的义原特征向量,再将其应用于话题跟踪中,以期提高话题跟踪的效率和准确性。最后实验证明该方法是有效的。本文首先介绍了话题跟踪的相关基础理论,详述了话题跟踪过程及涉及的话题报道建模、权重计算等关键技术,分析了现有的话题模型表示中存在的不足,同时介绍了知网的概念、基于知网的词语相似度算法、词汇链的生成算法;接下来针对现有话题模型表示方法中的不足,提出了基于词汇链义原的向量空间模型,用于对报道和话题建模,最后本文进行了两次对比实验,首先用传统的词频统计方法为话题和报道建模计算相似度,然后用改进的表示方法对同样的实验语料建模进行相似度计算,后将二者的相似度对比;然后将两种方法用于话题跟踪的实验系统中,通过话题跟踪的漏报率误报率系统损耗代价等指标来进行对比,证明改进方法的有效性。具体的创新点有:(1)本文基于知网提取词汇链,抽取词汇链义原构建向量空间模型,用以表示话题/报道。(2)提出了基于词汇链义原的结构权重计算方法。