论文部分内容阅读
统计语言模型是上世纪80年代兴起的语言建模方法。经过20多年的发展,它已经渗透到了计算语言学的各个层面,并且在以下各个领域都取得了极大的成功,如语音识别、手写识别、机器翻译、信息检索、中文自动分词、亚洲语言输入等。然而传统意义上的统计语言模型,也即n-gram模型,仅仅考虑了先后相邻的n个词之间的关系,即依据前面已经出现的词来预测下一个要出现的词,这样,在构建模型时便丢失了许多有用的信息,如词法关系、词之间的组合、共现信息及其邻接关系信息等,导致模型性能下降。本文提出了一种新颖的通过依存语言模型进行信息检索的方法,该方法在Unigram模型的基础上,引进词汇之间的链接关系作为其依存信息,并用于语言模型构建过程中。我们认为,句子里词与词之间的所有链接关系形成了无向、无环的平面图,基于此,文档生成查询的过程可分为两个步骤:首先是生成词与词之间的链接关系,其次,根据链接关系产生具体的词。同时,本文还解决了传统依存模型中存在的依存关系表征及其规范化的问题。在语言模型训练过程中,将无监督性的依存关系抽取过程与不同的语言模型统计平滑技术相结合,使得依存语言模型在信息检索领域获得成功的应用。通过在TREC文档集上进行实验,结果表明:依存语言模型较Unigram语言模型和经典的概率统计模型,在检索结果上有了统计意义上的显著提高。