论文部分内容阅读
目前文本信息检索领域中普遍采用基于统计的模型,如布尔模型、向量空间模型。但是它们没有很好地解决以下几方面问题,包括:歧义词辨析、同义词扩展、概念层次关系、上下文语义关系等。为了解决以上问题,提高文本信息系统检索效力,本论文提出了两种浅层语义检索模型——浅层语义向量空间模型(SSVSM,Shallow-Semantic Vector Space Model)和基于本体的浅层语义模型(OBSSM,Ontology-Based Shallow-Semantic Model)。基于这两种检索模型,本论文构建了两个信息检索系统,并分别采用英文标准语料和中文实际数据进行测试,同时与传统的基于统计的检索模型进行量化比较。本论文的主要研究内容及成果如下:1、浅层语义向量空间模型相关内容及成果:(1)提出了浅层语义向量空间模型。通过对传统的向量空间模型(Vector Space Model,VSM)的改进,提出了浅层语义向量空间模型。该模型与传统向量空间模型主要区别以及优点在于:它将传统的检索关键词(本论文中主要指名词)与修饰它的修饰词(本论文中主要指形容词)合成,作为一个整体关键词(本论文中称其为合成短语),可确定多义词的真正含义;同时,将合成短语中的修饰词以及它所修饰的中心词根据模糊同义词词典进行扩展并重组,可检索出一些由于用词生僻而原本检索不出来的但符合用户需要的文本。(2)建立了模糊同义词词典。为了实现浅层语义向量空间模型中的查询扩展,基于著名的语义词典WordNet建立了模糊同义词词典。模型中,使用该词典对查询向量进行了模糊扩展(目前,该词典已经在与日本JUSTSYSTEM公司的合作项目中得到应用,日方利用该词典开发了NLPs工具)。(3)进行了信息检索试验。使用英文标准语料库(TREC:LA-Times),输入共150个查询语句,验证基于本论文提出的浅层语义向量空间模型的信息检索系统性能,并将其反馈结果与普通检索试验的结果进行比较,用以说明该语义模型的优势。(4)进行系统评价。本论文主要从精确率和召回率两方面指标对信息检索系统进行评价,试验结果表明,浅层语义向量空间模型的检索精确率、召回率比普通检索模型有所提高。2、基于本体的浅层语义模型相关内容及成果:(1)建立领域本体。分析了某市移动通信公司2002年~2005年的投诉记录,使用Protégé工具建立了移动通信投诉服务领域的本体。在该本体的建立过程中,提出了自顶向下结合延伸的概念提取方法、基于Apriori算法思想挖掘概念之间关系的方法,改善了人工建立领域本体的不完整性。(2)提出了基于本体的浅层语义模型。基于所建领域本体,提出了基于本体的浅层语义模型,对比传统的基于关键词检索,它的主要优点在于:根据父子概念的继承关系、同义词词典的查询扩展,能够提高信息检索系统的召回率:根据主宾约束,能够提高信息检索系统的精确率。(3)给出了基于该模型进行信息检索的应用实例。根据基于本体的浅层语义模型开发了信息检索系统,并将其应用于移动通信投诉服务领域,对几条有代表性的查询语句进行检索。将得到的检索结果与传统的基于关键词的信息检索系统进行比较,试验结果表明,基于本体的浅层语义模型具有较强的检索能力。(4)该系统还实现了个性化处理。加入了人机互动的复选框,可使用户根据个人喜好对检索结果作进一步的处理,最终获得更加清晰的符合客户需求的检索结果。