论文部分内容阅读
随着我国智能手机的普及,移动互联网使用人数的增加,促使了移动互联网的飞速发展,网络中存储的各种数据呈指数级增长。如何利用信息检索技术快捷有效地从这些海量的数据中获取有用的信息,是工业界和学术界都极其关注的问题。传统的信息检索技术大多基于“词袋”模型,假设词项之间是相互独立的,而忽略了词项之间的依赖关系。本文利用统计方法捕获词项之间的依赖关系,构建更有效的中文信息检索模型。主要的工作包括以下几个方面:第一,从统计的角度,本文提出了全独立、顺序依赖以及全依赖三种词项之间的依赖关系,基于这三种依赖关系分别构建了检索的文本特征,设计了排序函数。考虑到文本长度以及中文语句的特殊性,在构建文本特征时,将词项之间的距离纳入统计范围。我们在NTCIR-5中文信息检索测试集上进行了实验。实验分为两部分,第一部分实验分别基于三种依赖关系构造文本特征,在基于顺序依赖和全依赖关系构造文本特征时,只组合两个词项。第二部分实验在基于顺序依赖和全依赖关系构造文本特征时,查询文本范围内组合多个词项构建文本特征,并与第一部分的实验数据做了比较。在平均准确率(MAP)和P@10两种评测指标上做了比较,基于顺序依赖关系和全依赖关系构建的文本特征所得到的检索结果都优于基于全独立关系的文本特征的检索结果,而且在构建文本特征时,多于两个词项组合的文本特征的检索结果要优于只组合两个词项的文本特征的检索结果。第二,实现了一个基于词项依赖信息的中文全文信息检索系统。该系统主要包含三个模块:文档解析模块、索引模块、以及用户交互模块。文档解析模块将新闻语料解析成多个域,便于后面索引的创建以及检索结果的展示。索引模块实现了文本的预处理,索引创建以及索引维护。用户交互模块实现了用户查询输入的文本处理,整合了基于词项依赖关系的排序方法,实现了结果展示。