基于词项依赖信息的中文信息检索方法研究

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:lizhou555
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着我国智能手机的普及,移动互联网使用人数的增加,促使了移动互联网的飞速发展,网络中存储的各种数据呈指数级增长。如何利用信息检索技术快捷有效地从这些海量的数据中获取有用的信息,是工业界和学术界都极其关注的问题。传统的信息检索技术大多基于“词袋”模型,假设词项之间是相互独立的,而忽略了词项之间的依赖关系。本文利用统计方法捕获词项之间的依赖关系,构建更有效的中文信息检索模型。主要的工作包括以下几个方面:第一,从统计的角度,本文提出了全独立、顺序依赖以及全依赖三种词项之间的依赖关系,基于这三种依赖关系分别构建了检索的文本特征,设计了排序函数。考虑到文本长度以及中文语句的特殊性,在构建文本特征时,将词项之间的距离纳入统计范围。我们在NTCIR-5中文信息检索测试集上进行了实验。实验分为两部分,第一部分实验分别基于三种依赖关系构造文本特征,在基于顺序依赖和全依赖关系构造文本特征时,只组合两个词项。第二部分实验在基于顺序依赖和全依赖关系构造文本特征时,查询文本范围内组合多个词项构建文本特征,并与第一部分的实验数据做了比较。在平均准确率(MAP)和P@10两种评测指标上做了比较,基于顺序依赖关系和全依赖关系构建的文本特征所得到的检索结果都优于基于全独立关系的文本特征的检索结果,而且在构建文本特征时,多于两个词项组合的文本特征的检索结果要优于只组合两个词项的文本特征的检索结果。第二,实现了一个基于词项依赖信息的中文全文信息检索系统。该系统主要包含三个模块:文档解析模块、索引模块、以及用户交互模块。文档解析模块将新闻语料解析成多个域,便于后面索引的创建以及检索结果的展示。索引模块实现了文本的预处理,索引创建以及索引维护。用户交互模块实现了用户查询输入的文本处理,整合了基于词项依赖关系的排序方法,实现了结果展示。
其他文献
辨识和分析基因的表达模式对于理解生物体的内在活动机制、针对性的疾病诊断和药物设计具有重要的作用。尽管当前存在多种基因跨组织表达数据如微阵列、EST等,但是如何通过这
使用计算机辅助设计系统设计一件优雅的三维衣服是很耗时的,而且在一般情况下,衣服是基于某个参照人体模型设计的,所以需要一个试穿系统来将已设计好的衣服自动过渡到其他的人体
近年来,随着数据管理技术的飞速发展,人们对数据的认知也在逐渐发生变化,研究者们突破对传统数据的理想化定义,认识到不确定性是数据的固有属性。随着计算机技术的不断发展,一种结