基于概念的信息检索模型研究

来源 :华中师范大学 | 被引量 : 6次 | 上传用户:D159357
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的快速普及以及廉价大容量存储设备的不断出现,人类社会已经产生了海量的数字化文档信息。这些数量惊人的数字化文档可谓是人类知识的一个重要的宝库,同时也使得人们越来越依赖信息检索系统来找到所需要的信息。在传统的信息检索模型中,通常使用“词袋”模型来表征文档和查询。然而,人类的自然语言是一个异常复杂的符号系统,词语之间存在包括同义、歧义、语义相关等错综复杂的关系。简单的“词袋”模型忽视了词语之间的丰富的语义关系,远远不能够表征自然语言中所蕴含的复杂的语义信息。本文中的概念是指描述意义的一个基本单元。人类理解自然语言的过程是一个语义概念的联想和关联的过程,这种功能是由人类大脑中几百亿个神经元构成的复杂生理组织所提供的。把和文本主题相关的概念中所蕴含的语义知识融合到文档和查询表征模型将是构建基于语义的信息检索模型的一个途径,这也是本文重点要解决的问题。本文针对基于概念的文本信息检索系统的各个方面进行了系统的研究,包括文本的概念标注的构建、概念的语义表征模型、基于概念的文档和查询模型平滑方法以及基于概念间语义相关性的检索模型。主要研究工作和研究成果概括如下:一、提出了构建文本的概念标注的方法。根据所处理文本对象的不同,提出了几种不同概念标注方法。针对某些专业领域文档集合,可以直接利用其中专家标注的概念。在通常情况下,文档中没有直接可以利用的概念标注。我们提出了一种利用维基百科文档建立通用概念库,并利用基于排序学习的方法来实现文档的维基百科概念自动标注的方法。另外,中文维基百科的质量和数量均难以满足通用概念库的要求,上面提出基于维基百科概念的方法难以应用于中文文本集,因此我们还提出了一种自动概念抽取的方法为中文文本标注概念。二、提出了构建概念的语义表征模型的方法。针对不同类型的概念系统,分别提出了不同的解决方法。针对专业辞典中的概念,提出了一种基于互信息的概念表征方法。针对维基百科概念,提出了一种基于混合模型的表征方法和一种基于互信息的概念表征方法。针对中文文本中自动抽取的概念,提出一种基于概念间语义关联度的方法。三、提出了一种新的基于概念的文档模型平滑方法。通过把概念的语义信息有机的整合到基于“词袋”的文档模型,建立基于语义平滑的文档表征模型。为了验证方法的有效性,在包括专业领域文献和新闻文本的几种标准信息检索测试集上进行了测试。实验表明,相对于传统的语言模型方法,这种方法的检索效果有了显著的提高。四、提出了一种新的基于概念的查询模型平滑方法。在为查询标注相关概念的过程中,分别提出了两种不同的方法:基于伪相关反馈文档中标注的概念来建立查询的概念表征模型的方法,以及基于交互式信息检索的概念选择的方法。在包括专业领域文献和新闻文本的几种标准信息检索测试集上进行的测试表明,相对于传统的语言模型方法,这种方法的检索效果有了显著的提高,进一步验证了这种方法的有效性。五、提出了一种利用概念间语义关系的中文检索模型。利用排序学习方法有机地整合包括概念间语义相关度等各种特征项,建立更加有效的信息检索模型。在包含不同来源新闻报道的国际标准中文文本信息检索测试集NTCIR上的三个子集上进行了测试。实验结果表明,相对于传统的基于BM25模型的方法,这种方法的检索效果有了显著的提高。
其他文献
本文以会计之"当"作为论述主题,先从"会计当而已矣"出处追解会计之"当"在当时语境的含义,虽然当时的含义有其时代局限性,但是古代现代会计之"当"对会计信息质量的要求有其共
目的:分析产后大出血急救护理及护理方法。方法选取我院2011年5月~2013年9月43例产后大出血产妇患者进行分析。结果对43例患者实施了有效的抢救及精心护理,挽救了患者的生命,
如何减轻学生学习数学的负担?如何提高我们高中数学教学的实效性?本文通过对高中学生数学思维障碍的成因及突破方法的分析,以起到抛砖引玉的作用。 How to reduce the stude
新中国成立以来,党在对待知识分子问题上有一个发展演变的过程,历史表明,党关于知识分子的理论和政策的正确与否,直接关系着我国社会主义建设的进程。因此,总结新中成立以来党在知
近年来,由于杀菌剂抗药性问题日趋严重,许多杀菌剂对植物病害防治效果逐渐下降,某些原已被很好控制的植物病害也有加重发生的趋势,随着传统内吸性杀菌剂的持续应用,抗药性问
目的 M研究剖宫产产后出血的原因及临床防治方法。方法 对本院2012年1月~2013年12月326例剖宫产产后出血进行回顾和分析。结果 剖宫产产后出血明显高于阴道分娩。出血的主要
本文结合笔者多年从事高校辅导员工作实践经验,从高校辅导员视域出发,概述了思想政治教育融入高校学生管理的重要意义,重点分析探究了提升高校学生管理中思想政治教育融入实
化石能源的匮乏以及环境污染问题的日趋严重,促进了新能源技术的高速发展。风能以其资源丰富、可再生、清洁无污染等一系列优点开始得到重视,而且在所有可再生能源利用技术中
本试验所指的杂交鲶是利用东北六须鲶作母本,当地鲶(当地俗称土鲶、鲇鱼、年鱼等)作父本杂交的新一代优良养殖品种。杂交鲶既有母本生长速度快的优势(当年在精养条件下120日龄左
目的:了解吉西他滨对舌鳞癌Tca 8113细胞增殖及端粒酶活性的影响.方法:采用噻唑蓝(MTT)和碘化丙锭(PI)染色法,检测细胞增殖抑制率和细胞周期变化;采用TRAP PCR ELISA法检测细