论文部分内容阅读
随着互联网络的快速发展,搜索引擎成为人们获取日常所需信息的重要工具。目前主流的信息检索系统以传统的关键词匹配技术作为核心,该技术在一定程度上满足了用户的信息需求。但是用户查询通常都很简短,不具备严格语法而且富于歧义,这些给当前的信息检索技术带来了极大挑战。因此,如何通过从互联网络数据中挖掘知识来改善Web信息检索的性能以及构建Web信息检索相关服务,更好地为互联网络用户提供服务成为当前的一个研究热点。本文以提高Web信息检索的性能和构建Web信息检索相关服务为背景,基于用户查询日志和Web两类大规模互联网络数据开展了知识挖掘研究,其中包括基于用户查询日志的查询分类、基于用户日志的命名实体挖掘和基于Web的实体关系挖掘：1.基于用户查询日志的查询分类我们首先开展了基于用户查询日志的查询分类的研究。该研究针对用户查询特征少和多话题的特性,提出了一个基于修正关联话题模型的分类框架,该框架通过中间分类体系和概率模型来获取用户查询和目标分类体系之间的关系,此外该框架中还通过语义扩展的方法来丰富用户查询和目标类别的语义信息。在KDDCUP 2005评测数据集上的实验表明,我们提出的基于修正关联话题模型的概率分类框架显著地优于其它参评方法,具有更加优越的查询分类性能。2.基于用户查询日志的命名实体挖掘我们进一步研究了针对大规模用户查询日志中丰富的命名实体的挖掘技术。用户查询通常都很简短(往往只有2-3个词),并且不具备严格的语法,语义很模糊,因此文本领域中的命名实体挖掘技术不能直接有效地应用到查询上。这给基于用户查询的命名实体挖掘的研究工作提出了新的挑战。我们分别尝试采用弱监督的学习方法和监督的学习方法来从查询日志中进行命名实体挖掘,这两个方法分别从不同的角度来形式化查询日志中命名实体挖掘所面临的问题。在大规模实际用户查询日志数据集上的实验表明,我们提出的基于修正关联话题模型的命名实体挖掘框架和基于转移学习的命名实体挖掘框架都显著地优于其它参评方法,具有更加优越的命名实体挖掘性能。3.基于Web的实体关系挖掘区别于传统文本领域中的实体关系抽取,我们这里的实体关系挖掘所关注的是TREC 2009提出一个关联实体查找评测任务。关联实体查找任务的目标是根据用户提交的查询在Web数据集中找到与查询相关联的目标实体返回给用户。该任务是为了解决用户通常的实体查找需求而提出的,但并没有像传统的Ad Hoc文本检索任务那样有很好的形式化建模。该任务的关键是如何构建能高效处理大规模语料的检索框架,以及如何构建实体间的关系模型。我们提出了一个基于概率模型的实体查找框架,该框架通过概率的方法建模实体间的关系来进行实体排序。在TREC 2009关联实体查找任务数据集上的评测结果显示,基于概率模型的实体查找框架具有非常优越的性能。面向Web信息检索的知识挖掘的研究近年来才刚刚兴起,本文的研究工作对推动这个研究方向的发展起到了重要的作用。同时基于知识挖掘来改善信息检索的性能和构建信息检索相关服务还需进一步研究。