论文部分内容阅读
随着Web2.0时代的到来,充满交互性的社区问答,作为一种以用户为中心的新型问答方式,由于其答案的通常都是经过了人工筛选,具有较高的质量,因而相比传统问答系统的准确性更高,但是由于其答案的获取并不是实时的,不能为用户提供最好的用户体验,也是导致社区问答不能继续发展的主要弊病。所以越来越多的研究者将重点放在如何检索已有的问题,找出与用户提问类似的问题并返回给用户,以达到实时的目的,即社区问答检索(Question Retrieval),社区问答检索系统即是依此为依托的。目前的社区问答检索系统已有不少,但是已有的系统主要有两方面的问题:1)由于依靠词典的同义词扩展方式造成的扩展前后语义不符的问题;2)由于自然语言描述句子的复杂结构和冗长句式导致问句重要词项发现困难的问题。因此本文主要根据以上弊病,设计并实现了社区问答检索系统,使用融合word2vec扩展的词项扩展方法并度量其相似度的方式改善同义词扩展语义不符的问题,同时使用依存关系重要度发现问句中重要词项,为其设置较高的权重,从而提升社区问答检索系统的效果。因此本文的主要研究内容如下:首先设计并实现了社区问答检索系统系统,对检索系统的架构、功能模块、系统详细流程等进行设计,并介绍了各个功能模块的算法流程和实现过程,在检索系统的最核心的检索模型部分,根据目前检索系统存在的问题,为检索系统融入了新的检索模型以解决目前存在的问题。其次提出了融合word2vec的扩展方法,根据现有的词项扩展方法认为扩展词与原始词相同而可能造成语义不符的问题,提出本文采用的融合word2vec的词项扩展方法,在传统扩展方法的基础上使用word2vec引入语义扩展并获得其相似度,然后将两种方式得到的扩展词及其相似度融合后得到新的词项扩展集及其相似度集,用于计算扩展词项的词项权重,以提高检索系统的有效性。然后根据当前的社区问答检索系统中的问句检索模型由于问句结构复杂和句式冗长而无法发现其中重要词项的缺点,提出了基于依存关系重要度的问句检索方法,创新性的为不同的依存关系设置了重要度度量以表示问句中词项之间的关联紧密度,进而将重要度度量应用到词项的权重设置中,得到词项权重以发现问句中的重要词项,然后根据融合word2vec扩展的词项及相似度得到扩展词项权重,最后使用检索模型检索并与未扩展的结果组合再降序排列,得到最终检索的检索结果,以提高检索系统的效果。最后设计实验验证本文提出的方法的有效性,然后给出系统的界面运行图以证明系统的可用性。