论文部分内容阅读
问答式信息检索(简称问答检索)是信息检索领域的一个重要研究方向。定义问答检索是问答检索的一个重要分支,其根据指定的目标概念,从开放领域(或指定)的文本中检索得到该概念的释义文本。由于概念的种类及其属性繁多且描述概念的方式较多,造成对其进行描述的释义文本形式差别巨大,从而使得当前定义问答检索方法对释义文本的识别具有一定困难。当前方法以孤立语法标识为特征的对释义文本进行形式化不利于释义文本中释义语义的表示和计算,因为其形式化过程没有涉及到语义内容。不同种类概念及描述方式之间的差异造成释义文本的语言形式差别大,以所有定义样例为基础的学习及模式匹配的识别率低。传统的基于统计分析方法的定义识别中未能有效地计算语义特征在学习语料中出现的模糊性,降低了定义的识别率。当前定义问答检索的传统评价主要基于人工方式,一些基于自动评价的算法的形式化只以词汇为基础,没有考虑答案文本的语法和语义特征,从而降低评价语义上的准确性。针对释义文本中语义内容形式化问题、候选答案的评分过程中识别率低的问题、语义计算过程中涉及模糊性的问题和定义问答检索方法自动评价中的语义问题,本文探索使用释义内容单元(ECU)形式化释义文本,并将基于案例推理的消极学习法应用于定义评分过程,然后使用云模型进行候选答案评分,最后在定义问答检索方法的自动评价过程中使用金字塔模型。归纳起来,本文的主要创新成果包括:①提出了基于案例推理的定义问答检索方法。在文本检索领域,基于案例推理的学习方法通常用来处理复杂的文本检索问题(如法律案例检索)。因此,本文首次将其用于定义问答检索。本文首先将概念的释义文本进行依存语法解析获得其句法树,然后根据释义元语言将句法树转换为释义内容单元作为释义文本的形式化表示,从而构建定义案例。该方法检索与候选答案(查询案例)相似的定义案例集合,然后使用该集合对候选答案进行评分,减少相关性较低的定义案例对评分的影响。通过BCU-ECU方法增加案例检索过程将其构造为BCU-CASE方法,实验对比BCU-CASE、BCU-ECU和DT基准方法的F值的宏平均。实验结果显示,BCU-CASE比DT提高24%,BCU-CASE比BCU-ECU提高6%。基于案例推理的定义问答检索方法有效,且优于DT,其能改善一般基于统计分析的定义问答检索方法的性能。②提出了基于云模型的定义问答评分算法。自然语言的不确定性,尤其是模糊性和随机性一直是自然语言量化过程需要解决的主要问题,云模型通常用于量化自然语言的模糊性和随机性,因此,本文首次将其用于定义问答评分。本文以定义案例的释义内容单元为基础建立云模型的定量论域,然后将查询案例的释义内容单元作为云滴计算其特征值,以特征值为基础计算查询案例的评分值。通过将BCU-CASE方法的案例识别阶段的算法替换为该评分算法从而获得CLOUD-CASE方法,实验通过对比CLOUD-CASE、BCU-CASE和DT基准方法的F值的宏平均。实验结果显示,CLOUD-CASE比DT提高27%,CLOUD-CASE比BCU-CASE提高3%。基于云模型的定义问答评分算法有效,且优于DT,云模型具有优于基于统计分析的案例识别性能。③提出了基于释义内容单元的释义文本形式化方法。本文首先利用依存句法树结构的层次性句法和释义元语言对释义文本进行分析,获得用于释义的单元结构。实验基于BCU方法使用释义内容单元对句子进行形式化从而构建BCU-ECU方法。实验结果显示,BCU-ECU与DT基准方法的F值的宏平均,前者比后者提高18%,释义内容单元形式化有效,且能够改善定义问答检索方法的性能。④提出了基于金字塔模型的定义问答检索的自动评价算法APDQE。在自动摘要的评价领域,金字塔算法已经被用来作为评价的标准之一。因此,本文首次将其用于定义问答的自动评价。为了建立金字塔模型,本文以标准答案的释义内容单元为基础建立金字塔,然后获得被测答案中每个释义内容单元的权重值,最后计算出标准答案的得分。实验通过APDQE、POURPRE和人工评价不同定义问答检索算法的输出结果,以此基础计算APDQE和POURPRE分别与人工评价结果之间的判定相关系数R2,APDQE比POURPRE提高7%,实验结果显示APDQE有效且略优于POURPRE。