论文部分内容阅读
文本蕴涵是计算语言学领域最具挑战性的课题之一,也是众多自然语言处理应用的一个重要部分。文本蕴涵作为一种文本推理的通用框架,为整合各种文本的语义表示方法、知识获取方法和推理方法提供了平台,具有广泛的应用前景。本文研究了文本蕴涵的两种识别策略:分类策略和转换策略。分类策略就是该策略将文本蕴涵形式化为一个两类(或三类)的分类问题,而转换策略则是通过考察文本之间能否通过若干转换而变成一致的形式,来判断它们是否具有蕴涵关系。本文的工作针对以上两种策略而进行。根据目前分类策略存在的训练数据不足的问题,我们提出了利用半监督学习方法识别蕴涵关系;根据目前转换策略存在的蕴涵规则无法表示复杂的语义关系的问题,我们提出了基于事件模型的文本蕴涵识别方法。最后,我们在问答系统的各模块中分别应用以上两种识别方法,以改善问答系统的性能。本文的主要研究内容和成果概括如下:第一,由于蕴涵和非蕴涵两个类都比较庞杂,实例间的相似性难以保证,因此分类器性能并不理想,其根本原因是训练数据不足。为了在训练数据不足的情况下,保证较好的学习效果,我们采用Co-training的方法进行半监督学习。为此,我们采用了两种视角,一种是改写者视角,即站在试图创建假设的改写者角度观察数据,这种视角将蕴涵理解为文本片断的改写,并且这种改写可以是词汇、句法或者语义层面的;另一种是评估者视角,即站在评估者如何去评价一个文本-假设对是否存在蕴涵关系的角度观察数据,这种视角将蕴涵理解为词汇重叠或字串相似。通过与有监督的分类器进行比较可以发现,在已标注训练数据为原数据的30%至70%时,基于Co-training的半监督分类器的性能比有监督的分类器的性能有较大的提高。第二,我们利用了事件模型的概念建立了一种文本的深层表示方法。事件模型本质上是一个图,图中的结点为事件,边为事件之间的关系,这种关系可以是蕴涵或非蕴涵的关系,也可以是语篇逻辑关系。基于事件模型的文本表示方法能够表示深层语义,并具有跨语篇、能够进行蕴涵推理的能力,以及鲁棒性的特点。第三,我们提出了一种基于事件模型的文本蕴涵识别方法。该方法通过两方面考察文本与假设之间的蕴涵关系:一是文本中事件之间的蕴涵关系,包括等价的蕴涵关系和非等价的蕴涵关系;二是文本内事件之间的逻辑关系,如因果关系、时序关系等。文本与假设存在蕴涵关系,当且仅当假设中的全部事件蕴含于文本中的相应事件,并且假设中的事件之间的逻辑关系与文本中相应事件之间的逻辑关系一致。为此,我们分别提出了扩充事件模型的算法,这些算法一方面扩充事件,另一方面扩充蕴涵关系和逻辑关系。最后,我们给出了蕴涵程度的评估方法。第四,我们将两个系统应用于问答系统的问题理解、检索和答案抽取模块中,其中,基于半监督分类的文本蕴涵识别方法作为粗粒度的识别方法应用于文档和段落检索,而基于事件模型的文本蕴涵识别方法作为细粒度的方法应用于问题理解和答案抽取模块。实验表明,在加入蕴涵识别方法后,问答系统的精度有了较大提高。