论文部分内容阅读
共指是自然语言中一种非常普遍的语言现象,共指消解是文本理解不可缺少的内容,它几乎是任何一个自然语言处理的应用领域都需要解决的问题,如信息抽取、机器翻译、文本摘要、问答系统和对话解释系统等等。虽然共指消解对于自然语言处理具有重要作用,但共指消解的实现却是个非常困难的问题。事实上,共指消解已经被广泛认为是最具挑战性的人工智能问题之一。
近年来,研究者们已经尝试使用多种不同的机器学习方法实现共指消解。但现有方法中的特征表示大多采用“属性-值”的表示形式,而共指消解的数据集是典型的关系数据,实体提及或实体之间存在的联系与结构无法用“属性-值”这样的传统特征表示方法加以准确的描述;另外,现有的共指消解方法大多使用成对(Pair-wise)分类器分别对每一对实体进行共指决策,但实际上共指消解中,实体提及或实体之间的关系是不满足传统机器学习中普遍要求的独立同分布假设的。
基于共指消解的研究现状,本文的主要工作有:
(1)深入分析了实现共指消解所面临的问题及当前的研究趋势,总结了规则方法和各种机器学习方法在解决共指消解问题时存在的优势与不足。提出用马尔可夫逻辑网络对共指消解问题进行建模。马尔可夫逻辑网络模型是规则方法与概率方法的结合,规则方法可以突破“属性-值”表示形式的限制,可以表示实体提及间的更复杂的关系;同时马尔可夫逻辑网络的全局推导能力,可以解决Pair-wise分类器只能对每一对实体提及进行共指判定的局限性。
(2)共指消解中有代词消解和普通名词消解两种类型,论文提出了一种基于马尔可夫逻辑网络的共指消解算法。通过使用马尔可夫逻辑网络既可以在统一消解框架下同时处理代词消解与名词短语消解,又能较好地区分这两类消解的差异性。
(3)将归纳逻辑编程和马尔可夫逻辑网络这两种算法和模型进行了有效地组合:在对每个实体提及抽取出特定信息的基础上,首先应用ILP算法从大量的标注语料中学习关于实体提及之间共指的规则,形成一个共指知识库;然后基于这些学习生成的规则集构造一个相应的马尔可夫网络,从而可以从全局视图计算推导各对实体提及之间的共指概率。再利用关联聚类技术,将两两共指概率转化为实体集合。最终,论文实验结果证明了模型的有效性。