论文部分内容阅读
文本知识获取是知识工程乃至人工智能的关键技术和热门研究课题。文本知识获取的主要目的,就是从非结构化或者半结构化的自然语言文本中,挖掘出结构化的数据,使得机器易于理解,人们也可以更迅速、更精确的获取想要的信息。部分整体关系是一类基础而重要的语义关系,研究部分整体关系的自动获取,不仅有助于解决一系列自然语言处理问题,在人造物的设计、生化试剂的配置等实际问题中也有重要应用。 随着信息技术的发展,尤其是近年来互联网的迅猛发展,电子文档越来越多,其中蕴含的知识越来越丰富。Web成为知识获取的重要数据源。然而,互联网的浩瀚,也为文本知识自动获取提出了新的挑战。因此,有必要研究从大规模网络文本中自动获取部分整体关系的方法。 现有的研究工作存在需要训练语料、依赖较多资源和工具、不注重后期验证等不足。针对这些问题,本文开展了部分整体关系的获取和验证等问题的研究,主要贡献如下: 1.提出了一种从Web中获取给定概念的部分整体关系的方法 本文研究了在给定一个整体概念的情况下,从Web中获取它的部分概念。我们使用框架的方式描述部分整体关系,使用项、连接符和谓词作为模式中的组成元素。在模式选择上,本文挑选了那些含有部分概念丰富、准确率较高且易于获取其中部分词的并列结构模式。我们用查询模式从Google中下载对应的锚文本,进行预处理后作为语料库,再用模式进行匹配。在模式匹配后,首先利用文法对不含部分知识的句子进行过滤,然后对部分概念区进行外层剥离处理,即抽取到部分整体关系。 2.提出了一种基于并列结构的部分整体关系验证模型 在初步抽取到的候选部分整体关系基础上,本文提出了一种基于并列结构的关系验证方法。以概念为点、在句子中的并列关系为边,本文将同一整体的候选部分概念构成图,用层次聚类算法对该图进行自动聚类,使正确的部分概念聚集在一起。在层次聚类基础上,本文挖掘并列结构的特性、图的特点和汉语的语言特点,采用惩罚逗号边、去除低频边、奖励环路、加重相同后缀和前缀等5种方法调整图中边的权重,在不损失层次聚类的高准确率条件下,大幅提高了召回率。最终实验显示,大多数概念的关系获取准确率都在80%以上,F值也超过70%。 3.提出了一种基于种子概念的部分整体关系获取方法 利用少量的部分整体关系概念对(称为“种子概念”),本文提出了一种从百度百科中获取部分整体关系的方法。首先本文从百科中获取与给定的种子概念同属一个领域的其他概念,构成领域词表;然后将那些同时包含部分概念领域词表和整体概念领域词表中的概念的句子抽象成句法模式,本文将相似的模式聚类并按类中所有模式覆盖的句子数为依据进行排序,选择top-k的类中的模式作为模式学习的结果;最后利用学习到的模式,从百度百科语料中匹配出符合模式的句子,利用前面建立的领域词表,从句子中识别出部分概念和整体概念,形成部分整体关系实例对。本文在成分-物体关系上的进行了实验,本文的获取结果准确率为83.1%。 4.提出了一种基于种子模式的部分整体关系获取方法 利用少量人工筛选的部分整体关系的句法模式(称为“种子模式”),本文提出了另一种从百度百科中获取部分整体关系的方法。首先本文利用已有的百科词条和百度百科中的语义信息构建一个大的实体名称库;利用实体名称库将百度百科中的句子抽象成模式;在给定一些部分整体关系模式的基础上,通过一种迭代式算法不断扩充模式库,本文使用一种基于编辑距离的算法度量模式之间的相似度,并将相似的模式进一步融合泛化成表达能力更强的模式;最后利用学习到的模式,从百度百科中抽取部分整体关系实例对。最终实验显示,该方法获取的结果准确率较为满意。