论文部分内容阅读
随着科技的进步,互联网已逐渐演变为一个巨大的分布式资源库,要想从中精准快速地获取目标信息是非常困难的,近年来为提高网络资源查询的效率,研究者们构建了一些结构化知识库,例如Wikipedia、YAGO、Freebase等。但由于互联网资源的爆发式增长特性,从半结构化的百科类页面抽取的知识已难以满足人们在深层知识查询方面的需求,因此开放域知识抽取技术成为了知识工程相关的众多领域中一项重点关注的研究课题,该技术目前还面临着结果准确率较低、查询命中率不高等问题,因此设计一个高效、完备的知识抽取方法是非常必要的。本文提出一个多层图式结构的语义依存网络,通过对互联网非结构化文本的统一建模,利用分布式并行计算框架从中快速准确地抽取知识构建知识库。语义依存网络能够捕获原始文本完整而全面的语义信息,它首先基于特定数据结构“多阶语义树”对原始文本进行多阶语义解析,标注文本各个成分的词法和句法信息,其次通过名词短语分块技术实现各成分内部的语义单元抽取,最终基于原文语序和句法结构进行实体关联,通过建立文本语义单元之间的相似性关系和类属关系进行层次划分,得到语义依存网络。因此该网络不仅能够表达文本的顺序关系和句法结构,而且能够展现文本的概念抽象层次。此外,语义依存网络能够基于外部先验知识进行横向和纵向语义扩展,本文使用WordNet和Wikipedia作为标准外部知识源支撑语义扩展的过程,经过基于语义流畅度检测的扩展验证,向网络中添加原始文本蕴含的潜在信息,因此语义依存网络具备较强的知识推理能力。本文基于语义依存网络设计了一个分布式知识抽取与知识融合的处理框架。通过对语义依存网络中语义子图的划分和遍历,能够便捷地抽取到网络中以结构化形式蕴含的显性和隐性知识。通过设计基于词汇相似度检测的共指消解算法和基于语境相似度检测的实体消歧算法,完成知识三元组内部实体的实体链接和等价性判断,从而进行知识冗余和知识不一致性的处理,完成知识融合。最终通过马尔科夫聚类算法按照关系类型对知识三元组聚类,并使用中心知识对簇内三元组进行置信度计算,经过筛选生成一个大规模高质量的知识库。最后本文根据上述技术方案设计并实现了一个分布式知识抽取系统,完成了基于语义依存网络的快速知识组织、推理、抽取与融合。经过在NYT、Wiki和Reverb数据集上的系统性能测试以及与其他先进知识抽取系统的比较,证明本文方法能够提升约15%的准确率,抽取结果数量平均增长约1.0倍。