论文部分内容阅读
随着网络的飞速发展,语义网作为Web 3.0的契机被广泛流传。语义网通过对万维网增添“元数据”,对互联网上的数据进行语义化和知识化,使得计算机可以理解各种各样的数据信息。越来越多的自然语言处理领域和计算机领域的专家研究分析语义和语义数据,以此来进行智能网络的构建。近些年出现了许多大型知识库,如Wikipedia,Freebas,YAGO,微软的Satori和谷歌的Knowledge Graph。然而这些还不能满足智能系统和语义网建设对网络中快速增加的实时数据的需求。为了从语义网中获取更全面准确的知识,设计一个高效的网页语义数据抽取方法和知识融合方法是必要的。通过对网页的深度分析发现,网页中存在着两种不同形式的数据:半结构化的结构信息和非结构化的文本信息。现有的语义数据的抽取方法分别针对其中一部分进行处理。借助自然语言处理技术和机器学习的思想,在各个标准数据集上取得了较好地效果。但仍有一些问题存在,尤其是在开放域的网页的复杂结构和复杂句上,出现了语义数据抽取的召回率和准确率偏低和生成知识库可用性低的缺点。本文针对抽取性能差的问题提出了一个新的网页语义数据抽取模式。它首先对网页数据进行获取和预处理,得到去噪的结构信息和正文信息。然后,一方面对网页结构信息与领域本体进行映射分析,得到初始的网页核本体,再通过对网页结构和语义的分析,对核本体进行学习扩展,得到结构信息中蕴含的语义数据。另一方面,设计了一个多阶语义关系抽取方法,借助数理逻辑上的多阶概念构建了自然语句中语义依存结构:多阶语义树来抽取非结构化文本中的语义数据。该方法通过分割和重组的方法自动的将自然语句构造成一个严格二叉多层语义依存结构,也就是多阶语义树。由此将自然语句中的语义数据转化为三元组形式,并且设计了由语义数据到实体关系的语义精化流程,得到统一、规范的实体关系。此外,为提高这些语义数据生成的知识库的可用性,本文设计了基于排序的实体链接和基于概念层次的知识扩展。通过歧义页面的特征词相似度计算,完成实体的消岐链接。借助概念依存网络的知识概念层次结构和外部知识库对知识进行泛化扩展。基于此对抽取的知识进行基于统计的融合,得到知识库。最后基于上述方法设计了一个知识抽取系统,实现了对网页语义数据的抽取、知识的链接,扩展和融合。并通过对维基百科页面的抽取实验验证了系统的功能。此外,在两标准数据集上对多阶语义抽取进行实验,在SENT500和KBP两个数据集上的实验结果的F1值分别达到83.8%和35.5%,超过了现有的方法。