基于图卷积神经网络与BERT的知识图谱补全技术研究

被引量 : 0次 | 上传用户:majunchigg
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的发展,出现了很多具有复杂关系的数据,传统的数据库很难处理复杂关系运算,知识图谱是事实的结构化表示,存储了大量的实体及其实体之间的关系。知识图谱已经被广泛应用于对话系统,问答,推荐系统等任务与应用,然而现有的知识图谱存在着不完整以及稀疏性问题,知识图谱缺失数据会严重影响上层应用的效果,因此对缺失三元组的知识图谱进行补全是非常有意义的。知识图谱补全大致分为两种方法,一种是封闭世界知识图谱补全,通过知识图谱中的已有数据,发现实体之间新的关系。另一种是开放世界知识图谱补全,通过新的数据来获得新的事实,将新的事实加入知识图谱中以进行知识图谱补全。因此本文针对这两种不同的知识图谱补全技术进行了研究。1.现有的封闭世界知识图谱补全,使用知识表示学习方法将实体和关系嵌入到低维向量空间,获得实体和关系的向量表示,再进行知识图谱补全。然而传统方法存在忽略了图结构的信息、没有充分捕获实体嵌入和关系嵌入之间的交互作用、关系嵌入没有参与进图神经网络的训练等问题。针对以上问题,提出了一种基于RWGCN与CNN的知识图谱补全方法。该方法首先利用关系特定的加权图卷积网络(RWGCN)获得实体嵌入;然后将实体嵌入与关系嵌入通过一个权重矩阵进行融合,随后使用3D循环卷积进行特征提取;最后特征向量通过内积与所有候选实体向量嵌入匹配。在FB15k-237和WN18RR数据集上进行了大量实验,实验结果表明,本文的模型比已有的方法取得了更好的效果。2.传统的开放世界知识图谱补全方法,实体的基于文本的嵌入没有学习实体文本描述的上下文信息,并且不能充分表示实体。针对以上问题,提出了一种基于BERT与注意力机制的开放世界知识图谱补全方法。通过预训练BERT模型对实体名称与文本描述组成的单词序列进行编码,并使用注意力机制进行聚合得到基于文本的嵌入表示。然后使用MLP结构作为映射函数,将基于文本的表示映射到基于图形的嵌入空间,从而使用封闭世界知识图谱补全模型进行补全。通过实验表明,与现有开放世界知识图谱补全模型相比,本文的模型均取得了良好的实验结果。
其他文献
学位
学位
知识图谱用来描述现实中实体和实体间的关系,形成了一个内容丰富的语义网络图,其中节点代表实体,边代表关系,结构化地表示(头实体,关系,尾实体)形成的事实三元组。受现阶段信息抽取技术发展水平的限制等诸多原因,知识图谱仍处于一个不完备的状态。为了充分挖掘知识图谱潜在知识,对知识图谱进行补充和完善,需要研究相关的知识补全工作,知识图谱补全旨在发现充分表达实体和关系语义关联的模型,从而依照三元组中的已知实体
学位
学位
学位
学位
学位
知识图谱是基于人类知识构建的结构化知识库,随着互联网以及人工智能技术的发展及迫切需求,目前已经有大量的知识图谱诞生,这些知识图谱被广泛应用于智能知识问答、智能推荐等人工智能领域。各种知识图谱数量的快速增长促进了知识图谱融合技术的研究,知识图谱的表示学习及实体对齐方法作为这一任务的关键技术,成为近几年的研究热点之一。受限于标注数据的数量,现有方法更多的是考虑使用辅助信息去提升实体的向量表示能力,例如
学位
在稳中求进的总基调下,为深入了解转型期资源型区域经济金融发展状态,本文对山西省吕梁市2021年经济金融发展情况进行了深入的调查研究,全市经济金融运行保持了总体平稳的发展态势,但也存在诸如发展动力不足,信贷投放瓶颈等问题,对此提出针对性的建议,以期为资源型区域经济发展提供新思路。
期刊
学位