基于循环神经网络的知识表示方法研究

来源 :武汉大学 | 被引量 : 0次 | 上传用户:tongjingjj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年,人工智能迅速发展,逐渐成为目前的热门领域。知识图谱在人工智能领域扮演着重要角色,然而由于现实世界的信息过于繁杂,知识图谱仍旧存在大量缺失项。智能补全知识图谱由于其高效性,逐渐成为研究重点。知识表示学习通过在低维向量空间中表示知识图谱中的实体与关系,利用向量之间的语义关系有效地预测三元组的缺失部分,从而成为知识图谱补全的主流方法。一些简单模型通过基本的向量运算建模知识图谱,虽然结构简单,但是语义表达能力有限。Conv E等模型引入神经网络建模知识图谱,语义表示能力强,但是难以建模三元组的顺序信息。对知识表示任务来说,顺序信息至关重要。为了更有效地进行知识表示,本文引入循环神经网络对知识图谱建模,因为该网络能够以序列的形式建模三元组,并抓取其中的顺序信息。本文提出两类模型:循环神经网络编码的知识表示模型Rec E和循环神经网络预训练的知识表示模型Re_Dist Mult、Re_Compl Ex。具体介绍如下:第一类模型采用循环神经网络建模三元组,并捕获三元组的顺序信息和语义关联。具体来说,模型首先将头实体与关系拼接成序列形式,投入到循环神经网络之中,然后将输出向量与尾实体向量做内积运算,得到三元组的得分。考虑到不同的循环网络结构在各种知识图谱上有不同的表现,为了使模型更加健壮,本文选取SRN、LSTM和GRU三种循环神经网络分别建模知识图谱,对应的模型名称分别为Rec E(SRN)、Rec E(LSTM)和Rec E(GRU)。第二类模型用循环神经网络预训练三元组,并捕获三元组的交互信息,然后将三元组投入到基准模型继续训练,以提升基准模型的性能。为了充分验证循环神经网络的预训练能力,本文选取两个基准模型Dist Mult和Compl Ex进行预训练。前者将实体与关系表示成为实数向量,后者将知识图谱投影到复数空间中。类似地,本文选取SRN、LSTM与GRU进行预训练,对应的模型名称分别为Re_Dist Mult(SRN)、Re_Dist Mult(LSTM)、Re_Dist Mult(GRU)、Re_Compl Ex(SRN)、Re_Compl Ex(LSTM)和Re_Compl Ex(GRU)。最后,在不同数据集上的链路预测实验结果表明,本文提出的两类模型性能优异,超越了基准模型和其他对比模型。这说明循环神经网络在编码三元组时,能够有效捕获知识图谱的结构信息。在预训练时,也能捕获内部交互信息,并将其用于提升基准模型的性能。
其他文献
随着经济全球化的不断深入,区域之间经济发展关系亦复杂多样,传统区域经济理论需要注入新的元素以适应不断演化的经济发展关系。既有的区域经济理论,基于单一经济主体发挥辐射作用带动周边区域(城市)发展的研究范式,忽略地缘比较优势,无法形成多元经济主体交互影响的经济发展格局。对于国内而言,同样存在区域间发展关系的复杂性问题,伴随着我国改革开放的步伐,区域间经济发展关系不断加深,但我国中西部经济发展失衡的问题
学位
阿盟国家不仅是中国外贸市场多元化战略的主要市场,也是“一带一路”建设的重要区域之一。在横跨欧亚非3大洲的65个“一带一路”沿线国家中,阿盟国家占沿线国家总数的1/5。近年来,中国与阿盟国家的双边贸易快速增长,2018年中阿贸易总额为2443亿美元,比2000年增长了15倍,占中国外贸比重达到5.2%。阿盟国家积极参与“一带一路”建设,中阿双方已在基础设施、交通物流、境外产业园区、跨境电子商务和金融
学位
伴随着“数字地球”概念的提出,卫星影像应用在了越来越多的领域之中,并且发挥着十分重要的作用。卫星影像在获取、传输和利用过程中,由于各种不确定的因素,极其容易受到外界的干扰,从而导致引入噪声,降低图像质量,进而影响后续任务的进一步处理和实际应用效果。因此,需要对受到噪声污染的图像进行去噪。图像去噪历来都是被重视的领域。随着深度学习的兴起,基于深度学习的卷积神经网络图像去噪在近些年取得了丰富的成果,但
学位
随着人工智能领域的飞速发展,图像描述任务作为实现人机交互的关键技术成为了一项重要的研究课题。该任务不仅需要对图像中的内容进行准确的识别,同时需要理解图像中各个物体之间存在的关系,是一项十分具有挑战性的任务。目前基于深度学习的编码器-解码器图像描述算法框架使得算法性能大大提升。然而,依然存在着以下不足:(1)在使用长短时记忆网络进行解码生成图像描述本文的过程中,图像特征会被压缩到一维空间中,破坏了原
学位
行人重识别是一种从不重叠视角的多摄像头监控图像或视频中匹配目标行人的方法,是当前计算机视觉中最活跃的研究领域之一。由于实际监控场景的复杂性,拍摄到的行人图像会出现视角变化、背景物干扰和空间不对齐等问题,给行人重识别的研究带来了很大的挑战。为了解决上述提到的这些问题,本文使用一种成熟的单人姿态估计方法——解析引导学习器训练好一个姿态估计模型,获取了行人图像的16个关节点的坐标信息。依据这些关节点划定
学位
随着卫星遥感技术迅猛发展,空间对地观测技术已成为国家综合实力的重要体现。视频卫星的出现将对地观测数据时间分辨率提升至秒级,更适于监测目标区域的动态变化,应用需求也从传统定期静态普查转向对重点区域运动目标实时监测方向发展。卫星视频具有幅宽大、环境复杂,运动目标较小、特征匮乏、与背景区分度低等特点,与传统监控视频提取运动目标相比具有新的挑战。复杂背景引起的伪运动对小尺寸运动目标的检测带来干扰,同时复杂
学位
随着卫星遥感影像技术的快速发展以及互联网的普及,高分辨率遥感图像变得越来越容易获取,同时促使遥感图像的数量在近年来得到爆炸式增长。面对大规模的遥感图像数据,如何快速检索所需的遥感图像,是当前数字地球系统建设过程中亟须解决的问题。在数据检索任务中,使用深度神经网络提取的深度特征比使用传统方法提取的手工特征有着更好的检索效果。然而,计算高维连续深度特征之间的相似性距离需要花费大量时间。为了又快又准的进
学位
随着我国“十三五”与“一带一路”的不断推进、产业结构的不断优化,服务业已成为主要推动力。旅游业对我国经济的贡献率越来越高,而我国旅游服务贸易结构以及区域发展均表现出一定程度的不平衡。本文界定中国西部边境民族地区为:新疆、云南、广西、内蒙古与西藏。上述地区具有独特的边境地理优势与显著的民族特色,旅游资源丰富,但旅游服务出口规模与东部地区存在较大差距。测度西部边境民族地区的旅游服务出口竞争力以及分析导
学位
移动短视频在新媒体环境下发挥着一定社会引导和文化传承功能。本文试图探讨非物质文化遗产的移动短视频传播策略问题,主要通过案例分析总结出非物质文化遗产在移动短视频中传播策略和成功的经验,以期对非物质文化遗产保护、传承与创新发展进行有益的探索。根据艾媒报告,截止2019年12月我国移动短视频用户达到6.27亿,仍继续保持快速增长的势头,2020年预计移动短视频用户达到7.22亿。移动短视频已成为近年来移
学位
在身份防伪对抗环境下,个人可以通过面具、变更指纹等虚假属性轻松冒充他人,并且不需要先进的技术,进而隐藏自己真实身份,给物理空间身份辨识带来巨大挑战。此外,大量的虚假属性给身份的检索与管理带来严重威胁,身份识别安全性令人担忧,也进一步限制了系统的推广使用。因此,解决虚假属性是身份识别发展中的迫切问题。针对身份识别过程中出现的虚假属性,本文总结了国内外现有虚假属性检测方法,充分探究自然和人工行为形成的
学位