基于深度学习的联合文本的知识表示方法研究

来源 :武汉大学 | 被引量 : 0次 | 上传用户:chijb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
知识表示旨在将知识转化成计算机能交互的数据形式。基于网络的知识表示方法被广泛使用,但它存在计算复杂度过高、无法应对知识库数据稀疏的问题。基于深度学习的表示学习技术因其优异的性能备受瞩目。知识表示学习能将实体或关系编码成低维连续的稠密向量,在知识推理、知识融合等诸多领域都有很高的应用价值。TransE是知识表示学习领域应用最广的方法。它将知识库里的关系向量看成头实体向量到尾实体向量的平移。相比其它模型,TransE的结构简单易拓展,计算效率高,在大型稀疏知识库上依然表现出良好的性能。然而,该模型在面对复杂关系时效果不佳,人们为此提出大量的拓展模型来处理这种情况。TransE及其拓展工作仅使用结构化知识,无法表示知识库以外的新实体。为解决上述问题,一些工作引入实体的描述文本来补充缺失的实体表示。然而,这些方法没有对文本信息进行过滤,也尚未提出融合两种表示的好方法。基于双向LSTM来编码文本的知识表示方法解决了以上问题,在相关的评测任务上达到了当前最好的效果。但LSTM需要按序依次生成隐变量,导致模型无法并行化训练,影响了模型的计算效率。为了解决上述问题,本文研究了深度学习的相关技术包括词嵌入、卷积神经网络、注意力机制等等,提出了基于深度学习的联合文本与结构化信息的知识表示模型JCNN,又进一步提出改进模型JCNN-Attpool和JCNN-Attweight。具体来说,JCNN使用卷积神经网络来编码实体描述信息,同时利用TransE来编码实体的结构化信息,然后使用加权门机制来融合两种信息。训练过程使用随机梯度下降法来更新模型的参数,最后得到学习好的实体和关系的向量表示。考虑到并非所有文本信息都有用,本文引入注意力机制来选择文本中与三元组的关系最相关的信息。JCNN-Attpool和JCNN-Attweight都是在JCNN的基础上引入注意力的改进工作。JCNN-Attpool用注意力池化层取代了JCNN里的最大池化层,JCNN-Attweight模型是在JCNN的卷积层后添加了注意力权重层。在FB15k和WN18数据集上的实验表明,本文的方法在预测缺失的实体、应对复杂关系以及区分正负样本等任务里表现优异,达到了与当前最好方法相竞争的水平。这表明,合理运用深度学习的技术来编码实体描述,并将文本表示与知识库表示融合,能显著提升实体表示的区分度。此外,也进一步证实:本文提出文本编码器能有效捕获文本的语义信息;本文设计的注意力机制能提取文本的关键特征;本文使用的融合方法在拟合两种信息源内在联系方面具有一定优势。
其他文献
室内可见光通信利用LED灯的高速闪烁传输信息,以自由空间作为传输信道,是一种高速环保的新型室内接入网技术,具有广阔的应用市场。由于可见光的直射性特征,决定了其不能提供
目的:探讨大麻素2型受体(CB2R)在脓毒症急性肺损伤中的作用及其与自噬的关系。方法:(1)将24只8-10周龄,体重20~25 g的SPF级雄性C57BL/6小鼠采用随机数字表法分为4组(n=6):假手术组(Sham组)、脓毒症组(CLP组)、脓毒症+大麻素2型受体激动剂HU308组(CLP+HU308组)、脓毒症+大麻素2型受体激动剂HU308+3-甲基腺苷组(CLP+HU308+3-MA组)
目的:通过培养HK-2细胞株,观察和络泄浊方对细胞miR-200a、miR-29c表达的影响,探讨和络泄浊方在治疗肾间质纤维化方面的应用。方法:1.选30只雄性SPF级3月龄大鼠用于和肾络大
企业的投资价值研究立足于企业基本财务状况,对企业所处市场背景、资源能力、财务分析、价值估算等进行综合评估,是投资者形成投资决策的重要参考因素。投资价值评估所涉及的分析测算,充分体现了理论与实际的结合,因其具有即时性与较强的可参考性,因此是投资者较为喜爱并积极选择的投资评估方式。环保类行业是与国家生产生活息息相关的市场类行业之一,与国家宏观政策,市场环境关联甚密。随着2019年国家对于垃圾分类强制执
目的:分析强直性脊柱炎(ankylosing spondylitis, AS)胸腰段后凸畸形截骨矫形术矢状面移位(sagittal translation, ST)患者的预后情况,并探讨ST患者的椎管自发重塑形现象。方
目的:研究健脾安肠丸的急性毒性。实验测定小鼠LD50,观察记录小鼠急性毒性情况,如小鼠外观、行为活动、精神状态、呼吸变化、中毒反应及死亡情况。建立大鼠肝郁脾虚模型(腹泻
《阙史》乃晚唐高彦休创作的一部志怪传奇杂事集。其内容,诚如吴岫《阙史跋》所言:“然敷陈条畅,词句温雅,唐家小说,自别有一种风趣。”书中兼录遗闻轶事与志怪,二者并重,轶
張舜徽先生的《說文解字約注》(簡稱《約注》)是一部傳統語言文字之學的研究之作,雖然在形式上是對《說文解字》的註解,但在實際上呈現出重視詞與詞之間的音義關係、以追求“
通过现场调研和资料收集,在研究坝区工程地质环境条件的基础上,对白鹤滩水电站坝肩岩体结构面进行工程地质分级、分类。分析坝区控制性结构面,对岩体结构面的发育特征进行系
随着经济全球化、世界一体化的发展,跨文化交际已经成为一股不可阻挡的潮流。它的主要目的在于实现不同文化之间的交际,促进文化交流,寻求共同发展。但是跨文化交际经常会遇