基于融合句法信息的序列—树型编码器的自然语言推理研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:hamjh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的快速发展,全球每天都会不断的产生大量的文本数据,这些文本数据存在多种多样的表现形式,这使计算机在处理这些自然语言数据造成了巨大的困难。本文研究的自然语言推理是自然语言处理领域相对基础的一项研究,是机器翻译,机器阅读,机器问答等算法的基础。过去几十年中,基于手工特征的自然语言推理研究占据了该领域的主流,但随着算力和人工智能算法的发展,深度学习算法开始被应用到自然语言处理的各个方向,其中也包括自然语言推理,因为深度学习的引入,使自然语言推理的水平大幅提高,也间接的推动了自然语言处理其他领域的发展。本文提出了一种基于融合句法信息的序列-树型编码模型的自然语言推理方法。首先我们提出了词性分布式表达向量来表示文本中单词的词性信息,弥补了现有词向量缺少词性信息的不足,从而解决了具有多种词性的单词的向量表示,同时增加了词性信息,使词向量包含更多信息,有利于后续网络的特征学习。其次本文使用了顺序序列形式的Bi-LSTM网络对文本进行编码,该网络编码好的句向量含有单词的上下文关系。同时本文利用树型LSTM网络对文本的依存树进行编码,该网络编码的句向量则含有源文本中词与词的依赖关系,通过顺序序列的Bi-LSTM网络和树型LSTM网络两种不同形式结构的网络共同对前提和假设进行编码,最大程度的保留原文本的句法和词性信息,并通过本文提出的基于Sentence Fusion的句向量混合模型对前提和假设的句向量进行融合,完成蕴含关系的识别。本模型在斯坦福自然语言推理数据集上进行训练,并在测试集上取得了良好的表现。
其他文献
近几年我国高脂血症的患病人群不断上升,高脂血症是急性胰腺炎相关诱发因素,高脂血症性胰腺炎会引起多器官衰竭的发生。血液净化治疗高脂型胰腺炎具有提高预后、减少死亡率的
存在于互联网各个节点上的主体化软件服务,通过多种机制进行协同、整合而形成的软件形态通称为网构软件。网构软件为有效进行异构资源整合、充分利用互联网上大量的软件服务提
商标注册申请权的确定能够在逻辑上衔接《商标法》关于禁止抢注条款的运用,有效扼制恶意商标抢注行为。虽然任何经营者均有申请注册商标的权利,但该权利不同于商标注册申请权
一、前言1998年以来,由于亚洲金融危机冲击和国内通货紧缩趋势的压力,我国经济增幅一度回落,对扩张性宏观经济政策产生了较大依赖.随着坚持扩大内需、深化改革开放、加快经济
移动云计算正成为未来的主要技术趋势之一,并在逐渐触及越来越多的应用和领域。地址空间转换(Address Space Transformation)技术是一种面向协同交互式应用的一致性维护技术