【摘 要】
:
在过去的几十年中,随着以深度学习为代表的人工智能技术的飞速发展,文本形式的数据的数量不断增加,涉及到计算机如何理解和生成语言的自然语言处理得到全球的支持,成为当今技
论文部分内容阅读
在过去的几十年中,随着以深度学习为代表的人工智能技术的飞速发展,文本形式的数据的数量不断增加,涉及到计算机如何理解和生成语言的自然语言处理得到全球的支持,成为当今技术讨论中的研究热点。长期以来,大多数用于研究自然语言处理问题的方法都采用浅层机器学习模型,但是,随着词嵌入、序列到序列模型、注意力机制和预训练语言模型的流行和成功,基于神经网络的模型在各种自然语言处理任务上已经取得了优异的成果。自然语言推理任务需要解决语义理解、句子表示和联想推理等问题,是自然语言处理中非常基础的任务。现阶段在自然语言推理任务中对于句子深层次的含义理解仍然面临着许多挑战性的问题。本文以深度学习中的神经网络为基础,结合注意力机制,对自然语言推理方法进行了探索和研究。主要的研究工作如下:1、介绍自然语言含义理解的特点和两种常用的句子表示方法。针对这两种方法不能并行计算或者参数较多的问题,提出一种基于自注意力机制的句子表示推理方法。该方法包括词嵌入层、句子编码层、语义提取层和聚合输出层四部分。该方法在嵌入层融合单词和字符的信息以丰富特征信息,在编码层使用自注意力机制并行运算提取句子上下文语义信息,在语义提取层提取句子不同部分的特定信息以全面的表示句子语义。实验表明,该方法在SNLI数据集上的准确率为86.8%,与BiLSTM等方法相比,在推理结果的准确性方面有一定程度的提升。2、介绍交互推理框架的基本组成结构,然后以此为基础设计一种融合句法信息的交互推理网络。该网络包括词嵌入层、交互匹配层、句法信息提取层、全局信息融合层和预测层。该网络结构的核心交互匹配层针对可分解注意力模型没有考虑单词顺序和上下文情景进行改进,使用双向长短期记忆网络进行序列编码。同时,在句法信息提取层使用Gumbel TreeLSTM模型构建句法结构树,提取单词在层次方面的信息。融合局部推理信息和句法结构信息构建全局特征信息从而更深层次地识别句子语义上的推理关系。此外,标注单词的语义角色以丰富句子语义特征信息。该方法在SNLI数据集上的准确率为88.9%,对比其他方法,能够更深层次的理解语义。
其他文献
城市排水系统是重要的市政工程设施之一。近年来,作为“智慧城市”中不可或缺的内容,“智慧管网”的建设已上升至国家战略高度。智能化的城市排水系统,不仅要实现对现有设施
研究背景:随着全球植物药的快速发展,多个国家和地区建立了植物药标准或专论以确保植物药的质量与安全有效性。WHO制定的植物药专论在全球具有重要影响力,但国内学者对此关注相对较少,鲜见相关研究报道,我国目前亦缺乏与国际接轨的“中药专论”。研究目的:通过对WHO评价植物药相关指南及所制定植物药专论的系统研究,为编制我国“中药专论”提供参考,初步构建“中药专论”基本框架。研究方法:(1)采用文献研究法:系
最近中国荔枝市场价格波动比较剧烈,并且出现频繁波动。荔枝的价格波动不但会影响荔枝生产者的收益,而且会影响中国荔枝消费者的福利,还会影响荔枝产业供应链其它环节相关者
以安庆为中心的皖江文化是中华优秀传统文化的重要组成部分,其所呈现的爱国、勤奋、务实、奉献、创新、礼让的美好品德正是我们当今社会主义核心价值观所提倡的。地方高校需充
<正> 史学界过去有“以论带史”、“论从史出”、“史论结合”等等说法,并且争论究竟哪一种说法对。近来有的杂志又重提这个问题。我以为,谈这个问题时,有必要把研究方法和叙
冀籍花鸟画在整个画坛占有很重要的位置,历史上冀籍的画家也有很多,有隋代展子虔,宋代宋徽宗、赵伯驹、赵伯骕、赵孟坚,元代赵孟頫、李衎,清代张赐宁等在美术史上具有划时代
通过实地调查与室内分离、鉴定及接种试验,对低温贮藏条件下苹果褐斑病病原菌及其致病性进行了研究。结果表明,冷藏苹果褐斑病发生在苹果入库4~5个月后,病斑多出现在苹果阴面,发育
羽毛球是一项以运动技能为主导的、隔网对抗性运动项目,作为羽毛球运动员,比赛中比对手移动得快就意味着有更多的时间去思考下一拍的战术,可以率先发起攻击,占据主动优势,甚
高考作为我国最重要的考试之一,是我国对合格高中毕业生或具有同等学历的考生进行的一次选拔性考试,对我国发展具有重要意义。2014年9月,国务院发布《关于深化考试招生制度改革的实施意见》文件,标志着我国的教育考试制度开始了新的一轮改革。但在高考改革初期,发现一些需要解决的问题。本文主要准对其中的一种问题进行研究,即等级赋分问题。新高考分数的合成主要由两部分构成:一部分是统考部分,以原始分加入总分,科目
城市公园是城市绿地的重要组成部分,能对城市生态环境进行调节,是缓解当今快速城市化进程下城市环境压力的重要支撑之一。而植物群落作为城市公园绿地的基本构成单位,其自身结构的合理性、稳定性对公园绿地生态效益的发挥有极大的影响,良好的植物群落建设能使城市公园绿地更好的发挥其改善、美化环境的功能。所以对城市公园植物群落景观进行实地调查、评价与分析,并研究科学、合理的植物群落景观配置很有必要。本研究在对国内外