【摘 要】
：
对话系统是自然语言处理的研究热点之一,其研究任务包括对话生成、对话匹配、对话状态跟踪和对话动作识别等。目前有关研究集中在各个任务的模型性能提升上,然而不同的任务使用的基础编码器仍然以循环神经网络(Recurrent Neural Network,RNN)或卷积神经网络(Convolutional Neural Networks,CNN)为主。近期出现的Transformer模型能够捕获句子内部词汇
论文部分内容阅读
对话系统是自然语言处理的研究热点之一,其研究任务包括对话生成、对话匹配、对话状态跟踪和对话动作识别等。目前有关研究集中在各个任务的模型性能提升上,然而不同的任务使用的基础编码器仍然以循环神经网络(Recurrent Neural Network,RNN)或卷积神经网络(Convolutional Neural Networks,CNN)为主。近期出现的Transformer模型能够捕获句子内部词汇之间的关系,被证明在自然语义上具有比RNN、CNN更强的编码能力。但是Transformer模型不适合编码长文本信息,而对话数据的一个样本通常具有多个对话轮次,文本信息过长,因此该模型无法直接应用到对话任务中。此外,该模型的计算量与显存占用量过大,难以在实际中广泛应用。针对上述问题,本文对如何将Transformer模型应用于对话任务进行展开研究,本文的主要工作包括:1)设计了适合编码对话数据的Mem-Transformer模型。该模型通过记忆网络在不同对话轮次之间传递信息,实现多轮对话的编码,并通过信息压缩方式减小模型计算量,最终在对话匹配、对话状态跟踪和对话动作识别任务中超过其他比较模型。2)提出了Transformer模型的压缩方法。该模型使用滑动窗口进行信息压缩从而减少信息损失,并通过语言模型协同训练方法保持原有句子信息,最终通过实验证明压缩后的模型能够在保持语义编码能力的前提下减少模型的显存占用量与计算量。
其他文献
随着中国“一带一路”战略不断深化,中国本土许多有竞争力的企业纷纷投入到海外投资或大型工程项目之中,对沿线的发展中或落后国家的工程援建项目也进一步推进,KO高速公路分包合同便是在以上背景下应运而生的项目之一,本英汉翻译实践报告是以KO高速公路分包合同为案例,将理论与实际相结合而完成的。KO高速公路分包合同作为工程合同的一种,具有合同英语的语言特点,且包含大量工程术语,其规定了合同签订双方的权利和义务
由于汉字发音与正字法之间的不对应性,无法从汉字本身获得发音,这给初级阶段留学生的汉语阅读带来了极大的困难。多年以来,拼音作为汉字的拼写工具,在初级汉语教材中,使用拼音和汉字同时呈现的文本形式帮助留学生识字识词,理解文本的意义,随着留学生汉语水平的提高,再逐步在文本中取消拼音。但拼音在什么学习阶段对留学生阅读的作用最佳,留学生何时能摆脱对拼音的依赖,目前尚无相关的实证研究。初级教材中汉字的文本形式也
雅克马利坦说“人在精神上的创造性是艺术活动本体论的根基”[1]。不管是创作者还是观者对于想象力的发挥是尤为重要的。每一位创作者的作品都是由感性情感构建而成,作品被创造后依然是人对于审美意象投射的一种载体。但是因为艺术的不可复制性,创作者在创造时时常遇到瓶颈,缺少更多的设计思维去给予观者新鲜感。而对于观者而言,处于信息爆炸的时代,很难从这种复制麻木的信息中寻找到真正深入人心的作品,看到作品也无法获得
移动终端非常普遍的应用于我们的日常生活中,极大的满足了人们的需求,但是在畅享这种极大便利的同时,我们对它的依赖程度越来越深,它也正在潜移默化的影响着我们的生活活动形
随着网络信息技术的快速发展,如何保护用户信息安全,成为了一个热点话题,用户身份安全认证技术应用越来越广泛,并且被广泛应用到各行各业。身份认证系统是一个用来保护用户信息安全的综合系统,目前身份认证系统中有三类认证方式,有关于信任物体的认证、关于生物特征识别的认证、关于信息秘密的认证。其中基于生物特征的身份认证技术越来越受到广大科研学者的重视,在众多生物特征中,虹膜识别身份认证技术由于虹膜自身的唯一性
最大频繁项集挖掘是数据挖掘重要研究方向,它以频繁项集簇的最简集合形式反映事务数据集项间的关联关系,具有重要的理论研究价值与应用前景。然而,大多数现有最大频繁项集挖掘算法更适于稠密数据集。但实际应用中,存在着大量的事务模式差异度大、项分布零散的稀疏数据集,设计适于稀疏数据集的最大频繁项集挖掘算法具有重要意义。本文从数据存储结构、算法搜索方式和优化剪枝策略等层面对经典的最大频繁项集挖掘算法进行了讨论与
云在热带天气和气候中起着重要作用,对热带辐射平衡和大气水循环有重要影响。云的分布对其他热带变量也有影响,云与热带海表温度(或海表面温度的梯度)、相对湿度、温度等变量
“财宝神”是流传在河州北乡地区汉族和土族群众中的一种走唱类说唱音乐,属甘肃省非物质文化遗产,具有浓郁的民俗文化风情。在当地人们心中,“财宝神”是荣登大雅之堂的“阳春白雪”,其高亢激越的唱词,有诗般的韵味,又具方言化特征,既接地气,又不失高雅,备受当地群众的喜爱。“财宝神”的表演,突出的是“送财宝”“贺太平”这一主题,以群众喜闻乐见的形式,装扮形象的角色,通过歌声来表达对幸福生活的憧憬和向往。“财宝
人的情感是人类特有的一种神秘且复杂的内在特征,也一直被认为是人与人工智能最本质的区别之一。人脸表情作为人类情感的重要元素之一,通过对它的自动识别的研究有助于弥补人工智能在理解人类情感方面的不足。近几年来对人脸表情识别的研究,受到越来越多的关注。表情识别的难点在于不同个体的脸部特征之间存在着差异,每个人对表情的表现方式也不尽相同,并且一种表情中可能同时糅合了多种情绪的表达,有时连人类也难以完全正确理