基于端到端学习的任务型中文多轮对话算法研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:skb09
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网、信息通讯以及其他人工智能技术的普及和发展,各种人机交互产品层出不穷。而基于人机对话的人机交互方式是一种与计算设备交流的新型方式,它被广泛用于日常工作和生活中。人机对话中面向任务的对话更具有实用性和研究价值,所以本文的研究对象为面向任务的对话。
  从历史上看,面向任务的对话算法主要分为两个,其一是作为管道构建的,其二是基于端到端学习结构的。它们能基本实现任务型对话的功能,但是在当前大多公开的研究工作中还存在着以下问题:①对话策略管理完全依赖于状态跟踪器,状态跟踪器是将可观察到的会话历史记录总结为状态特征的部件,但大多数状态追踪方法是基于设计规则或专门标记的。②已有的基于端到端模型未加入领域知识限制,且大都是基于单独的循环神经网络进行训练,导致模型不能很好的理解用户的意图,生成的部分回复有时是难以理解的。③对话领域的数据往往是私人的,难以得到的,但是希望训练数据多且具有多样化,所以对话领域的数据增强方法也是值得探索的。
  针对上述问题,本文从对话状态追踪和对话编解码两部分对任务型对话模型进行改进,提出了一种带有领域限制的基于端到端学习的中文任务型多轮对话模型,它能准确且实时地对对话输入进行理解且生成合理的反馈并进行多轮这样的过程。具体改进如下:
  ①本文设计了一种基于NBT(Neural Belief Tracker)的多插槽对话状态追踪模型,通过在预先训练的词向量上进行推理,用户话语和对话前后信息被组合成分布式表示。利用BERT(Bidirectional Encoder Representation from Transformers)模型作为表达学习的预训练模型,它的神经网络全部层中的前后信息可以被一起来进行训练,表示结果更加精确。然后进行多次二分类来使得多个值与单个状态变量相关联以达到识别对话中的多个相同类型和不同类型的插槽键值对的目标。另外,此模型还可以利用与底层应用的连接自动扩展插槽键值。最后此模块的结果也被作为对话生成部分的领域补充,使得生成反馈更加贴近当前任务。
  ②本文设计了一种将双向LSTM和自注意力机制结合的编码-解码模型,它不仅可以捕获局部关键信息,而且还可以很好地解决对话中的长期依赖关系,并具有良好的并行性。
  ③本文还设计了一种基于神经机器翻译(Neural Machine Translation,NMT)和双语词典的数据增强方法。利用NMT模型对原始数据进行翻译和回译。但是由于对话领域的特殊性,翻译中会产生大量UNK(UNKnown),所以本文利用双语词典对产生的UNK进行替换。这种方法不仅可以有效地扩展数据,还优化了UNK问题,能得到质量更高的数据。
  为了验证上述模型的有效性,本文将上述模型部署到DeepPavlov平台上并且利用公开任务型对话数据集CamRest676-Chinese进行了实验验证,并将该任务型对话模型与现有主流方法和其基础模型进行了比较。实验表明,本文的模型能够有效提升任务型对话系统的性能且能准确完成任务。
其他文献
【摘 要】伴随着新课改的实施,素质教育已经得到全面的实施,在当前教育过程中,教师需要关注学生的综合发展,结合实际情况,对学生基础知识能力、动手能力、核心能力进行全面提高,使学生可以得到综合发展,在当前小学的教学活动中,语文教学是提高学生理解和表达能力的重要学科。但是在当前的语文教学活动中,受到应试教育的影响,教师对学生教学过于死板,无法提高学生的学习兴趣,导致语文教学受到影响,不能得到提高。因此在
期刊
【摘 要】本文通过分析高职院校大学英语写作教学存在的问题,提出一些解决问题的方法来提高写作教学效率,刺激学生的写作兴趣来改变高职院校英语写作教学的现状。  【关键词】高职院校;大学英语;写作教学  【中图分类号】G424 【文献标识码】A  【文章编号】2095-3089(2019)02-0219-01  高职院校的英语写作教学一直受到各种因素影响,上课效果不显著,学生吸收率底,很难突破现有局面。
期刊
【摘 要】读写结合是提高学生语文核心素养的最佳途径,就文取材的“小练笔”是读写结合最有效的载体。在阅读课堂中进行练笔,成为了语文阅读教学独特的风景。而作为新课改背景下的一种新型的语言训练方式,它最大的特点是不只停留在纯客观的知识层面上,它必须同时拥有心灵的感受和理性的解读,形成认知、情绪和训练内容的对接状况。  【关键词】阅读教学;课堂练笔;文本;语文核心素养  【中图分类号】G623.24 【文
期刊
【摘 要】随着社会的发展和经济的进步,人们对教育的重视程度越来越高,语文是高中阶段的重要学科之一,作文教学更是语文教学中的重点内容,本文将着重阐述在网络发展的背景环境下,把握将网络在高中语文作文教学中进行应用,希望能够切实促进该领域的发展和进步,也为关心这一话题的人们提供参考和借鉴。  【关键词】网络;作文教学;运用  【中图分类号】G633.3 【文献标识码】A  【文章编号】2095-3089
期刊
航空发动机作为各航天系统的组成核心,其安全性和可靠性极其重要。通过对发动机进行准确的剩余寿命预测,可以有效预防事故的发生,对于保障航天系统正常运行具有重要的意义。由于航空发动机在退化过程中可能会存在某种故障的影响,该种故障的发生不会立刻让系统失效,而是加快发动机的退化速率,从而缩短其剩余寿命。然而,目前关于航空发动机的剩余寿命预测的研究是忽略该种影响或多数将故障定义为失效,这将会导致对航空发动机的剩余寿命预测精度和健康管理水平大幅降低。针对现有研究方法的不足,本文主要创新点及研究内容如下:
  ①为
【摘 要】对语文教学而言,“体验”是语文活动的桥梁,是语文素养的基石。新课程要求以生为本,强调“学生的情感体验”,由于学生个体的认知经验深浅不一,兴趣爱好各不相同,思维活动千差万别,所以他们的体验也各不相同。作为教师应以学生学习中遇到的障碍为起点,让学生把不完整的、甚至错误地呈现出来,然后通过师生合作,生生合作,去纠正它,完善它,不应以教师的分析讲解来代替学生的阅读实践,要珍视学生的独特感受、体验
期刊
【摘 要】随着现代教育教学手段的不断更新和发展,朗读教学在语文课堂上已逐渐被朗诵带、视频朗诵等先进的教学手段所取代。针对这一现状,本文就朗读教学被取缔的原因和朗读教学的重要性展开论述,对教师提出了重视朗读教学和提高朗读能力的要求,以此激发学生学习语文的兴趣。  【关键词】朗读教学;语文课堂;重要作用;朗读方法  【中图分类号】G633.3 【文献标识码】A  【文章编号】2095-3089(201
期刊
磁耦合无线电能传输(Magnetic Coupling Wireless Power Transfer,MC-WPT)技术基于电磁感应原理,利用磁耦合机构发射高频磁场代替传统的线缆作为传输方式,实现能量的无线传输,具有灵活、简便的使用优势,在国内外已被广泛地研究并应用于电动汽车、工业机器人、生物医疗器械以及消费电子等领域。随着MC-WPT技术研究与应用的深入,结合物联网与5G技术兴起的时代潮流,MC-WPT系统磁耦合机构原副边的通信方法的研究具有迫切的需求,成为了本领域的另一项重要的研究方向。
  
稀疏表示方法已经被广泛应用于需要进行数据处理的各个领域,对实际数据通过学习来获得自适应字典并用于稀疏表示的方式,通常能够得到更好的表示效果;然而,用于字典训练的数据量需要足够大才能获取到实际数据比较全面的特征,因此字典学习存在计算量大、耗时长等问题;探索快速而精准的字典学习算法一直都是稀疏表示领域的重要研究课题。
  针对当前用于旋转机械故障诊断中瞬态脉冲信号提取的自适应字典方法计算耗时长的问题,本文主要研究了基于非凸正则项的稀疏表示中的自适应字典学习方法,通过变量分离和重组技巧,并结合坐标下降算法
无线电能传输(Wireless Power Transfer,WPT)技术是以无导体接触的方式,实现电能有效传输,克服了传统有线传输方式引发的诸多问题,使得人们在使用用电设备时更加方便灵活、让系统更加安全可靠以及容易维护。WPT技术正在向轨道交通、智能电网、生物医疗等多领域推广应用。虽然应用范围日趋广阔,但WPT系统中仍存在一些关键问题,如针对特定的应用对象应用场景综合考虑多种因素优化设计系统,以保证系统在一定参数变化范围内具有良好的鲁棒性,尽可能提升系统传输能效。
  针对WPT系统优化设计问题,