基于深度学习的开放领域对话系统关键技术研究

来源 :武汉邮电科学研究院 | 被引量 : 0次 | 上传用户:edisonckw
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在种类繁多的自然语言处理任务当中,构建人性化的对话系统是非常具有难度的,而开放领域对话系统更是研究中的重中之重。如何让一个开放领域对话系统具备生成多种多样的回复的能力,以及如何让对话系统在对话过程中保持角色一致都一直是研究过程中需要解决的重难点问题。本文针对上述提到的两方面问题提出了下列具有针对性的改进方案:(1)针对开放领域对话系统的回复多样性问题,本文中提出了一个基于潜在空间条件对抗学习的两阶段对话生成模型(CA-VAE)。该模型首先通过变分自编码器进行句子的潜在表示学习,然后将对话上下文的潜变量加入到潜在空间的对抗学习中,使得该模型的推理网络生成的对话潜在表示能够与对话历史高度相关。最后,将对话的潜在表示通过生成网络生成对话的回复。相关实验结果表明,本文的模型相较于基线模型在多样性方面提升了7%,表明能够生成与上下文更加相关、流畅且丰富多样的回复。(2)针对开放领域对话系统的回复角色一致性问题,本文提出了基于Transformer的角色一致性对话生成模型(PT-CVAE)。该方法利用Transformer结构来构建一个条件变分自编码器模型。通过角色信息融合注意力模块利用对话内容表示与角色信息表示获得带有角色信息偏重的对话内容表示,并进一步通过先验网络将该表示映射成为潜在空间的潜变量表示。然后,通过直接融合和伪注意力两种方式让潜变量参与控制对话回复的生成过程当中。通过实验表明,本文提出的模型相较于其他基线模型生成的回复不仅在角色一致性方面取得了6%的提升,在句子流畅度和相关度上也取得了不错的表现。
其他文献
大数据时代背景下,网络产生的数据爆炸式增长,用户想获取符合个性化需求的数据信息变得十分困难。推荐系统是解决这一问题的有效方案,但是传统的数据存储和计算无法满足对海量数据的处理,所以推荐系统应运行在分布式的环境上。分布式环境部署的Spark使用内存对计算中间结果进行存储,可以快速的执行迭代算法,计算性能优秀,是推荐系统首选的计算框架。推荐算法是推荐系统研究的重点,但传统的ALS推荐算法忽略了经过时间
学位
随着移动互联网的迅速发展,以QQ、微信为代表的社交软件逐渐成为人们日常生活中主要的交流工具,群组聊天则是其中的一种重要功能,产生了海量的群聊数据,话题发现技术可以分析出群聊所涉及的话题,使得用户可以快速获知某个群的热点话题,这对于提升用户体验具有重大意义。主题模型则是实现文本话题发现的一个重要方法,但是传统的LDA主题模型,将其直接应用于群聊文本主题挖掘,会由于群聊短文本稀疏性特征使得主题建模效果
学位
随着自然语言处理技术在中文不同领域中的应用,以及深度学习相关算法的研究发展,利用自然语言处理技术实现对古文的处理与挖掘越发受到关注。古文自动断句标点处理是古文数字化处理的重要环节。面对浩如烟海的古文典籍,实现准确快速地自动化断句与标点,有利于古文语料处理的相关工作的进一步挖掘和研究。本文以纪传体史书文本为古文研究对象,针对Bi-LSTM-CRF基线模型局限于字符粒度处理不适用于纪传体史书文本的问题
学位
本文通过参考抗寒苹果的研究相关文献,重点分析了国内32个苹果品种或砧木的特征和特性,以期为寒地苹果生产提供支持。
期刊
由于无人机和卫星图像视点的剧烈变化,导致视觉外观差异巨大,现有跨视角图像匹配方法性能难以提升,致使无人机视觉定位研究依然面临挑战。本论文在研究大量国内外跨视角图像匹配算法的基础上,分析已有模型不足,从像素级、特征级、决策级三个层面出发进行了改进,主要研究工作如下:(1)针对无人机-卫星视图间空间域差过大与空间布局信息的忽略问题,从像素级层面出发,结合手工特征和深度特征,提出了一种基于视角转换的前置
学位
计算阶段、认知阶段和感知阶段是人工智能通常分为的三个阶段。计算阶段通常表现为计算机进行正常的数据运算和存储。人工智能在认知阶段的表现为计算机能够接收来自外界的信号,在这个阶段主要的研究方向有文字识别、图像识别和语音识别等。感知阶段使现阶段研究重点,该阶段不仅包含了前面两个阶段的能力,还在此基础上能够进行数据的理解、数据的判断、新数据的生成、数据的实际运用等。其中最为核心的部分就是计算机的理解能力。
学位
随着互联网新闻越来越多,想要短时高效地在众多文本中找到自己想要的内容,获取需要的信息变得越来越困难,因此文本摘要变得必不可少。抽取式摘要已经取得不错的效果,但抽取的摘要不连贯、可读性差;生成式摘要虽然能生成较为通顺的语句,但极容易偏离主题,生成错误的摘要以及重复的语句。本文将两种摘要模式结合起来,提出混合式的生成方式,另外针对现文本生成摘要中生成摘要不准确、生成词汇较死板以及文本摘要评价不准确等问
学位
近年来,依托中国经济社会的高速发展,中国信贷市场发展迅猛,信贷产品的风控管理也随之变得越来越重要。但当前业界信贷模型多聚焦历史还贷数据,对匿名特征数据与征信数据的利用较为欠缺,且部分模型结构单一、泛化能力不强。本文为了解决上述问题,扩展传统信贷模型思路,利用增强学习与混合学习的思想,面向中小规模的匿名特征金融征信数据展开研究,设计并实现一种新的金融征信风控模型。本文首先针对具有海量匿名特征的中小规
学位
随着生成对抗网络的发展,研究人员逐渐开始关注如何对一些真实的人体属性进行编辑,并达到肉眼无法鉴别真假的程度。目前,对于人体属性的编辑的研究主要分为两个方向:其一为人体的面部编辑,该研究成果可以应用于短视频的特效处理等工程应用中;其二为人体动作迁移,这项研究可以实现在只有一张人物照片的情况下,完成该人物的各种动作变换。本文针对这两个研究方向,分别提出了两种不同的新思路。针对人体面部编辑,本文提出了一
学位
相较于依靠声传感器获取语音信号的传统语音侦听系统,激光侦听系统可通过测量声源附近物体的声致振动信号,在远距离、非接触条件下获取目标语音信号,因此被广泛应用于安防监控、公共安全、军事等领域。在常见的激光测振技术中,散斑图像测量技术相较于光反射调制测量技术和激光干涉测量技术而言,对光路和硬件设备的要求相对较低,实现难度较小,因此在激光侦听领域具有广阔的应用前景。本课题在使用散斑图像测量技术的激光侦听系
学位