任务型对话系统中对话状态追踪技术研究

来源 :兰州大学 | 被引量 : 0次 | 上传用户:a9s5c112j6b
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人机对话系统可以使人们以自然语言同机器进行交互。作为任务型对话系统的重要组成部分,对话状态追踪是系统理解用户意图,做出对话策略的基础,其更新正确与否影响整个对话系统的性能。因此,为实现高质量的人机对话系统,对话状态追踪的研究具有重要意义。随着深度学习技术的发展,对话状态追踪研究进步显著,但仍面临以下问题:模型依赖本体进行状态追踪,但本体难以针对槽位预定义所有槽值;模型对未知槽值识别困难。本文针对以上问题进行研究,具体工作如下:(1)为了缓解本体定义困难和未知槽值问题,本文给出依赖部分本体的基于槽位类别的对话状态追踪模型。模型根据槽位特点将槽位定义为可分类槽和不可分类槽,利用融合了对话历史与槽位信息的句子级表示识别槽位状态,根据槽位状态使用文本分类方法或者机器阅读理解方法对对应类别的槽位进行槽值预测,并且使用状态记忆缓解槽值指代问题。实验结果表明本文给出的模型分别在Multi WOZ 2.0数据集和Multi WOZ 2.1数据集取得51.74%和52.37%的联合目标准确率,进一步的实验表明模型具有一定的未知槽值识别能力。(2)针对模型训练过程中出现的对话状态样本不平衡问题,本文使用基于聚焦损失的损失函数改进槽位状态识别任务。针对数据稀疏问题给出基于槽值替换的数据增强方法提高罕见槽值频数,并且对预训练模型进行领域适应使其语义表示更符合对话领域。实验结果表明,数据改进方法提高了模型在对话状态追踪任务的性能,增强模型识别未知槽值的能力。(3)针对本体定义困难问题,本文给出不依赖本体的基于编码器-解码器的对话状态追踪模型。模型利用融合了对话历史与对话上下文的句子级表示识别槽位状态,根据槽位状态使用软拷贝方法从固定词典或者对话输入解码槽值。另外,本文在模型训练过程中使用计划采样方法,弥合训练过程与推理之间的差距,提高模型泛化能力。实验结果表明,模型在对话状态追踪任务中相较于基线模型联合目标准确率提高1.73%,并且具有更好的未知槽值识别能力。
其他文献
随着国内外汉语学习热潮的持续升温,围绕汉语作文自动评分的研究吸引了越来越多研究者的兴趣。作文自动评分的研究目标是利用计算机技术自动给作文进行评分工作,是自然语言处理技术在教育领域的重要应用。该技术不仅能够降低人工评分存在的主观因素的影响,而且能够很大程度上减轻阅卷人的工作负担。目前作文自动评分的研究和系统研发主要是围绕英语展开的,对汉语作文自动评分的理论和实践研究较少且没有得到较好的应用。本文主要
推荐模型作为解决信息过载问题的有效途径,近年来已在各领域得到广泛应用。传统推荐模型由于浅层的结构设计,导致其无法提取到用户和项目的深层次特征。同时传统推荐模型也无法对序列化的用户行为数据进行合理建模,难以学习到序列数据的前后依赖关系。现有的基于深度学习的推荐模型,多侧重于用户历史行为学习,或是侧重于项目内在关系的分析,难以兼顾深层次用户特征与项目特征的有效提取。鉴于此,本文探索基于深度学习推荐模型
句子是自然语言运用的基本单位,也是自然语言处理的研究对象。句子相似度计算是文本相似度计算的基础,在文本理解中具有重要的意义。藏文句子相似度计算处于起步阶段,考虑的因素还不够全面。藏文句子相似度研究时需要一个衡量其性能的评测集,并在此基础上研究藏文句子相似度计算方法。在藏文句子相似度评测集方面,目前还没有合适的藏文相似度评测集,阻碍了藏文句子相似度计算的进一步发展。在藏文句子相似度计算方面,虽然有一
在大量图像数据集的支撑下,基于深度学习的图像修复模型能够更好地捕捉图像中隐藏的高级特征和深层结构,达到更贴近图像特点和人眼视觉的修复效果。结合基于深度学习的图像修复技术对唐卡图像不规则破损区域进行模拟修复,既能够保证修复的效率和质量,还可以避免给唐卡带来二次伤害,对实现唐卡的数字化保护有着重要的社会文化意义和学术实践价值。本文以唐卡的数字化保护为出发点,实现了深度学习在唐卡图像修复中的研究与应用,
目前,图像目标检测已经变成图像处理以及工业领域重点研究的方向之一,其主要任务是从图像中定位目标并对目标种类进行判断。随着图像领域人工智能化的发展,深度学习中神经网络方法逐渐代替了传统的图像处理方法,并在图像目标检测领域取得了巨大的成果。图像目标检测通常会受到光线、目标大小、目标清晰程度的影响,从而导致目标检测的鲁棒性变差。传统目标检测使用窗口滑动的方法去解决图像目标检测的问题,这种方法会消耗大量的
汉字到盲文自动转换是改善我国1700万视障人群生活学习的重要技术。我国先后制定了现行盲文、双拼盲文、国家通用盲文三种盲文标准。由于我国汉盲转换软件欠缺、技术落后,导致非出版及电子盲文资源缺乏,无法满足视障者需求,盲文出版、盲人教育事业也受到限制。现有汉盲转换方法均采用多步转换方法:先对汉字文本进行盲文分词连写,再对汉字进行标调,最后结合分词和标调信息合成盲文文本。该方法需要同时建立盲文分词连写语料
随着社交媒体的飞速发展,社交网络成为人们进行信息交流的主要场所。社团结构作为社交网络的重要特性之一,研究社团结构有助于分析社团形成和网络内在特征,进而对社交网络进行控制与预测。本文研究了相互作用的双层社交网络的社团挖掘算法及其应用。结合传统社团挖掘算法,提出了两种社团挖掘算法并在某双层通信社交网络上成功应用。研究内容如下:1.基于节点相似性,提出了一种链路优化的PL(Priority Louvai
数据预测在诸多方面都有需求,但是实际使用时难度较大。当前各行业使用的数据预测方法层出不穷、各个算法的可适用范围也不相同,这给程序设计人员在使用的时候造成了较大的困难。通常需要专业的知识才可以进行数据预测的模型设计,同时还需要具备一些应用型程序设计知识,才能较成功的呈现出算法的结果。为了解决这些问题,本文将图形化编程的思想应用于基于机器学习的数据预测中,从理论和实践两方面论述如何对基于机器学习的数据
作文自动纠错任务的主要目标是利用计算机手段自动检测并纠正作文中存在的错误。国外作文自动纠错研究开展较早,已经取得了较多的研究成果,也有成功的商业应用。作文自动纠错一直是汉语智能考试的重要研究内容,但是由于问题的复杂性,汉语作文纠错问题至今没有得到很好的解决。通过本研究的开展,不仅能够满足汉语学习者的需求、减轻汉语教师的工作强度,而且对汉语考试自动化有较大的推动作用。本研究成果还能直接应用到自然语言
受限于传输带宽和硬件设备等实际条件的影响,最终在终端显示设备上呈现的图像分辨率无法满足人们的视觉需求,尤其是对于要求高清晰度高细节的医疗图像和卫星遥感领域。近年来,随着人工智能和大数据技术的高速发展,深度学习已被广泛用于图像超分辨率重构中。由于图像超分辨存在一对多的不可逆的病态问题,其本质皆在从一张或者多张低分辨率图像恢复具有丰富细节的高分辨率图像。然而当前大多数算法仅仅简单的堆叠卷积层,导致模型