任务型对话系统中的自然语言理解研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:sxfylhd
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
任务型对话系统能够指导用户完成特定任务,其对话具备明确的目标,以任务完成情况衡量对话的质量。自然语言理解是任务型对话系统的核心部分之一,主要包括意图识别与槽填充任务,其性能好坏对于任务完成情况有着直接影响。近年,深度学习逐渐成为自然语言处理主流技术,随着众多研究产生进展,已被证明联合建模意图识别与槽填充更加有效,深度学习联合模型已成为自然语言理解研究趋势。随着模型越来越复杂,以及深度学习对数据的依赖性,数据稀缺也成为了自然语言理解的主要障碍之一。因此,本文从数据增强与联合模型两个角度研究自然语言理解问题,本文的主要工作与贡献如下:第一,数据增强要求采集未观察到的样本,近期工作中变分自编码器在生成合理自然的句子方面已获得振奋的效果,并且其中的变分推理可以使其从样本分布中采样出新的未观察样本。基于此本文提出一种联合变分生成模型,其将seq2seq模型融入变分自编码器,通过变分推理采样分布中的未知样本,联合生成完全标注的话语。在模型中,本文将槽与意图的组合视为样式,并利用样式信息控制数据的生成,使得合成数据集的标签分布接近真实分布,同时避免生成单一的数据。实验表明,经过模型增强的ATIS数据在基准预测模型上使槽填充F1分数与意图识别准确率分别提升0.27%与0.6%。第二,现有联合模型大多仅考虑通过联合损失函数在表面级别共享信息,或者仅实现语义级别上单向的信息传输。为此本文提出一种双向交互联合模型,其在语义级别上建立了意图识别与槽填充双向交互的连接,以帮助它们相互促进。模型融合自注意力机制获取上下文感知增强嵌入,并搭载了一种新颖的交互增强网络,为两者建立了直接连接,同时连接中的注意力机制能够帮助获取另一方更有用的信息。此外,本文在交互增强网络内部设计了一种全新的迭代机制,以对双向交互的连接进行增强。实验表明,模型在ATIS数据集上槽填充F1分数与意图识别准确率分别优于Slot-Gated模型0.13%与1.07%。最后,本文将所研究方法应用于一个音乐搜索领域任务型对话系统,完成了其中自然语言理解模块的构建。
其他文献
近年来,针对水中难降解有机污染物的处理,基于·OH无选择性氧化原理的电化学高级氧化技术(EAOPs)引起了极大的关注。其中阴极催化氧化技术主要以电芬顿技术为主,该技术仍存在pH适用范围窄、不能循环使用等局限。目前,杂原子掺杂碳材料在2e-过程的阴极产H_2O_2中的研究仍很有限,仅有较少的报道证明N元素的引入可以促进H_2O_2原位转化为·OH。因此,在原有阴极催化氧化技术的基础上,制备一种新的阴
利用右玉边鸡的优良性状分别与A”父母代肉用种公鸡、海兰褐商品蛋鸡进行杂交试验。结果显示:A^+父母代♂3个组合♂和♀70日龄体重分别是相应对照组的229.39%,214.32%,227.05%和230.46%,24
<正> 我们对一九八二年全国冰球乙组第二阶段联赛中的七场比赛的传接球技术做了临场统计(见表一).通过(表一),我们可以清楚地看到每场比赛的胜利,是和传接球的成功率成正比的
通过对峨边、马边、沐川和金口河等四个比较典型的西部山区通信发展现状、不利条件的调查分析,进而指出了其面临的困难,并提出必须大力解决西部山区通信事业的若干对策建议.
在钢绞线预应力筋用齿合型单孔开口锚具(QMK15—1锚具)的设计与试验研究中,为满足GB/T14370—2000国家标准和JGJ85—2002行业标准的各项技术要求,进行了解析计算与有限元分析。在
对非预应力芳纶布(AFRP)加固和带永久锚具的预应力AFRP加固锈蚀钢筋混凝土梁的疲劳性能进行研究。通过疲劳试验,探讨预应力水平和钢筋锈蚀程度对加固梁疲劳破坏机制、疲劳寿命、
阐述了传统农业机械在农业生产中出现的问题,提出农业机械向智能化转型的紧迫性。分析传统农业机械工作原理的基础上,结合现代电子通信和计算机信息技术,得出农业机械智能化
采用阳极氧化法和阴极电沉积法制备了Fe2O3,CuO和NiO纳米粒子改性的高度有序的TiO2纳米管(TiO2-NT)阵列.运用场发射扫描电子显微镜(FE-SEM),透射电子显微镜(TEM),X射线衍射(XRD)和紫
结构混凝土材料经过一个多世纪的开发、应用,对其破坏机理的内、外因及相应的加强措施,如采用钢纤维混凝土、钢筋混凝土和预应力混凝土进行深入研究,以使这一材料不仅能代替钢结
随着我国经济社会的不断发展,人们的物质生活水平不断提高,因此公民对各种社会服务的要求也越来越高。同时,随着服务型政府的建设,政府在行政过程中也愈加注意听取公众的建议