论文部分内容阅读
现如今,数据规模的指数级增长加剧了用户对以友好和自然的方式随时随地获取所需要信息的渴望,对话系统应运而生。对话系统作为一种新型的人机交互工具,能够通过自然语言的方式实现。按照应用范围的不同,对话系统可以划分为两类,分别是非任务型和任务型,本文的研究主要集中于任务型对话系统。作为任务型对话系统内部运行的机制,任务型对话模型的研究随着人工智能以及自然语言处理技术的蓬勃发展而越来越深入。但是,现有的任务型对话模型的研究存在以下问题:首先,作为自然语言理解模块中的重要组成部分,意图识别任务和槽填充任务之间的关联性非常显著,但在目前的研究中,很少能够充分利用二者之间的关联关系和共享信息。另外,由于在任务型对话模型中,用户输入文本长度有限,导致文本描述概念信号比较弱,文本特征严重不足。对话响应生成模块的作用是组织适当的应答语句,将模型的答复转换成用户能够理解的自然语言,现有的对话响应生成方法通常存在生成结果不可控的问题,部分生成的语句可能含有语法错误或造成歧义,又或者是信息量较少的无用语句。针对以上问题,本论文研究基于多任务学习和知识图谱的对话模型的构建,主要针对对话模型中的自然语言理解和对话响应生成两个模块进行,课题主要工作如下:(1)为了充分利用意图识别和槽填充之间的关联关系和共享信息,同时引入外部知识以增加文本特征,本文提出了一种基于多任务学习融合知识的意图和槽位联合识别模型。该方法通过以下三个部分充分利用意图和槽位之间高质量的关系信息以及外部的知识信息。首先,基于长短期记忆网络和卷积神经网络获得意图识别和槽填充两个模块之间的共享参数和特征;第二,将外部知识引入以改进上述联合识别模型的效果;第三,建立加权损失函数进行联合识别模型的优化。(2)目前的对话响应生成模型依赖于不充分的信息来生成响应,导致模型倾向于输出一般性的反应,生成的响应信息量不足。针对该问题,本文提出了一个基于知识图谱的对话响应生成模型,可以实现注入知识的序列到序列响应生成。该模型利用知识图谱模拟人脑本身存在的先验知识,并通过双重注意力机制和偏向生成概率实现注入知识的对话生成,并引入覆盖率机制解决输出部分重复信息的问题。(3)将多任务学习与知识图谱结合,实现任务型对话模型的构建,并将该对话模型应用于斯坦福大学所提供的餐馆订餐任务数据集,获取本文对话模型的测试效果。实验结果验证了本文构建的对话模型的可靠性及有效性。