论文部分内容阅读
随着人工智能技术的飞速发展,人机对话系统有望代替目前主流的输入设备,成为人们最常用的人机交互方式。对话生成是对话系统中最重要的环节之一,它是指计算机基于一定的对话信息自动生成一段对话回复,由于其生成的结果将直接反馈给用户,因此该任务完成得好与坏将极大地影响用户的使用体验。近年来,深度学习技术的飞速发展为对话生成带来了新的机遇,基于深度学习的对话模型能够从海量的对话数据中学习对话特征,自动生成相应的回复。然而,在实际的应用中,人们发现仅通过学习对话数据而训练得到的对话系统不能很好地满足用户的需求,这些对话系统往往趋于生成信息量比较低的回复,例如“我不知道”这一类通用回复,这类回复往往会让人丧失聊天的欲望。语言的表达与知识是密不可分的,有了知识的支撑,语言才变得丰富多彩。知识能够为对话系统提供额外的有用信息,在对话系统中引入知识能够缓解其易生成通用回复的问题,使回复更具多样性。本文将研究知识驱动下的对话生成任务,即在对话生成的过程中,合理地运用知识,将知识融入到深度学习模型中,使其产生的回复包含更多的信息、更具多样性。本文的主要研究工作如下:(1)本文提出基于注意力机制的知识对话生成模型(KDG-Att)。不同的对话语境下需要的知识是不同的,因此需要对知识进行选择,KDG-Att模型利用注意力机制为每一条知识分配不同的权重,以筛选出与用户对话最相关的知识信息来辅助回复的生成。另外,为了让回复包含更多与知识相关的有效信息,该模型在训练过程中,除了考虑生成的回复与真实回复之间的误差外,其目标函数还额外地衡量了生成的回复与知识之间的关联性来指导模型参数的学习,使训练后的模型更倾向于生成与知识相关的回复。本文设计了多个对比实验验证了 KDG-Att模型的有效性,实验结果表明本模型能够生成质量更高、更有意义的回复。(2)本文提出一种动态知识对话生成模型(DKDG-MD)。在对话生成的过程中,随着回复逐步产生,已产生的回复会使对话状态发生改变,所需用到的知识往往也会随之发生变化。该模型能够从所有的知识中自动地选择与当前对话状态最相关的知识参与解码,并随着对话状态的改变不断地更新所需利用的知识。本文对比了多个模型和DKDG-MD模型在中英文数据集上的表现,实验结果表明该模型表现更加优秀,生成的回复具有更丰富的信息。