论文部分内容阅读
1950年图灵测试的提出使得学术界掀起了研究对话系统的热潮。随着21世纪信息时代的到来以及互联网的蓬勃发展,人们的日常活动与互联网的联系变得更加紧密。因此从互联网上收集对话数据变得更加容易,这给对话系统的研究提供了良好的数据基础。近几年,得益于深度学习的崛起以及计算机硬件性能的提升,对话系统不再仅仅依靠规则匹配和检索的方式,而是逐渐转变为生成式对话系统。本文主要研究的是开放域生成式对话系统,不同于特定领域的对话系统,其目标不是为了完成用户指定的任务,而是为了吸引并留住用户,令用户有兴趣继续交谈。目前开放域生成式对话系统主要采用序列到序列模型,然而标准的序列到序列模型存在一些问题:(1)由于语料库本身存在大量的安全回复,使得模型倾向于习得简短而乏味的通用回复;(2)由于模型没有结合外部知识信息,生成的回复信息含量低且不具备吸引力;(3)由于模型缺乏人物个性,所以对于语义相同或者相似的输入语句,模型生成的回复通常是不一致的,降低了用户对于模型的信任度。针对以上问题,本文的主要工作如下:(1)提出了一种结合知识库的开放域回复生成模型KGDlg。通过融合网络将知识图信息与用户输入相融合,并将融合结果输入到解码器中,使得解码器可以使用与用户输入相关的知识图信息来生成回复。此外,模型还使用用户回复(在测试阶段为检索回复)来修正解码器对于知识图的选择,以便解码器可以利用正确的知识图信息。(2)提出了一种面向个性化的开放域回复生成模型PersonalDlg。在模型训练阶段利用真实回复作为后验分布来帮助判断每条个性化信息对于生成回复的重要性,通过该分布可以对在真实回复中实际使用的个性化信息给予更大的权重,有助于指导解码器生成包含正确个性化信息的回复。在测试阶段由于没有真实回复,使用一个先验分布来近似后验分布,这样即使不存在真实回复,模型也能够选择适当的个性化信息用于生成回复。总体来说,本文主要研究面向知识库和个性化的开放域回复生成模型并在真实数据集上对两个模型进行训练。通过对比实验,证明了KGDlg模型可以生成信息丰富的回复,并且PersonalDlg模型可以生成与个性化信息一致的个性化回复。