对话系统是一种计算机智能代理,能与人进行流畅的对话,对未来机器智能的发展起着重要作用。对话系统研究领域包含很多任务,本文主要研究在闲聊型的多轮对话系统中,对于用户的话语系统如何自动给出响应。对话系统响应算法模型主要有检索模型和生成模型,本文主要从这两个角度出发提出改进算法。1、检索模型。检索模型主要做的是对句子编码,然后通过匹配来选择答案库中得分较高的答案作为输出,因此句子的编码和匹配就显得尤为重要。本文提出基于BERT的多轮对话检索模型,该模型在表示层结合了语句的词嵌入和位置嵌入对上下文语句和待匹配回答进行编码。在选择层对上下文的关键信息进行选择,本文巧妙地利用BERT模块输出的第一个状态作为过滤器,其他状态作为编码,实现了选择功能和编码功能。匹配层基于交互的思想将待匹配回答的编码分别与上下文中语句的编码匹配形成匹配矩阵,并且将多个匹配矩阵拼接成3D矩阵。聚合层使用卷积池化压缩3D矩阵的信息并且计算得到匹配成绩。实验分析对比了现有的优秀基线模型和本文模型的性能,发现本文模型优于部分现有模型。检索模型中使用了BERT模块提取重要特征,相比现有的优秀模型,结构更加简单明了。选择层能够忽略对话历史中的无关信息和噪声,使得模型的效率更高。2、生成模型。生成模型主要基于Encoder-Decoder框架生成合适的句子,本文提出结合检索的多轮对话回答生成模型,不仅克服了检索模型的回答偏差问题,且改善了一般生成模型的回答“安全”问题。该模型在检索层对于给定的上下文C使用前面提到的检索模型检索到响应R’及对应的上下文C’。编辑向量层根据上下文C和上下文C’计算删除向量和插入向量。这些向量分别在改写层删除响应R’中无用的信息和提取上下文C的关键信息,然后输入到解码层计算得到响应R。本文实验在信息量和多样性两个评价标准上分析对比现有的优秀基线模型和本文模型的性能,发现本文模型优于大部分现有模型。为了进一步探索模型性能提高的来源,本文分别研究了响应R的质量和上下文相似度之间的关系、测试模型的案例和模型复制检索到的响应R’的程度。最后得出结论:本文模型的删除向量可以减少响应R’中的不必要复制,模型可以从检索到的响应中提取有用的信息并生成更有趣的响应,且具有丰富的信息性。模型甚至学习到了上下文相似度与两个响应距离之间的变化关系。