随着广大学者和专家的深入研究,以知识图谱为基础实现的问答系统,和阅读理解方式的问答模式来到人们视野,这些新颖的问答系统分别从不同的角度解决了检索式对话系统遇到的问题。到今天,它已经从最开始的BASEBALL和LUNAR系统发展为封闭域和开放域的两种成熟的问答系统。如今各种技术类型的问答系统在不同的商业领域中广泛应用。传统面向任务型的对话模型都是采用端到端的方式进行搭建的,一般由编码器和解码器组成,使用的基本神经网络为递归神经网络和卷积神经网络。但在数据量过大,或面临回答多种类型的问题时,传统模型的表现会变得很差。这种模型的记忆能力不足以有效地记录上下文的所有句子信息。鉴于此,本文改进Transformer模型并使用改进后的Transformer模型来克服对话任务中数据量过大和问答类型过多的问题,主要研究内容和创新有以下三点:(1)分析传统神经网络在自动问答领域里的优势和不足,设计一种改进后的Transformer模型,此模型通过堆积自注意力机制、前馈神经网络、残差网络搭建而成,并加入批正则化,标签平滑,条件随机场技术进行优化。(2)设计实现基于改进后Transformer模型对话系统。为了获得更全面的多样性数据信息,本文通过修改激活函数来最大化保留数据信息的多样性,降低模型的稀疏性。训练阶段使用标签平滑技术提升模型的表达能力,增强模型泛化能力。在模型归一化层中加入条件随机场技术增强特征间对应关系,有效提升模型预测的准确性。(3)将改进后的Transformer用于餐厅预订对话场景的对话实验。借助Dialog Accuracy,BLEU,Entity F1三种评价方法对实验结果进行评价。结果表明,与传统神经网络相比,本文所设计的模型,无论是在预测的准确性,收敛速度,还是在回答结果多样性上都要更优。