近年来,随着大规模并行计算技术的进步,基于神经网络的对话系统得到快速发展。但是,当前开放域对话系统依然存在以下问题:对话模型容易生成上下文无关、不合语法甚至自相矛盾的回复。模型未能较好的完成自然语言理解与生成任务。本文的研究主题在于构建一个能生成高质量回复的开放域对话系统,在预训练语言模型的基础上,从语言理解与对话生成角度对原有模型进行改良。本文的主要内容可以归纳如下:1)提出了一种引入真实回复信息的回复感知对话模型。本文使用回复感知方法提取真实回复中的潜在信息,然后结合预训练模型的对话生成能力,使模型能够生成更加贴近真实回复的输出。为了解决引入真实回复带来的曝光偏差问题,本文采用计划采样与回复预测方法来缩小模型输入在训练和生成阶段的差异。实验结果表明联合使用计划采样回复预测方法,模型能够获得更好的效果。此外,考虑到预训练模型和循环神经网络在模型架构上的差异,本文对计划采样方法进行了改进,使之可以应用于预训练模型,提升了计划采样的计算效率。2)提出了一种基于自然语言推理机制的对话生成模型。本文通过自然语言推理对复杂繁多的对话上下文进行筛选,过滤其中的无关信息从而对模型输入进行校正。为了提升语言推理的准确性,模型从对话上下文与真实回复两个角度应用自然语言推理管理对话上下文。实验结果表明,过滤后的对话上下文能够引导模型产生更好的回复。最后,本文还将自然语言推理用于评估模型生成的回复与上下文的一致性,拓展了自然语言推理在对话系统中的应用。3)基于改进的对话模型,本文采用软件工程的方法,分析、设计和实现了一个对话系统。总体来说,本文的工作重点是提高开放域对话系统中生成回复的质量,主要思想是提高模型对真实回复和对话上下文的语言理解能力。自动评估和人工评估结果都证明了所提出方法的有效性。