论文部分内容阅读
人机对话作为人工智能领域的核心技术之一,以其广阔的应用前景以及诱人的商业价值备受学术界和工业界的瞩目。从早期的Eliza和Parry,到类似Siri的智能个人助手,再到如今的聊天机器人,如小冰,人机对话系统不断地改变着人们的生活。聊天机器人,旨在通过人机交互中自然、流畅且多样的对话以满足人类的交流以及情感陪伴的需求。因此,一个出色的聊天机器人应该同时具备智商和情商。然而,现有的对话系统的研究工作主要聚焦于改善句子的质量,对于情感的关注还相对较少。因此,本文主要关注情感对话生成,该任务旨在生成蕴含情感且语义流畅的回复,从而实现更加自然的人机交互。近年来,随着深度学习技术的流行,研究人员逐渐采用seq2seq生成模型来实现对话系统,而不仅是依赖基于模板和检索等方式。因此,本文分别将seq2seq模型与主题模型和变分自编码器相结合来提高回复的相关性和多样性,并且在此基础上融合情感因素,使得模型能够生成蕴含情感的回答。本文的主要工作如下:1)为了生成蕴含情感且与输入内容相关的回复,本文将情感因素和主题信息同时与seq2seq模型相结合,构建了一个基于注意力机制的主题增强情感对话生成模型(TE-ECG)。该模型首先通过基于双向长短期记忆网络的编码器对输入进行编码,然后利用一个Twitter LDA模型获得输入的主题词作为模型的额外输入,主题信息的融入使得输入和输出共享同一主题,保证了回复内容的相关性。最后,模型通过动态情感注意力机制同时捕捉输入文本及额外的主题词中与情感相关的信息。本文在NLPCC-ICCPOL 2017发布的情感对话生成语料上进行了实验。基于人工评价和自动评价的实验结果表明,TE-ECG在各项指标上相比其他方法均有一定的提高。2)TE-ECG模型融入了情感的同时改进了句子的质量,但回复内容仍然缺乏多样性。为了缓解这个问题,本文提出了基于变分自编码的情感对话生成模型(VAE-ECG),其利用VAE的特性能够更好地对文本的潜在语义进行建模。该模型分为三个模块:变分编码器用来编码输入和输出序列;变分推理是为了对隐变量的近似后验分布进行建模;变分解码器利用上下文语义向量、隐变量以及情感状态解码得到生成的回复。本文在NLPCC-ICCPOL2017发布的情感对话生成语料上进行了实验。基于自动评价的实验结果表明,VAE-ECG模型在基于Unigram和Bigram的多样性指标上相比其他基准模型均有一定的提高,验证了该方法的有效性。