论文部分内容阅读
近年来,随着计算机的性能突飞猛进,特别是图形处理单元(GPU)的使用,促进着自然语言处理领域研究的不断发展,其中,基于深度学习的对话系统取得了巨大的进步。然而,当前对话系统的研究主要集中于对于句子语义的理解,并未考虑到情感因素对于整个系统的影响。情商作为人类智力的重要组成部分,高情商的人可以察言观色,根据对话中的情感因素给出最佳的回复。所以让对话系统能够进行情感表达,可以提高对话系统生成对话的质量,从而带来更好的用户体验。同时,生成式对抗网络在对话系统的使用,可以提高传统机器学习方法的准确性,并使得生成的对话更加类人化。首先,本文对机器翻译模型Transformer和GNA-RNN模型中的语言子网络的结构和原理进行了相关研究。Transformer模型中通过对词向量进行多尺度的变换,可以得到不同维度的语义特征,进而提高了模型的准确性;GNA-RNN模型通过语言子网络增加语句中重要单词的权重,从而提高了模型进行相关图片搜索的能力。为了提高序列生成模型的准确性,本文提出了词级权重网络,将经过词嵌入的语句向量作为输入,语句中各单词的权重作为输出,并与序列生成模型生成的语句相乘,得到最终的输出。通过增加语句中重要单词在句子中的权重,提高其在序列生成中的影响力,从而提高序列生成模型的准确性。其次,本文对多情感对话生成模型ECM和序列生成模型SeqGAN进行了分析和研究。原始的ECM虽然可以生成带有情感因素的语句,但是其生成的部分语句出现了语法错误,以及语义表达不准确的问题。而SeqGAN解决了传统对话系统中语法错误和语句冗余等缺点。本文将SeqGAN模型与带有词级权重的ECM模型进行结合,提出了一种新的多情感对话生成模型ECGAN,该模型将ECM作为生成器,多级RNN作为判别器。通过ECGAN可以生成更加类人化的语句,提高了原有ECM模型的准确性。最后,使用NLPCC2017数据集对ECGAN模型进行训练,并与之前的ECM模型和词级权重ECM模型进行对比,对比结果表明,ECGAN生成的语句的句意更加准确且更加的类人化。