论文部分内容阅读
在开放域对话生成系统中,Seq2Seq模型取得了不错的效果。但是,由于Seq2Seq模型没有着重建模情感信息,因而该模型生成的回复语句往往在情感上与源语句不太匹配。为了在对话系统中引入外部情感信息进而引导其生成情感合适的回复语句,我们将基于PAD情感状态模型的PAD情感向量引入Seq2Seq模型并取得了比传统Seq2Seq模型更好的效果。“PAD情感状态模型”是用以描述和度量情感状态的一种心理学模型,它包含三个数值型维度:愉悦度、激活度和优势度,理论上可以利用这三个维度表示所有的情感状态。在本文中,首先,我们根据PAD情感向量词典赋予每一个词语一个三维的PAD情感向量,该向量代表了词语的情感信息,然后,将词语的PAD情感向量和词向量一起作为编码器的输入进行“联合编码”,这为Seq2Seq模型增加了额外的情感信息。其次,为了解码器能够在解码阶段有选择性地“关注”上下文的内容信息和情感信息进而生成情感合适的回复,本文提出“联合注意力机制”,包括“内容注意力机制”和“情感注意力机制”。“情感注意力机制”基于PAD情感向量,它可以在解码时有选择地“关注”并充分利用源语句中词语的PAD情感向量包含的情感信息,进而引导模型生成情感质量更高的回复。在心理学中,共情是一种至关重要的情绪引导机制,受此启发,为了引导模型产生“共情式”回复,我们扩展了“交叉熵损失”,提出基于PAD情感向量的“情感交叉熵损失”替代“交叉熵损失”作为Seq2Seq模型的损失函数。我们通过自动评价和人工评价对模型的效果进行了对比和分析。实验结果表明,相比于传统Seq2Seq模型,我们提出的基于PAD情感向量的Seq2Seq模型可以产生质量更高的回复。综合Perplexity评价指标和人工评价,S2S+W2AV+JAtt+Aff-XENT模型是我们提出的所有模型中表现最好的模型；相比于基准模型(Seq2Seq模型),该模型能够产生在情感上更为合适且语言更为流畅的回复,这证明了我们提出的“基于双向LSTM的联合编码”、“基于PAD情感向量的情感注意力机制”以及“情感交叉熵损失”的有效性。