论文部分内容阅读
人机对话技术是自然语言处理领域的研究热点。用户意图分类与语义槽填充作为对话理解的核心任务,吸引了学术界和工业界的广泛关注。随着神经网络和深度学习技术的发展,尽管在用户意图分类与语义槽填充方面的研究进步显著,但依然存在许多挑战:(1)已有的研究通常使用循环神经网络(Recurrent Neural Network,RNN)对用户问题进行语义编码,而循环神经网络的梯度问题制约了模型的性能;(2)利用从左到右或从右到左的单一上下文信息不能充分反映句子表达的语义语境信息;(3)大多数方法将用户意图分类与语义槽填充视为独立任务单独处理,忽视了不同任务之间的联系和影响。本文聚焦于从语义融合、多任务学习和迁移学习等方面对用户意图分类与语义槽填充技术展开研究。本文的主要贡献总结如下:(1)针对已有方法对用户输入的意图识别性能不高、没有充分发挥句子中领域核心词对语义表示的贡献等问题,提出了一种基于独立循环神经网络(Independently Recurrent Neural Network,IndRNN)和词级别注意力机制(Word-level Attention Mechanism)的用户意图分类方法,以提升模型性能。该方法使用多层独立循环神经网络对聊天文本进行语义编码,并引入词级别注意机制计算领域核心词汇的贡献度。在第六届全国社会媒体处理大会中文人机对话技术评测(SMP2017-ECDT)多领域任务型对话数据集上的实验结果表明,本文方法在整体性能和31个任务类别上的性能均有显著提升。(2)针对已有方法对槽位边界识别性能不高、上下文语义建模不充分等问题,提出了一种局部语义和全局结构信息融合的语义槽填充方法。具体地,该方法利用全局自注意力(Self-Attention)机制学习句子的全局结构信息,利用卷积神经网络(Convolutional Neural Network,CNN)抽取句子的局部语义信息。在任务型对话基准数据集ATIS上的实验结果表明,融合局部语义信息和全局结构信息的槽填充效率大幅度提升。(3)针对意图与槽位之间的关系建模及知识迁移问题,提出了一种基于预训练语言模型(Bidirectional Transformer Encoder,BERT)的联合建模方法。该方法设计了一个基于编码器-解码器的两阶段学习框架,提出了一种基于特定槽位的意图奖励机制,建立了用户意图与语义槽之间显式的联系,为对话理解模型的训练和可解释性提供了一种新视野;通过引入BERT,给予目标任务模型更好的初始化,有效地增强和丰富了语言上下文知识。