论文部分内容阅读
自然语言理解是人机对话系统的核心组成部分,意图识别是实现自然语言理解的关键技术之一。随着人机对话系统的不断发展,越来越多的对话机器人产品走进人们的生活中,但是人机对话时人类多使用短句和省略词。这些短文本存在内容短、数据量大、表达不规范等特点,这些特点导致在意图识别时常面临文本噪声多、特征稀疏、一词多义、前后对话信息不独立等问题。为解决上述问题,本文首先针对人机对话中短文本向量化表示时不能表征一词多义以及语义缺失的问题,分别介绍了BERT模型和word2vec模型,以及两个模型向量的融合方法,提出了基于BERT和word2vec的联合模型的短文本向量化表示方法,实验表明融合后的向量化表示可以较大程度的提升分类模型的分类性能。其次针对人机对话的短文本包含多种意图且特征稀疏的问题,描述了CNN、LSTM意图识别模型,重点阐述了多头注意力机制对短文本序列进行权重分配的过程,提出了基于多头注意力机制和特征融合的多意图识别方法,实验结果对比表明该方法的识别效果更好。最后针对前后文对话信息不独立的问题,基于BLSTM模型,通过分析经常出现的两种不同的多轮对话情况分别描述了两个历史存储方法,并阐述了利用门函数筛选有用历史信息的方法,提出了基于BLSTM的多轮对话下的短文本意图识别方法,实验对比结果表明带有独立存储单元和门控函数的BLSTM模型的识别效果优于单纯的BLSTM模型和只带有存储单元的BLSTM模型。