论文部分内容阅读
基于语义的用户意图识别问题属于自然语言处理问题的范畴,其本质上为一个多分类问题。随着互联网发展,人机对话系统的发展也越来越迅速,需求越来越明确,近年来得到学术界和工业界的重视。而人机对话系统中用户意图识别是很重要的模块,其准确性的提高对于系统生成合理回答有重要的意义。
目前意图识别的大部分方法都是基于语义,通过分析文本内容然后应用深度学习算法得到多分类结果。比如使用循环神经网络、长短期记忆网络以及门循环单元网络等深度学习模型或其变种模型来进行分类。同时也存在使用支持向量机以及XGBOOST等传统机器学习模型来进行文本多分类的研究。
研究针对用户意图分类问题,以SMP2017以及SMP2018竞赛中带有意图标签的对话文本为数据,分析了传统机器学习模型与常用深度学习模型在此任务上的表现。同时提出了基于字符级向量的CNN-BGRU-ATTEN组合模型来解决此任务,该模型巧妙地结合了卷积神经网络(CNN )以及带有注意力机制(ATTENTION)的双向门循环单元网络(BGRU),相比于其他模型准确率提高至93.3%。该模型将输入文本转化为字符特征向量表示,随即通过卷积神经网络进行句子顺序维度方向上的卷积操作。得到的输出经过特征融合进行拼接,此时向量的位置信息依然得到保留。接下来通过带有注意力机制的双向门循环单元网络,根据注意力机制方法计算节点的注意力权重。这样的组合网络结构设计既可以通过卷积神经网络提取文本的深层语义,同时通过双向门循环单元网络兼顾上下文的序列信息,最后增加注意力机制来优化注意力分布。
研究最后设计了多组对比实验,实验证明该组合模型在基于语义的用户意图识别问题上有较好的表现。文本特征向量(词级与字符级)的对比实验表明当字符向量维度为200时效果最佳,相比向量随机初始化准确率提高4.8%。对比实验还包括了模型参数维度、循环单元类型、双向结构有效性以及注意力机制必要性的对比,最后还综合对比组合模型与传统机器学习模型以及常见深度学习模型。综合对比实验表明该组合模型比传统机器学习模型(Xgboost)准确率提高了10.7%,比常用深度学习模型(BGRU)准确率提高了5.8%,验证了该组合模型的合理性和有效性。
目前意图识别的大部分方法都是基于语义,通过分析文本内容然后应用深度学习算法得到多分类结果。比如使用循环神经网络、长短期记忆网络以及门循环单元网络等深度学习模型或其变种模型来进行分类。同时也存在使用支持向量机以及XGBOOST等传统机器学习模型来进行文本多分类的研究。
研究针对用户意图分类问题,以SMP2017以及SMP2018竞赛中带有意图标签的对话文本为数据,分析了传统机器学习模型与常用深度学习模型在此任务上的表现。同时提出了基于字符级向量的CNN-BGRU-ATTEN组合模型来解决此任务,该模型巧妙地结合了卷积神经网络(CNN )以及带有注意力机制(ATTENTION)的双向门循环单元网络(BGRU),相比于其他模型准确率提高至93.3%。该模型将输入文本转化为字符特征向量表示,随即通过卷积神经网络进行句子顺序维度方向上的卷积操作。得到的输出经过特征融合进行拼接,此时向量的位置信息依然得到保留。接下来通过带有注意力机制的双向门循环单元网络,根据注意力机制方法计算节点的注意力权重。这样的组合网络结构设计既可以通过卷积神经网络提取文本的深层语义,同时通过双向门循环单元网络兼顾上下文的序列信息,最后增加注意力机制来优化注意力分布。
研究最后设计了多组对比实验,实验证明该组合模型在基于语义的用户意图识别问题上有较好的表现。文本特征向量(词级与字符级)的对比实验表明当字符向量维度为200时效果最佳,相比向量随机初始化准确率提高4.8%。对比实验还包括了模型参数维度、循环单元类型、双向结构有效性以及注意力机制必要性的对比,最后还综合对比组合模型与传统机器学习模型以及常见深度学习模型。综合对比实验表明该组合模型比传统机器学习模型(Xgboost)准确率提高了10.7%,比常用深度学习模型(BGRU)准确率提高了5.8%,验证了该组合模型的合理性和有效性。