基于语义的用户意图识别算法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:shifter_2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于语义的用户意图识别问题属于自然语言处理问题的范畴,其本质上为一个多分类问题。随着互联网发展,人机对话系统的发展也越来越迅速,需求越来越明确,近年来得到学术界和工业界的重视。而人机对话系统中用户意图识别是很重要的模块,其准确性的提高对于系统生成合理回答有重要的意义。
  目前意图识别的大部分方法都是基于语义,通过分析文本内容然后应用深度学习算法得到多分类结果。比如使用循环神经网络、长短期记忆网络以及门循环单元网络等深度学习模型或其变种模型来进行分类。同时也存在使用支持向量机以及XGBOOST等传统机器学习模型来进行文本多分类的研究。
  研究针对用户意图分类问题,以SMP2017以及SMP2018竞赛中带有意图标签的对话文本为数据,分析了传统机器学习模型与常用深度学习模型在此任务上的表现。同时提出了基于字符级向量的CNN-BGRU-ATTEN组合模型来解决此任务,该模型巧妙地结合了卷积神经网络(CNN )以及带有注意力机制(ATTENTION)的双向门循环单元网络(BGRU),相比于其他模型准确率提高至93.3%。该模型将输入文本转化为字符特征向量表示,随即通过卷积神经网络进行句子顺序维度方向上的卷积操作。得到的输出经过特征融合进行拼接,此时向量的位置信息依然得到保留。接下来通过带有注意力机制的双向门循环单元网络,根据注意力机制方法计算节点的注意力权重。这样的组合网络结构设计既可以通过卷积神经网络提取文本的深层语义,同时通过双向门循环单元网络兼顾上下文的序列信息,最后增加注意力机制来优化注意力分布。
  研究最后设计了多组对比实验,实验证明该组合模型在基于语义的用户意图识别问题上有较好的表现。文本特征向量(词级与字符级)的对比实验表明当字符向量维度为200时效果最佳,相比向量随机初始化准确率提高4.8%。对比实验还包括了模型参数维度、循环单元类型、双向结构有效性以及注意力机制必要性的对比,最后还综合对比组合模型与传统机器学习模型以及常见深度学习模型。综合对比实验表明该组合模型比传统机器学习模型(Xgboost)准确率提高了10.7%,比常用深度学习模型(BGRU)准确率提高了5.8%,验证了该组合模型的合理性和有效性。
其他文献
随着私家车的普及和交通体量的增大,智能交通监测技术已经得到了越来越多的关注,智能交通监测可以支持一系列应用例如交通堵塞疏导,智能交通管理和自动驾驶辅助等。而针对于一些需要低投入,部署范围广,方便扩展的特定场景如乡村道路监测,特定时间和路段的交通量调查等,如何实现便携的,有效的,易扩展的,低成本的,便于部署的以及鲁棒性强的智能交通监测就尤为重要。  通过测量细粒度的无线信号信道状态信息的变化实现智能
随着RDF(ResourceDescriptionFramework,资源描述框架)数据的逐渐增多和SPARQL(SPARQL Protocol and RDF Query Language)查询处理场景的日益丰富,查询计划的生成面临很多挑战。一方面,现有的RDF查询处理系统在生成查询计划时比较耗时。另一方面,这些系统在生成查询计划时对代价的估计不够准确,且较少考虑查询执行的并行技术,使得查询执行
深度学习作为最强大的数据挖掘技术,在各个领域都有着广泛的应用前景。然而在基于云计算的服务模式下,如果用户数据中存在隐私敏感信息,那么将存在潜在的隐私泄露风险。同时,深度学习算法提取到的中间特征不具有抗隐私分析能力,也存在对应的隐私泄露风险。  针对深度学习应用在推理阶段面临的用户数据隐私泄露风险,模型分割部署模式基于深度神经网络层级连接的特点,将神经网络从中间层一分为二,分别部署在客户端与服务器端
学位
近年来,图规模和图数据量的快速增长使得分布式图计算吸引了越来越多研究者的注意。拥塞模型是分布式算法设计中最常使用的模型之一,然而带宽的限制使得一些复杂的图计算问题在时间复杂度(在分布式算法中多用轮数复杂度表示时间复杂度)上往往难以令人满意。分布式图性质测试是一种可以有效降低算法轮数复杂度的方法:根据给定图具备或者ε-远离目标性质,图性质测试算法会相应地以一定概率(通常为2/3)输出肯定或否定结果。
深度学习训练过程中,训练数据的传输路径一般为从磁盘到DRAM,然后再到GPU内存。该路径的效率很大程度上受限于磁盘I/O的性能。非易失性随机访问内存(Non-volatile Random Access Memory , NVRAM )提供了一种新的解决思路。NVRAM容量大,读取速度快,但写入速度相对较慢,因而通常和DRAM组合成混合内存系统,以改善系统性能。然而,目前绝大多数深度学习系统尚未挖
学位
随着社会公共安全需求的不断增长,高清监控设备已经遍布城市的各个角落,人们的一言一行都以图像序列的形式保存下来,传统的基于人眼分辨的模式不论是在成本还是效率方面都显得力不从心。行人重识别(Re-ID)的任务就是解决跨摄像设备下的行人匹配问题,通常被认为是目标检索的子任务,主要是利用行人步态动作、身体特征等更为全面的信息来识别人物,基于深度学习的行人重识别算法已经是当下一个热门的研究方向。  对比学习
学位
在分布式深度学习训练中,梯度和参数的同步通常会带来巨大的网络通信开销。现有的通信优化方法主要包括通过量化或稀疏的方式进行梯度压缩和一些通信模式的优化。然而,现有的方法一般对所有层和所有网络采用同样的压缩方法,忽视了网络中不同层的不同特性及不同网络的差异性,导致优化效果不理想。  针对现有优化方法的不足,提出一种基于模型结构特性的混合通信优化方法——Hylo。采用两种不同的策略对两种不同类型的层(卷
信息时代飞速发展,给人们生活带来便利的同时也带来了信息过载。推荐系统作为一种重要的工具在各种在线平台上为消费者带来了极大的便利。神经网络和注意力机制在自然语言处理等序列任务上有着突出的表现,因此也被迅速应用到了推荐系统中。神经网络相关的推荐算法主要是通过多层感知机来获取用户的总体偏好,而注意力机制相关的方法则主要利用其能够获取序列重点的特性来实现用户序列推荐。这些方法在隐式反馈推荐上分别取得了很好
学位
信息化时代,人们可以接触到大量信息,但相应地也给人们选择感兴趣的信息带来巨大挑战。伴随着信息爆炸,推荐算法得到了学术界和工业界的广泛关注。现代推荐系统的两个核心:一是学习用户和项目的嵌入(即将用户和项目转换为矢量化表示),二是对交互建模,其基于嵌入重建历史交互。作为现代推荐系统的核心之一,研究更好的学习用户和项目的潜在嵌入表示的方法非常有意义。  为了更好的学习用户和项目的潜在特征表示,设计和实现
学位
无服务计算,又被称为“函数即服务”,是云计算领域正兴起的一个事件驱动服务模型。在无服务模型中,应用由被单独执行和管理的函数组成,由用户请求触发并动态执行。目前,云服务提供商普遍采用容器或虚拟机来执行这些函数,在无服务模型中的函数通常执行时间很短(毫秒级)的情况下,容器和虚拟机的启动用时给响应用户请求带来了较高的延迟。同时,不同函数间的通信基本上依靠网络设备和共享内存完成,导致了很高的性能开销。  
学位