基于ERNIE模型的知识蒸馏在智能对话意图识别的应用

来源 :计算机应用 | 被引量 : 0次 | 上传用户:xiaotang111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
意图识别是任务型智能对话中的核心,用户问题的意图理解本质是文本分类问题。基于预训练的迁移学习BERT(Bidirectional Encoder Representations from Transformers)极大的推动了文本任务的发展。在BERT的基础上ERNIE(Enhanced Representation through Knowledge Integration)模型提出对实体概念等语义单元进行mask来预训练模型,增强了模型中文语义表示能力,获取了相对于BERT更加优异的文本分类表现
其他文献
个体位置预测在传染病精准防控、公共设施科学规划等应用中具有重要意义。既有位置预测算法主要侧重对个体纵向历史轨迹特征进行挖掘建模,并实现位置预测,对横向相似性用户的规律特性考虑较少。为此,本文基于图卷积(Graph Convolution Network ,GCN)和长短期记忆模型(Long Short-Term Memory ,LSTM)框架,提出顾及横向相似用户轨迹特征以及纵向历史规律性特征的个
期刊
为了找出排放并扩散VOCs到目标区域的污染源,防止目标区域受到进一步的污染,提出基于对象函数Petri网的关联区域VOCs危害成因解析方法。网结构描述了各潜在污染源和受危害目标区域之间的联系,网系统的运行反映了目标区域VOCs危害程度的变化情况,并将危害程度的计算融入到Petri网系统的运行中。案例研究解析出了导致西安市污染严重的污染源为B肥料厂、A食品工业园和E电子公司,贡献率分别为32.62%
期刊
地球大数据具有多源、高维、时变和海量等特征,难于理解和分析。针对这一问题,面向科普需求,提出并实现了一个基于AR的多人互动地球仪系统。提出了融合AR技术的系统架构,实现虚拟信息与实物地球仪无缝叠加的虚实结合效果;设计了数据可视化展示方案,实现对地球大数据在三维立体空间中的可视化展示;提出了一种轻量级的多人多终端协同机制,提高系统的实用性和趣味性。系统一方面为探索地球奥秘提供了新手段,另一方面也为向
期刊
多楼层环境下室内人群疏散问题是社会关注的热点,而传统的社会力模型在模拟多楼层环境时容易出现停滞等待现象。本文基于小波神经网络来改进社会力模型,建立一种新的多楼层疏散模型。该模型首先利用场域模型来获得行人的运动方向,以此作为社会力模型中行人的自驱力方向。同时给出了多楼层环境下出口拥挤度、路径拥挤度和平均速度的评价指标,并利用小波神经网络建立疏散优化方法。最后,利用搭建的仿真平台和上述改进模型模拟了多
期刊
血管衰老是高血压、冠心病、主动脉夹层等心血管疾病的独立危险因素,而血管内皮细胞和平滑肌细胞的衰老则是血管衰老的细胞学基础.本文主要讨论了内皮细胞和平滑肌细胞衰老的形态学特征、分子标志物以及衰老的机制;阐述了单细胞测序、细胞衰老清理(synolytic)技术和遗传在血管细胞衰老及老年血管疾病诊断和治疗中的研究进展;最后,展望和探讨了通过靶向清除、药物及运动和营养等干预手段,延缓血管细胞衰老、促进血管
期刊
针对四旋翼飞行器执行器故障的问题,提出了一种基于自适应观测器的积分反演滑模容错控制策略,以保证飞行器的安全性和可靠性。首先,建立考虑执行器故障的四旋翼飞行器动力学模型;然后,设计一种自适应故障估计观测器用来观测系统的状态以及估计故障信息;最后,采用积分反演和滑模控制相结合的方法分别设计姿态容错控制器和位置控制器,完成姿态和位置的轨迹跟踪。仿真结果表明,该控制策略能够在执行器故障的情况下快速精确跟踪
期刊
协方差函数在描述信号时域特征和空间相关结构等方面发挥着关键作用.近年来,许多文献研究了协方差函数的非参数估计问题.然而大部分的非参数协方差函数估计量常常无法保证正定性.为克服上述困难,本文在平稳随机过程背景下,首先研究无约束条件的B样条协方差函数估计量的渐近性质;在此基础上,基于完全单调函数与B样条基函数的关系,构造带有约束条件的B样条协方差函数估计量,此估计量满足正定性.然后,通过研究带约束条件
期刊
近年来,在航天发射领域开展了大量的数字化设计验证、数字化合练与模拟训练、箭地联合仿真评估等数字化试验工作,都涉及航天发射信息可视化的问题。利用虚拟现实技术、系统仿真技术、数据可视化技术等,按照多线程、多模块架构设计思想,以及消息队列系统交互模式,构建了集数据管理、场景管理、计算管理和脚本管理功能于一体的航天发射可视化仿真分析技术平台,并开展了多星危险性、特种操作测发工艺、整流罩开孔和测试发射流程状
期刊
传染病影响人类福祉和可持续发展,边境口岸地区是传染病境外输入防控中的薄弱区域,目前对这一特殊区域的风险评估及防控研究较为缺乏。本文构建了一般意义上的边境口岸地区传染病境外输入风险指数(EPI),评估了一般年份中国边境口岸地区传染病境外输入风险,并以2020年新冠肺炎疫情为例,对中国边境口岸不同管控措施情境进行风险分析,识别了疫情境外输入的高风险口岸。结果表明:(1)一般年份中约1/5的中国边境口岸
期刊
高精度降水场是水文、气象以及环境分析的重要数据支撑,直接影响相关服务的准确性。传统降水分布模拟大多依赖站点空间维的驱动因素,而忽略了降水时序变化特征对其空间分布的影响。本文使用2015年—2017年湖北省83个国家气象观测站点和28个省级观测站点近3年月平均累积降水资料,通过相关性分析,引入站点降水时序理论变差函数模型的拱高值(C)和块金值(C_(0))作为影响因素,使用地理加权回归(Geogra
期刊