基于BERT-BiGRU模型的文本分类研究

来源 :天津理工大学学报 | 被引量 : 0次 | 上传用户:seanzhow
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本分类是自然语言处理的典型应用,目前文本分类最常用的是深度学习的分类方法.针对中文文本数据具有多种特性,例如隐喻表达、语义多义性、语法特异性等,在文本分类中进行研究.提出基于编码器-解码器的双向编码表示法-双向门控制循环单元(bidirectional encoder representations from transformers-bidirectional gate recur-rent unit,BERT-BiGRU)模型结构,使用BERT模型代替传统的Word2vec模型表示词向量,根据上下文信息计算字的表示,在融合上下文信息的同时还能根据字的多义性进行调整,增强了字的语义表示.在BERT模型后面增加了BiGRU,将训练后的词向量作为BiGRU的输入进行训练,该模型可以同时从两个方向对文本信息进行特征提取,使模型具有更好的文本表示信息能力,达到更精确的文本分类效果.使用提出的BERT-BiGRU模型进行文本分类,最终准确率达到0.93,召回率达到0.94,综合评价数值F1达到0.93.通过与其他模型的试验结果对比,发现BERT-BiGRU模型在中文文本分类任务中有良好的性能.
其他文献
以往绝大多数研究探讨了领导授权行为对下属的影响,却忽略了下属视角期望的影响.为此,基于内隐领导理论和期望理论,从二元的视角探究了“领导授权行为”和“下属授权期望”匹配状况对下属工作绩效的影响,并构建了领导授权行为和下属授权期望通过工作投入影响下属工作绩效的理论模型,以试图弥补现有研究忽略下属作用的不足.通过多项式回归与响应面分析,对来自4个城市6家公司收集的168对领导-下属配对数据进行分析,研究表明:①领导授权行为和下属授权期望有4种匹配情况,领导授权行为和下属授权期望一致时,对下属工作绩效的积极影响高
“电功”让学生从能量转化的角度认识了电学,同时也是学习电功率、电热的基础.教学中关于电功大小与哪些因素有关的实验探究,通常存在实验设计较复杂、实验效果不明显、实验操作存在安全隐患等问题.文章将教育技术与物理教学相融合,介绍如何利用多功能电表和通电计时器定量探究电功大小与电压、电流、通电时间的关系.
为了提高通信系统的抗干扰性能,本文以软件无线电为基础,利用LabVIEW(laboratory virtual instrment engineering workbench)软件和通用软件无线电外设(universal software radio peripheral,USRP)硬件设计了 基于ALO-HA协议的跳频抗干扰传输系统.在调频(frequency modulation,FM)电台干扰与人为干扰的环境下,进行了数据传输实验,并最终计算出相应的误码率.实验结果表明,设计的跳频传输系统的抗干扰性
知识与实践的双向融合是形成物理核心素养的关键,素养是在理论指导实践、实践创新理论的过程中螺旋上升.模块化的科学探究设计要求学生自主经历探究的全过程,学生提出与生产生活实际相联系的探究主题,在完成项目的过程中随时进行输入、编码、记忆、输出,随学随用,动态建构,即时检验,通过探究自主构建出熟练操作实验的程序性知识及描述实验问题、假设、原理、方案、步骤、数据、模型、结论、误差等的陈述性知识,最后以书面研究报告的形式将记忆表征外显化,由此构建物理观念、形成科学思维、感悟科学家作研究的态度与精神,形成具有专业特征的
学科教学知识(PCK理论)是影响教学效果的重要因素.文章基于PCK理论,以“功”的教学为例,分析其在初、高中教学的衔接,发现其在知识结构、思维模式、教学难度等方面存在跨度大、螺旋上升的特点,并针对高中教学提出降低思维梯度、问题链同化知识、突破衔接深化点与弥补数学知识等衔接策略.
随着科学技术的快速发展,对于机械零件的质量要求越来越高.考虑进给速度的因素,铣刀切削刃的真实运动轨迹为次摆线轨迹.同时,考虑铣刀切削刃的间断分布,立铣刀加工时,会在进给方向的侧面上产生扇形残留.本文以立铣刀侧铣为例,研究了工件表面沿进给方向存在的扇形残留,铣刀半径和切削刃数对扇形残留的影响规律.
文章以基于电磁阻尼原理的减速缓冲器模型为研究对象,先分析待减速装置实现减速的基本原理,再深入分析高中阶段以电磁阻尼原理制成的减速缓冲器背景类试题的特点及其一般处理方法.以期对广大同行教师在讲授这类试题时有所帮助.
文章将教材章前栏目、章内栏目和章末栏目作为一个整体,分析不同类型栏目的功能和特点,并基于相关理论构建教材栏目设置的评价标准.同时,以《机械振动》一章为例,对人教版、粤教版、鲁科版教材的栏目设置进行比较研究,为教师二次开发教材提供参考.
反冲是动量守恒定律的重要应用之一,对于“什么是反冲”这个问题,容易得出答案,但是不好解释.新教材在旧教材的基础上做了修改,在思考教材改编原因的过程中,逐渐明晰反冲的本质是“力的反”,理解了为何火箭是本节的重要应用情境,深刻感受到牛顿运动定律在宏观世界的“霸主地位”,并设计了本节的习题课,希望通过三个核心问题设置认知冲突、引导学生自主挖掘反冲的本质,体会物理学的和谐与统一.
以高三物理复习课“轻绳与弹簧的弹力突变问题”为例,通过“情境—推理—验证”的科学探究过程,强化学生的物理观念,提升学生的科学思维,升华学生的科学态度与责任.通过设计教学核心环节来发展学生的物理核心素养,使之内化为学生的必备品格和关键能力.