基于多头注意力机制和特征融合的新闻文本分类研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:cmxhjjcz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今互联网技术的飞速发展的同时,伴随着海量又杂乱无章的网络信息产生,因此采取有效的信息管理手段是很有必要的。新闻文本作为信息的重要载体,如何对海量的新闻文本进行分类以挖掘出有价值的信息成为当前热门研究课题之一。面对中文新闻文本分类任务,传统的文本表示方法存在无法解决一词多义和不能为文本提供丰富的上下文语义表征等问题。通过文本表示方法获取Embedding表示,在文本特征提取的过程中,文本特征之间缺乏全局语义上的依赖关系,且获取的最终分类特征包含的文本信息量不够全面,缺乏特征的粒度多样化。本文提出一种基于多头注意力机制和特征融合的新闻文本分类模型。针对传统文本表示方法存在的局限性,采用BERT预训练语言模型作为训练词向量的方法,该方法是基于先进的双向Transformer编码器来提取文本语义特征,通过这种动态表征方法生成的文本表征包含了丰富的文本位置信息和序列信息。为了获取包含多方面语义的文本局部关键信息,在文本局部特征提取过程中融入了多头注意力(Multi-Head Attention)机制,首先将文本经过BERT模型获取的字符级粒度Embedding输入到卷积神经网络(CNN)中,采用三种尺寸的多个卷积核提取不同距离的字片段信息,经池化和Dropout操作后输出代表性的局部文本语义特征,然后采用多头注意力机制从不同语义表示子空间里捕捉文本信息,增强局部特征间的依赖关系,生成包含多方面语义的局部关键信息。为了最大化新闻文本最终表示的信息量,从文本特征多粒度化和结合新闻内容的结构特点这两个角度出发,将以下三部分文本特征进行融合,作为新闻文本的最终分类特征:一是将通过BERT模型输出的全文内容字符级表征输入到卷积神经网络和多头注意力机制的组合模块中,得到多方面语义上的文本局部关键特征;二是通过BERT模型输出的全文内容句子级表征;三是为了在较大程度上保留新闻文本中的重要信息,单独提取出标题部分,通过BERT模型输出标题内容句子级表征。最后,将融合后生成的文本最终分类特征输入到Softmax分类器中完成最后的分类任务。基于清华大学NLP组公开的THUNews新闻文本数据集进行实验,将本文提出的模型取得的分类结果与基准模型进行对比,并进行消融分析。实验结果表明,本文提出的模型的分类结果在各项指标均优于基准模型,平均准确率、召回率、F1值分别达到96.54%、96.51%、96.50%,并在消融分析中取得了预期的结果,验证了模型的有效性和合理性。
其他文献
随着我国对于“国家智能电网”计划概念的提出,近几年时间,我国电力部门大大加快了对于国家电力系统建设步伐。电力系统对于电能的变电和配电主要是利用变电站进行完成的,物联网下的变电站对于各项数据的监测其主要目的就是帮助变电站的供电部门及时了解变电站的整个运行和变电设备的安全性监控和报警。而物联网作为智能识别和监测的主要技术手段,与已经建设完成并参与实际应用的通信网络进行有效结合,从而使该系统可以实时监测
近年来,由于具有部署灵活、高质量视距信道、高移动性以及适应性强等优点,无人机成为学术界和工业界的研究热点。在未来的6G通信网络中,无人机相较于地面固定式通信设备能够提供更加灵活的通信服务,将成为通信网络不可或缺的组成部分。无人机的应用场景主要为按需的短期服务场景,比如为高度密集区域提供通信卸载、计算卸载和无线能量传输等服务。在这种情况下,由于突发的服务请求和复杂多变的环境,部署地面基础设施存在成本
随着电力系统规模日益扩大,各个行业发展对电力依赖程度的加深,经济调度是电力系统运行的最重要问题之一。同时,国家的经济发展主要依托的基本物质就是能源,国家经济的产业基本是工业能源,实现国家“新基建”战略发展和升级工业4.0的重要物质基础也是能源。在全世界各个国家的稳定发展过程中也将其能源作为其中国家战略问题之一。作为一种不但有助于提升能源利用率,而且有益于改善环境问题的产业,热电联产适合可持续发展的
随着配网的发展和配网市场的建立,传统的馈线终端设计简陋、使用不便利且处理能力较弱,它不能实现自动配网系统数据采集和电源可靠度的要求。而对智能馈线终端LY-F30而言,其核心功能控制和测量,对配网自动化的建设起着关键作用。作为一种新型的馈线终端,在配网领域内得到了广泛的运用。新型的馈线终端LY-F30作为物联网和嵌入式技术在配网领域的一个应用典型,为目前安全性较低、使用不灵活处理能力较差且设计单一等
随着动车组列车行驶速度的不断提高以及铁路网络的不断完善,电气化铁路运输已然成为我国运输的主要手段,它以速度快、载重大、能效高、不污染环境等优点而被广泛应用。但是随着电气化铁路运输的发展,也带来了相应的电能质量的问题,考虑到动车组列车中很多元件都是非线性的,它在行驶时会形成谐波电流,这些谐波电流都会通过牵引变电站流向地区电网并对地区电网的稳定运行造成了隐患。伴随着我国越来越多电气化铁路的兴建以及投运
AGV是一种通过不同的导航方式引导,然后通过差速或者舵轮运动的自动引导车,由于物流行业的兴起,渐渐成为工业4.0的主力军,因此得到自动化行业学者的高度重视,尤其是AGV路径跟踪这方面的问题,是目前AGV行业最难解决也最需要解决的。AGV路径跟踪问题归根到底是消除AGV与设定轨迹偏差的问题,本文首先结合无人驾驶技术中应用得较为广泛的LQR控制和MPC控制,对激光导航方式的单舵轮AGV的路径跟踪控制方
同步定位与建图(Simultaneous Localization and Mapping,SLAM)是机器人实现全自主移动的技术关键,SLAM技术在无人机、无人驾驶、虚拟现实等领域已经实现了多样化的运用。视觉SLAM一直是热门的研究方向,随着计算机视觉和人工智能技术的发展,多传感器融合SLAM、增强语义SLAM、非特征点SLAM都是研究的热点。目前,基于特征点的视觉SLAM技术研究相对成熟,将S
DC-DC(直流-直流)变换器作为直流电能转换设备的核心元件,备受电力电子领域学者的关注。近年来,随着便携式电子设备的市场规模呈爆炸式增长,安全高效的电能转换元件对于电源设备的重要性则愈加突出,针对DC-DC变换器的研究也愈发重要。目前已有较多高效的控制方法应用于DC-DC变换器的控制研究中,但这些方法尚存在一些不足,有待进一步优化与改进。本文基于切换仿射模型,研究了DC-DC变换器的采样控制方法
农作物病虫害是农业生产中粮食安全长期存在的隐患,而农药的过度使用将造成过多残留量,将严重影响人的身体健康。随着人工智能在农业的应用越来越广泛,由于人工识别农作物病害带来的效率慢和准确率低等问题逐步得到解决,农业病害发展初期防治的最佳时机成为重要目标。深度学习技术应用到农业病害的识别上取得很好成效,但目前还存在样本不平衡、困难样本分类难等问题。论文针对这些问题,提出几项算法的改进措施并搭建农作物病害
工业机器人已经开始用于物流本包裹分拣业务中,它利用计算机视觉技术实现自动化流水线的分拣模式,自动化水平的不断提升。然而,工业机器人分拣系统在实际使用中,由于分拣类别不同,系统性能要求、分拣精度等方面也存在差异。物流成交量比较高的状态下,极容易出现“错件”分拣、快递分拣速度低等问题,将严重影响快递包裹分拣。本设计对工业机器人分拣系统的性能、功能等方面进行研究,用机械臂代替人工分拣,进一步提升了工业机