【摘 要】
：
当前社会的信息产业发展迅速,各式各样的网络服务快速普及,随之而来的是大规模网络数据的激增。新闻、微博以及各类评论性的网络平台,每天都产生着大量的数据信息,如果能对这些数据进行充分挖掘并有效利用,无论是对于个人还是社会都有着十分重要的意义。本文在深度学习方法的基础上,经过大量的理论研究和实验验证,提出了基于预训练混合优化模型的中文短文本分类方法,用于中文短文本数据的分析研究。具体的研究工作如下:在语
论文部分内容阅读
当前社会的信息产业发展迅速,各式各样的网络服务快速普及,随之而来的是大规模网络数据的激增。新闻、微博以及各类评论性的网络平台,每天都产生着大量的数据信息,如果能对这些数据进行充分挖掘并有效利用,无论是对于个人还是社会都有着十分重要的意义。本文在深度学习方法的基础上,经过大量的理论研究和实验验证,提出了基于预训练混合优化模型的中文短文本分类方法,用于中文短文本数据的分析研究。具体的研究工作如下:在语义特征表示方面,现有的文本分类方法大多使用传统的静态词向量或BERT预训练模型等表示方法,这些方法应用于中文文本数据时会存在语义特征表示不充分的问题。针对这一问题,本文引入了ERNIE知识增强型语义表示模型来动态表示词向量,利用其特有的词语掩码和实体掩码来盖住词、短语或命名实体,从而达到预测整体的目的。同时,ERNIE模型通过大量学习中文多源数据的语义知识和语义关系进行建模,能够有效提升中文文本的语义信息表示能力。在特征信息提取方面,针对传统卷积神经网络和循环神经网络在对中文短文本数据单独建模时,存在的特征信息提取不充分问题,建立了混合神经网络模型。对于新闻标题多分类任务,在ERNIE预训练后使用CNN大小不同的卷积核和Bi LSTM双向三门控单元结构来进行局部和全局特征提取。对于微博评论二分类任务,在ERNIE预训练后使用DPCNN的等长卷积和1/2池化特点并结合Bi GRU的双向二门控单元来对文本情感特征进行全面捕获。通过实验证明,本文提出的混合神经网络模型相比于单一的神经网络模型其表现性能得到提升,模型的特征提取能力得到有效改善。在模型训练优化方面,现有的神经网络模型大多使用Adam算法进行优化,它相比于传统的梯度下降算法性能有所改善,但也被研究者们证明存在收敛性方面的问题。针对这一问题,本文提出在混合模型中引入Adam W算法,利用其特有的权重衰减机制对模型的训练过程进行优化。通过在新闻标题多分类任务和微博评论二分类任务所对应的混合神经网络模型上进行实验验证,结果表明使用该算法后混合网络模型的收敛性以及各性能指标均得到了优化提升。
其他文献
高光谱图像是通过高光谱遥感传感器或者成像光谱仪获得的,含有二维空间信息,第三维中包含丰富的光谱信息。因此高光谱数据被广泛地应用到地质矿产业、农林业、环境保护、综合考察和食品分析等实际应用中,已成为国内外科研、经济和国防建设的高科技技术,但是高光谱图像本身存在维度高、标记样本少、波段间相关性高、光谱空间特征提取不充分等问题,给高光谱图像地识别和分类带来了很大的困难。目前,利用卷积神经网络（Convo
微信、抖音、微博等社交媒体已渗透入人类生活与社交的方方面面,频繁地使用社交媒体成为现代人的常态,使得网络中的交互变得复杂与多元。网络通常呈现复杂的结构,且网络结构会随时间,或随人类社会活动而动态变化。信息化迅速发展的今天,在线社交网络中亿万规模的用户群体于信息传播活动中扮演着不可或缺的角色,且为学者们提供了海量的研究数据。社交网络作为信息传播最重要的载体,对其结构的研究便显得尤为重要。因此,本文重
随着深度学习在音乐与计算机技术领域的广泛应用,音乐自动生成研究作为艺术与科技的结合逐渐成为研究热点,它利用神经网络学习音乐样本中的音乐特征与风格,生成符合乐理规则的新音乐。该任务可以不依赖专业音乐人,快速高效的定制音乐,生成的可以用于抖音、快手等平台短视频的背景音乐,游戏场景音效、音乐治疗等众多场景。本文针对流行音乐的两类音乐进行生成:多轨道音乐生成和吉他和弦生成,主要研究内容如下:（1）在多轨道
真皮成纤维细胞（dermal fibroblasts, DFs）是真皮的主要细胞类型，负责细胞外基质（extracellular matrix, ECM）的合成和重构。不同解剖层次、不同发育和演变阶段、不同物理环境的成纤维细胞对创面损伤的反应和功能不同，它们以自己的方式重塑细胞外基质，并在不同的程度上演变为肌成纤维细胞参与创面愈合和皮肤再生。现就成纤维细胞的异质性及不同的成纤维细胞参与创面修复的不
短路故障使电网信号中存在暂态的衰减直流分量，影响基频稳态信号的电气特征量提取速度。为此，针对单相接地故障中的DDC分量提出dq0坐标下的三点采样检测算法，该方法在延时采样周期的双dq变换基础上进行改进，通过先提取出0轴的DDC分量，将提取结果与dq坐标系下的正序和负序分量相结合，滤除含有DDC分量的部分后，再从dq坐标下滤除二次谐波，从而快速且准确地提取出基波的正序和负序分量。最后，通过PSCAD
随着物联网的快速发展,信息的安全性成为人们生活中重点关注的焦点,而车联网（Internet of Vehicles,IoV）作为物联网领域的重要组成部分之一,已经成为许多学者研究的热点课题之一。但是车联网作为移动自组网络,由于其网络的开放性与移动性,随之而来面临着各种各样的信息安全隐患,这将严重影响车联网的安全性。因此,设计出高效的车联网消息安全传输方案是车联网领域未来研究与发展的关键点。为此,针
车联网与云计算相结合的技术近几年得到了飞速发展,使得车联网服务云平台得到了广泛应用。其自身具有的开放性、动态性、随机性的特点,使其具有较高的竞争力。但同时也使部分攻击者冒充合法车联网用户通过身份认证后窃取、篡改或损毁车联网服务云平台中存储的敏感数据,造成数据的完整性、机密性和可用性受到严重损害。而访问控制技术能有效避免用户对任何数据进行未授权访问。所以本文通过借鉴车联网领域访问控制方面已有的研究成
现如今,互联网技术迅速的提升,人们每天所能接触的信息也越来越越多。在线社交网络给人带来了便利的同时,也使许多不法分子有了可乘之机。许多网民在面对形形色色的信息时不能辨别真实性所以很容易上当受骗造成人身财产安全的损失。如何能够有效控制信息的传播、促进有利信息的传播、抑制不良信息的传播就成为了一个亟待解决的现实问题。现实生活中,事物的结果会对当事人起到一定反馈的作用,从而影响到当事人之后的行为。所以本
随着物联网的快速发展,车联网因为有着广泛的研究空间,从技术和行业的角度看,车联网已成为一个重要的研究领域。然而,车联网复杂化的网络环境,以及动态变化的网络拓扑结构导致其容易受到信息篡改、资源泄露和更复杂的网络攻击。因此车辆间的通信急需建立可靠地信任机制和访问控制来保障通信与数据的安全。所以,对车联网中通信节点的信任评估与访问控制的研究将具有重要的现实意义。本文在基于已有的研究成果之上,提出了访问控
随着城市化水平的逐渐加快,人们对于出行的要求越来越高,进而导致交通问题日趋严重,而智能交通系统能有效解决交通拥堵问题、缓解路网交通压力。因此,智能交通系统的发展越来越受到人们的关注。交通流预测作为智能交通系统的重要部分,能够为人们的出行提供诱导,并为相关部门的道路建设规划提供可靠支持。目前大多数交通流预测方法都是基于交通流的时间特性进行研究,而忽略了交通流的空间相关性,虽然有些方法考虑了交通流的空