融合深度学习和注意力机制的文本分类研究

来源 :郑州大学 | 被引量 : 0次 | 上传用户:zmstar
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度学习方法在文本分类研究中取得了重要进展。与传统方法相比,基于深度学习的文本分类方法利用神经网络模型直接对文本数据进行训练,无需人工对数据进行特征提取。然而存在模型选取单一和文本语义特征向量不足等问题。针对上述问题,本文融合深度学习和注意力机制对文本分类进行了研究,主要工作如下:(1)针对单一选取卷积神经网络或者循环神经网络存在特征提取不充分、重要的文本信息不能被及时关注的问题,提出一种基于多头自注意力机制的多尺度时空混合文本分类模型。该模型通过BERT获取动态词向量,引入多头自注意力机制,及时关注对分类效果有重要影响的文本信息,提高时空混合特征的提取能力;使用有序神经元长短时记忆网络替换传统循环神经网络,捕捉文本语义信息和长距离依赖关系;融合多通道卷积神经网络和有序神经元长短时记忆网络获得时空混合特征,该特征不仅含有多尺度卷积核提取的不同粒度的文本局部特征,还含有文本上下文语义信息和长距离依赖关系。在淘宝评论数据集和THUCNews数据集上的实验结果表明,该模型分类准确率达到96.3%和94.68%,其召回率和F1值均优于选取的对比模型,验证了模型的有效性。(2)针对传统模型在文本表示阶段仅以词向量作为输入、易造成挖掘的文本语义特征向量不足,单向门控循环单元模型中信息传递形式单一、不能从两个方向同时传递的问题,提出一种基于多特征与注意力机制的混合神经网络文本分类模型。该模型将字特征向量、词特征向量、词性特征向量和笔画特征向量进行拼接,得到融合词向量,作为下游任务中的输入,缓解传统模型仅以词向量作为输入、语义特征向量提取不充分的问题;将融合词向量输入到时序卷积网络中,提取文本在不同时间维度上的特征;再通过双向门控循环单元网络两个方向相反的单向门控循环单元网络提取特征信息,弥补单向门控循环单元网络模型的不足;最后引入注意力机制,利用权重分配机制对分类效果产生关键影响的信息分配较多的注意力。在SogouCS数据集和FuDan新闻据集上的对比实验结果表明,该模型在两个数据集上的分类准确率比其他基准模型分别提高1.95%和1.72%,验证了模型的有效性。
其他文献
党的十九大报告中明确指出,健全公共文化服务体系,深度推进文化惠民工程建设,积极丰富群众性文化活动,是满足人民精神文化需求,构建社会主义和谐社会的重要举措。公共图书馆,作为公共文化服务体系建设的主要部分,是现代社会教育的主要阵地,承载着全面建设书香社会,积极构建现代化公众阅读服务体系,提高公民文化素质,丰富人们精神世界的职能。但是在信息化发展得如此高速的当今社会之下,公众对于阅读多元化的需求已然不能
学位
永久基本农田是我国需要特殊保护的土地。它是保证我国粮食生产的最基本的耕地,也被称为“口粮地”,它代表了我国保护耕地资源的决心及耕地保护理念的转变。永久基本农田内的土地是十分珍贵的,属于不可再生资源,因为1厘米的耕作层土壤的形成往往需要上百年的时间,而能形成种粮食的土壤甚至需要几千年的时间。但是随着城市化的逐步发展,建设用地面积不断增加,耕地面积不断减少,永久基本农田面临着被侵占的压力和危机。根据第
学位
农业保险是农业风险保障体系中的重要组成部分。作为农业大国,党中央、各级政府非常关注农业保险的发展,中央“一号文件”连续多年强调加快推进农业保险高质量发展。自2007年开展农业保险保费补贴试点以来,农业保险80%保费都来自各级政府提供的财政补贴,财政资金“输血式”的保费补贴极大地促进了农业保险的快速发展,有效稳定了农产品供应、保障了农业产业发展和农户稳收增收,但在其喜人成就背后农业保险还存在补贴效率
学位
金融部门作为资金供需双方的中介与桥梁,可以引导资源注入实体经济,促进经济的高质量、可持续发展,但随着实体经济与金融部门联系的加深,局部风险可能沿着某一路径累积或扩散甚至演变成为系统性金融风险。同时,我国经济正处于新旧动能转换期,国内外不稳定因素交织叠加,长期积累的金融风险进入易发多发期,且多表现为区域性金融风险。因此,基于经济部门运行视角,研究我国区域金融风险的传染路径问题,对于守住不发生系统性金
学位
贫困问题的有效解决一直是党和国家努力的方向,困扰我国多年的绝对贫困问题已于2020年被消除,意味着我国的贫困问题已经从绝对贫困转变为更加复杂的相对贫困,故而相对贫困问题的解决将成为我国长期面临的重大战略任务。作为新兴数字技术与金融服务的结合,数字普惠金融的兴起和快速成长不仅是对传统普惠金融的进一步深化,也提供了缓解因机会与权利不平等造成的相对贫困的有效思路。数字普惠金融在减缓相对贫困问题方面发挥何
学位
2018年3月8日,在美国退出TPP(跨太平洋伙伴协议)的背景下,日本、加拿大、澳大利亚等11国签署了CPTPP(全面与进步跨太平洋伙伴关系协定)。相较于TPP,CPTPP在协议内容和经济总量占比上均存在一定程度的缩水,但目前CPTPP协定仍是高标准的自由贸易协定,CPTPP的成立和生效可能会对我国产生经济影响。此外中国已正式申请加入CPTPP,因此分析我国与CPTPP成员国的贸易现状和贸易关系,
学位
数次债务危机与金融危机爆发导致金融市场大幅波动,金融危机的频繁发生给宏观经济造成了很大冲击。在经济高速增长,物价基本保持稳定情况下金融危机的周期性发生导致经济衰退,学术界和货币当局开始反思金融周期在货币政策调控中发挥着的重要作用,同时金融周期与经济周期的分化给以稳定物价为单一目标的传统货币政策提出了更高要求。有鉴于此,本文从我国金融周期基本事实出发,将金融周期波动考虑到货币政策调控机制中,研究金融
学位
近些年来,深度学习驱动人工智能蓬勃发展,在数据挖掘、机器翻译、自然语言处理、推荐算法等相关领域取得了大量成果。随着化学信息学的发展,深度学习在化学领域也得到了一定应用。化学键能是描述化学键属性的基本参数。通过键能可以预测化合物的稳定性及判断化学反应能否发生。化学键能的精确计算是化学领域重要研究方向之一。传统的计算方法采用密度泛函理论,复杂且耗时(计算时长为分钟级甚至是小时级)。使用深度神经网络,通
学位
自改革开放以来,大量进入城市的农村劳动力虽然能在城市获得更丰厚的报酬和更开阔的眼界,但城市中的就业歧视等现象严重阻碍了他们在城市的工作和定居,农村外出劳动力返乡的现象初步显现。自2000年以来我国相继提出城乡一体化、新农村建设、美丽乡村建设和乡村振兴等乡村建设战略,就是为了缓解城乡发展不平衡不充分的问题,推动乡村的全面发展。因此,将乡村建设分为经济建设、基础设施建设、乡风建设、社会建设和生态环境建
学位
经济高速增长阶段推动社会快速发展的同时,也带来了较严重的资源环境问题,对经济高质量发展产生了不利影响。为推动经济可持续发展,绿色发展成为指导我国社会发展的重要思想之一。提高绿色全要素生产率是推动经济绿色发展的核心,而绿色全要素生产绿色增长主要依靠技术创新的驱动,因而离不开金融的有力支持。近年来,随着我国信息化程度的不断提高,数字赋能产业转型升级,为绿色发展注入了强大动力。然而现有文献对金融发展影响
学位