结合注意力机制的文本分类研究

来源 :武汉邮电科学研究院 | 被引量 : 0次 | 上传用户:baalzio
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本分类技术作为信息处理的关键技术,一直是学术研究的热点问题。随着近年来人们对深度学习研究的深入,在自然语言处理中也逐渐使用了深度学习方法,其也被证明具有高级文本表示的能力。经典的卷积神经网络文本分类模型忽略了文本的顺序信息,本文提出了一种结合注意力机制的文本分类模型,该模型能够弥补传统分类模型的缺点,使模型具备提取顺序特征的能力。并且引入了注意力机制优化文本特征,取得了更优秀的文本分类性能。本文的主要研究工作如下:(1)传统基于卷积神经网络的文本分类模型由于卷积结构本身的特性,只提取了文本的局部信息,却忽略了文本的序列特征。本文设计并实现了结合注意力机制的文本分类模型ACRNN。在原有的卷积神经网络文本分类模型的基础上,对文本的特征提取模块进行了调整,将卷积神经网络和循环神经网络有机地结合在了一起,提取了更加全面的文本特征。在模型输入阶段使用了双通道输入设计,能够充分利用外部知识和本地知识,获得更加丰富的文本表示。为了突显不同词语的区分化作用,本文还将注意力机制引入模型中,赋予了更加优化的文本特征表示。(2)在训练ACRNN模型的时候发现该模型训练速度较慢,本文分析了模型训练速度过慢的原因,提出了针对注意力机制计算方法的改进算法。为注意力矩阵给定一个基于TF-IDF的初始值,使注意力矩阵能够快速收敛,从而减少模型的训练时间。(3)在中英文数据集上设置了多组对比实验,证明了本文提出模型和算法的有效性。将本文所提出模型与几种基准模型进行对比,验证模型的分类性能。对比了注意力机制使用与否对于模型的影响,从而验证注意力机制的促进作用。对比了不同维度词向量以及双通道输入设计对于模型的影响,最后通过实验研究了改进注意力算法对模型的影响。
其他文献
在大力发展智慧城市的概念下,空地协同地机器人系统是近年来兴起的一个重要研究领域,它将环境地图构建和机器学习相结合,使得空地协同机器人系统在许多实际应用中可以发挥强
2018年,我国60周岁及以上人口达到了24949万人,占总人口的比重为17.9%,如何应对人口结构老龄化已经成为经济和社会发展的重要议题。为实现“老有所养”的社会保障目标,我国需
图像分割被广泛应用于图像编辑、目标跟踪等领域,是计算机视觉中最重要的基础任务之一。完全自动的图像分割的概念是模糊的,因为人们感兴趣的部分是不确定的,而完全人工的分
在当今能源危机以及全球温室效应的影响条件下,传统的火力发电消耗化石资源并且造成一定的环境污染问题。风力发电具有清洁且可再生等特点,在新能源发电领域受到各国的关注。
Markov跳变系统是一种具有多个模态的随机系统,系统在各个模态之间的跳变转移是由一组Markov链来决定的。Markov跳变系统的系统参数在表示过程中是可以发生突变的,这一特性使
目的对在本医疗小组接受A型肉毒素治疗的良性咬肌肥大患者的主观等级评价结果进行回顾性研究,分析单次注射、重复注射与治疗效果的关系。方法选择20~40岁良性咬肌肥大的女性,
会议
集群聚集行为是多组连续有序个体呈现的宏观行为模式,在自然生态环境、人群社会等各种群体系统中广泛存在。在场景行为分析和计算机视觉的应用领域中,集群聚集行为识别与分析
自2014年以来,中国地方政府为解决财政支出方面的债务压力,在基础设施和公共服务领域建设方面开始着力发展PPP模式。该模式结合政府和社会资本方的优势实现了项目资源的合理
电气化铁路作为铁路运输的重要组成部分,近年来得到了迅速地发展。在冬季和早春季节,接触网线的覆冰对于电气化铁路的正常运行来说是最为严重的自然灾害之一。接触网线覆冰会
道岔既是机车车辆转线和过轨的基本设备,又是轨道的薄弱环节,主要体现在构造复杂、使用寿命短、限制列车速度、行车安全性低、养护维修投入大等。为减少车轮轮对对道岔的冲击