结合注意力机制与双向GRU的文本分类方法研究

来源 :湖北工业大学 | 被引量 : 0次 | 上传用户:xingsen777
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本分类一直是自然语言处理的重要部分。文本分类方法主要是从文本中提取文本特征并根据文本特征进行分类。然而,特征提取一直是文本分类的难点。很多基于统计学的文本分类方法实际上是此匹配法。这种方法不仅耗时耗力,还需要预设文本特征,而这非常高的专业能力。因此,传统文本分类一直是高消耗低精度的方式。近几年随着深度学习的快速发展,深度学习方法已经被大量应用于文本特征的提取,并被证明能够有效的提取文本特征。在深度学习文本分类方法中,文本特征由分类网络学习,因此,分类网络的选择直接影响分类结果。分类网络想要更好的学习文本特征时也需要消耗大量时间进行训练。为了解决这些问题,本文提出了一种带注意力机制的残差双向GRU的分类方法对文本的特征进行学习从而提高对文本情感分类的准确性和效率。本文主要研究内容如下:1.提出了结合注意力机制与双向GRU的文本分类方法,并通过实验证明了双向GRU在处理长文本时,相对于传统方法,在自动特征选择,时间序列依赖关系方面的高效性和稳定性;2.针对本文提出的方法进行了大量实验,通过对实验结果的分析,证明了空洞卷积提在提取本文特征向量时,能够有效地扩大感受视野,保留更多的上下文信息;3.通过对实验过程的分析,证明了注意力机制在文本分类网络中,对文本向量关键词的权重分配,使得网络能够更好的捕捉到关键词信息,能够更快的进行分类;4.通过对实验过程的分析,观察出残差网络在深度神经网络中,能够有效的对网络退化现象起到抑制作用,避免了在较深的网络中,出现次优解的问题;5.通过大量实验,总结出深度神经网络的预设参数对网络性能的影响程度,证明了参数的选择对网络分类效率有非常大的影响,正确的选择预设参数对一个分类网络来说非常重要。综上所述,本文提出来一种根据文本情感对文本进行分类的方法,并在四个公开数据集上对本方法的进行了大量试验。实验证明,本方法在文本情感分类问题上具有非常好的分类效果和稳定的分类能力。
其他文献
激光器的高速发展对输出功率提出了越来越高的要求。光纤激光器相比于传统激光器输出功率更大。但是光纤激光器中的非线性效应和模式不稳定损害了输出光束质量。大模场面积光纤因其低损耗、抗弯曲等优点,能够有效改善光纤激光器的输出光束质量并提高激光器的阈值功率而受到广泛的关注。本文主要研究和设计抗弯曲大模场光纤以期能提升光纤激光器的性能。本文从有限元法出发,利用有限元仿真软件进行仿真分析,通过对结果进行分析,深
当前,常规的结构设计能够基本保证结构在正常使用下的安全性,但建筑结构在完整的“服役生涯”中将一直受到爆炸、台风、火灾以及地震等极端荷载的威胁,并可能引发结构倒塌,结
近几年来,国内外很多专家学者投入了大量的精力去研究人工智能,促使人工智能在各个领域取得了飞速的发展。其中,教育领域的人工智能将是人工智能研究的一个重要方向,而数学是教育领域最难攻克的一个堡垒。此前,我们团队已经研究并开发出了面向初等数学的自动解题系统,但解题正确率和效率还不能够满足教育的需要。本论文的研究目标是通过将归纳学习和自动解题系统结合,辅助自动解题系统的推理,以此来提高系统的解题正确率和效
目的:骨质疏松症是以骨量减少、骨的微观结构退化为特征的,致使骨的脆性增加以及易于发生骨折的一种全身性骨骼疾病。多见于老年动物和绝育后动物。随着社会的发展,越来越多的宠物主人会选择为自己的爱宠做绝育手术,动物绝育后,体内雌激素水平会显著下降,雌激素水平降低可能会导致骨质疏松症的发生,但长期补充雌激素会增加动物患乳腺癌和对称性脱毛等疾病的风险,因此,研究者力图寻找一种安全性高、副作用小的雌激素替代物。
我国是茶叶文明的发源地,也是茶叶生产和消费贸易大国。茉莉花茶是我国生产的主要花茶品种,经济价值高、发展前景广阔,但我国缺少有关茉莉花上的农药残留问题的研究。在实际
建筑总能耗约占全国能耗总量的百分之二十,发展绿色建筑刻不容缓。开发高耐久、低能耗、高防火的保温隔热建筑材料是实现绿色建筑保温节能、降低建筑能耗和碳排放的社会急需
在社交网络SNS(Social Network Service)中,用户可以通过添加、关注好友等方式拓展自己的朋友圈。然而随着社交网络规模的扩大,用户间的链路结构将变得更加复杂,用户很难迅速找到兴趣相似的好友。因此,好友推荐系统应运而生,旨在帮助用户高效获取感兴趣的好友。传统的社交网络好友推荐,一般通过粉丝量,点赞数关注好友,结果知名度高的好友被优先推荐。但是这种推荐方法无法挖掘隐藏于文本内容的观
自从“双创”战略实施以来,中国创业活动呈现出逐年活跃的趋势。私营经济对于吸纳劳动力就业,促进经济发展,提高个体收入的重要意义日益凸显。农民工在其打工经历中积累了较
塔里木盆地地处我国西北的新疆南部。这里远离海洋,蒸发比较强烈,气候十分干旱,属于典型的内陆干旱和半干旱地区,其农业主要依赖灌溉,灌溉必将对当地干旱气候产生重要影响。
近年来,我国创新投入力度不断加强,已成为世界第二大研发执行国。创新投入攀升的同时,以科技进步贡献率为代表的技术进步水平却未呈现明显的增长趋势。创新要素投入区域间高度不平衡,内部结构分散、重复、封闭的“碎片化”问题突出。在空间和价值链两个维度上,创新资源的配置亟待优化。在我国经济发展进入“新常态”的背景之下,长三角地区创新能力不仅作为经济增长的核心驱动力影响作用日益加强,还成为衡量地区经济发展质量的